國產開源CNN架構HarDNet新進展，部署低功耗邊緣裝置影像辨識評比全球前五強

去年開源CNN架構HarDNet的清大林永隆教授團隊，在HarDNet的應用實證上有新成果。這個跨清大、交大、中原三校的研究團隊，繼去年在三大計算機視覺大會之一的ICCV發表論文後，今年也持續在多個國際頂尖會議如AAAI、NDSS上發表論文，團隊成員更將HarDNet實際部署在算力較低的樹莓派、FPGA上，證明就算搭載邊緣運算裝置或通用CPU，HarDNet也能達到相對於其他網路架構更好的辨識表現。

林永隆解釋，HarDNet是CNN骨幹網路之一，其他常見骨幹網路還包括VGG、ResNet、DenseNet等，骨幹網路就類似於通用引擎的角色，來驅動適用於不同場景的應用網路，比如適用於物件偵測的SSD、YOLO，適用於圖像語義分割（Semantic Segmentation）場景的U-Net，或是適用於物件追蹤的FairMOT，都就屬於應用網路的範疇。也就是說，HarDNet並非應用在特定場景的網路架構，只要是影像資料的處理，都可以用HarDNet來執行。

林永隆更以一張圖，來說明骨幹網路HarDNet對許多知名應用網路的強化效果。比如原先以VGG為骨幹網路的SSD應用網路（SSD-VGG），改以HarDNet取代VGG後（SSD-HarDNet），每秒辨識幀數（FPS）與mAP（mean Average Precision）均有顯著提升，能讓模型辨識的更快、更準，甚至將CenterNet-DLA改以CenterNet-HarDNet取代之後，FPS與mAP能達到與YOLOv4差不多的表現。

之所以能達到這個成效，林永隆解釋，關鍵在於HarDNet簡化了DenseNet架構中的連線數，來減少記憶體的存取，形成一個低資料流（Low Memory Traffic）的架構，同時透過改變神經網路每一層的權重數，來維持辨識準確率。也因為整體網路架構的圖像就像是諧波（Harmonic），這個骨幹網路因而被命名為Harmonic Densely Connected CNN，也就是HarDNet。

經過實際測試，以HarDNet為骨幹架構訓練而成的影像分類模型，相較於DenseNet、ResNet或ResNeXt，能在維持高推論速度的同時，達到更好的辨識率。

林永隆表示，HarDNet在GitHub上開源後，已經被越來越多人使用與關注，比如今年美國史丹佛大學、臉書、加拿大Mila、McGill大學聯合發表的一篇論文中，對多種CNN網路進行耗電量評測，其中就有HarDNet39ds，更取得低耗電量的好成績。雖然HarDNet開源後的使用量無法量化，但團隊不時也會收到使用者的回饋，與全球的AI專家進行技術交流。

將HarDNet部署在FPGA與通用CPU，模型表現獲LPCV全球前5的肯定

研究團隊也將AI部署在不同算力的硬體平臺中，來展示HarDNet的優勢。

去年，研究團隊已經在Nvidia GTX 1080ti的運算環境中，驗證了HarDNet的高推論速度與高準確率，尤其在即時圖像語義分割的應用上，團隊採用了U-HarDNet-70模型來實作，在Paper with Code的評比中獲得全球第一的成績，目前還未被任何模型超越。

現場展示了西門町即時人流追蹤的應用，採用FairMOT-HarDNet搭載Nvidia GTX 1080ti來實作。

今年，團隊更進一步將HarDNet部署到算力較低的邊緣運算裝置中，並參加國際級競賽來驗證HarDNet的表現。這個比賽就是2020年全球低運算電腦視覺競賽（Low-Power Computer Vision Challenge，LPCV），由Google、臉書、賽靈思聯合出題，要求參賽團隊將模型部署在智慧型手機或FPGA上。

其中在FPGA類別的評比中，由於評分標準取決於模型精準度與速度，團隊運用HarDNet68及HarDNet39分別訓練了兩個影像分類模型，來針對ImageNet的1,000種物件類別進行辨識，HarDNet68因網路層數更多，辨識率相對較高、達到86.9%，但辨識速度較慢，HarDNet39則相反，儘管辨識速度能快上三倍，但辨識率降至73.5%。經過評比後，得獎的為HarDNet68的模型，獲得LPCV全球第二名的佳績。

左邊為HarDNet68模型的辨識成果，右邊為HarDNet39的辨識成果。後方更搭載了FPGA晶片來實際進行演算。

另一組人馬，則是參加智慧型手機類別的比賽，這組由交大助理教授吳凱強指導的團隊，自行根據HarDNet的架構及概念，設計了一款更適合用於通用型CPU的低耗能CNN架構，稱為FoxPandaNet，並分別部署DSP及CPU上，在LPCV比賽中分別獲得第三、第四名的佳績。他們也將FoxPandaNet部署在低算力的樹莓派上，與Google的MobileNet V2進行物件分類辨識的比較，兩者在差不多的準確度下，FoxPandaNet的辨識速度（FPS）可以達到MobileNet V2的三倍。

現場也展示了FoxPandaNet與MobileNet V2搭載在樹莓派上的實際執行成效。

HarDNet除了兼具模型小、執行速度快、辨識精準、低功耗等優點，更具備了「安全」的特點。為了驗證這一點，團隊同時將SSD-HarDNet85及SSD-VGG用來進行車牌辨識，在未進行對抗式攻擊（Adversarial Attack）前，兩者辨識率相差無幾，接著，團隊針對兩個模型訓練出對抗例，意圖同時干擾兩個模型的辨識率。經實測後，SSD-HarDNet85辨識率仍維持71%，但SSD-VGG僅剩40%，若再對原模型進行對抗式訓練，前者辨識率可恢復到90%，後者卻僅有57%。由此可見，HarDNet更能有效抵禦對抗式攻擊。

目前，研究團隊除了在美國與臺灣提出專利申請，26案中已經有5案獲准，也已經成立了創鑫智慧公司，9月時獲准進入新竹科學園區，正在研發RNN加速器與推薦系統。