清大林永隆教授團隊將HarDNet分別部署在GPU、樹莓派與FPGA中,來展示這個CNN神經網路可在不同算力的平臺都能辨識的又快又準。

圖片來源: 

攝影/翁芊儒

去年開源CNN架構HarDNet的清大林永隆教授團隊,在HarDNet的應用實證上有新成果。這個跨清大、交大、中原三校的研究團隊,繼去年在三大計算機視覺大會之一的ICCV發表論文後,今年也持續在多個國際頂尖會議如AAAI、NDSS上發表論文,團隊成員更將HarDNet實際部署在算力較低的樹莓派、FPGA上,證明就算搭載邊緣運算裝置或通用CPU,HarDNet也能達到相對於其他網路架構更好的辨識表現。

林永隆解釋,HarDNet是CNN骨幹網路之一,其他常見骨幹網路還包括VGG、ResNet、DenseNet等,骨幹網路就類似於通用引擎的角色,來驅動適用於不同場景的應用網路,比如適用於物件偵測的SSD、YOLO,適用於圖像語義分割(Semantic Segmentation)場景的U-Net,或是適用於物件追蹤的FairMOT,都就屬於應用網路的範疇。也就是說,HarDNet並非應用在特定場景的網路架構,只要是影像資料的處理,都可以用HarDNet來執行。

林永隆更以一張圖,來說明骨幹網路HarDNet對許多知名應用網路的強化效果。比如原先以VGG為骨幹網路的SSD應用網路(SSD-VGG),改以HarDNet取代VGG後(SSD-HarDNet),每秒辨識幀數(FPS)與mAP(mean Average Precision)均有顯著提升,能讓模型辨識的更快、更準,甚至將CenterNet-DLA改以CenterNet-HarDNet取代之後,FPS與mAP能達到與YOLOv4差不多的表現。

之所以能達到這個成效,林永隆解釋,關鍵在於HarDNet簡化了DenseNet架構中的連線數,來減少記憶體的存取,形成一個低資料流(Low Memory Traffic)的架構,同時透過改變神經網路每一層的權重數,來維持辨識準確率。也因為整體網路架構的圖像就像是諧波(Harmonic),這個骨幹網路因而被命名為Harmonic Densely Connected CNN,也就是HarDNet。

經過實際測試,以HarDNet為骨幹架構訓練而成的影像分類模型,相較於DenseNet、ResNet或ResNeXt,能在維持高推論速度的同時,達到更好的辨識率。

林永隆表示,HarDNet在GitHub上開源後,已經被越來越多人使用與關注,比如今年美國史丹佛大學、臉書、加拿大Mila、McGill大學聯合發表的一篇論文中,對多種CNN網路進行耗電量評測,其中就有HarDNet39ds,更取得低耗電量的好成績。雖然HarDNet開源後的使用量無法量化,但團隊不時也會收到使用者的回饋,與全球的AI專家進行技術交流。

將HarDNet部署在FPGA與通用CPU,模型表現獲LPCV全球前5的肯定

研究團隊也將AI部署在不同算力的硬體平臺中,來展示HarDNet的優勢。

去年,研究團隊已經在Nvidia GTX 1080ti的運算環境中,驗證了HarDNet的高推論速度與高準確率,尤其在即時圖像語義分割的應用上,團隊採用了U-HarDNet-70模型來實作,在Paper with Code的評比中獲得全球第一的成績,目前還未被任何模型超越。

現場展示了西門町即時人流追蹤的應用,採用FairMOT-HarDNet搭載Nvidia GTX 1080ti來實作。

今年,團隊更進一步將HarDNet部署到算力較低的邊緣運算裝置中,並參加國際級競賽來驗證HarDNet的表現。這個比賽就是2020年全球低運算電腦視覺競賽(Low-Power Computer Vision Challenge,LPCV),由Google、臉書、賽靈思聯合出題,要求參賽團隊將模型部署在智慧型手機或FPGA上。

其中在FPGA類別的評比中,由於評分標準取決於模型精準度與速度,團隊運用HarDNet68及HarDNet39分別訓練了兩個影像分類模型,來針對ImageNet的1,000種物件類別進行辨識,HarDNet68因網路層數更多,辨識率相對較高、達到86.9%,但辨識速度較慢,HarDNet39則相反,儘管辨識速度能快上三倍,但辨識率降至73.5%。經過評比後,得獎的為HarDNet68的模型,獲得LPCV全球第二名的佳績。

左邊為HarDNet68模型的辨識成果,右邊為HarDNet39的辨識成果。後方更搭載了FPGA晶片來實際進行演算。

另一組人馬,則是參加智慧型手機類別的比賽,這組由交大助理教授吳凱強指導的團隊,自行根據HarDNet的架構及概念,設計了一款更適合用於通用型CPU的低耗能CNN架構,稱為FoxPandaNet,並分別部署DSP及CPU上,在LPCV比賽中分別獲得第三、第四名的佳績。他們也將FoxPandaNet部署在低算力的樹莓派上,與Google的MobileNet V2進行物件分類辨識的比較,兩者在差不多的準確度下,FoxPandaNet的辨識速度(FPS)可以達到MobileNet V2的三倍。

現場也展示了FoxPandaNet與MobileNet V2搭載在樹莓派上的實際執行成效。

HarDNet除了兼具模型小、執行速度快、辨識精準、低功耗等優點,更具備了「安全」的特點。為了驗證這一點,團隊同時將SSD-HarDNet85及SSD-VGG用來進行車牌辨識,在未進行對抗式攻擊(Adversarial Attack)前,兩者辨識率相差無幾,接著,團隊針對兩個模型訓練出對抗例,意圖同時干擾兩個模型的辨識率。經實測後,SSD-HarDNet85辨識率仍維持71%,但SSD-VGG僅剩40%,若再對原模型進行對抗式訓練,前者辨識率可恢復到90%,後者卻僅有57%。由此可見,HarDNet更能有效抵禦對抗式攻擊。

目前,研究團隊除了在美國與臺灣提出專利申請,26案中已經有5案獲准,也已經成立了創鑫智慧公司,9月時獲准進入新竹科學園區,正在研發RNN加速器與推薦系統。

熱門新聞

Advertisement