【展望後疫2022新趨勢4】超低功耗TinyML趨勢崛起，成為企業邊緣AI應用落地關鍵

在2021年，因疫情帶動非接觸式作業新常態，加速企業AI技術落地，從雲端走向邊緣，但在此同時，越來越多雲端AI或ML應用，開始追求更高準確度、發展更多元更深化應用，不僅處理運算越來越複雜，還占用更多記憶體，也更耗電，也因此更難在資源受限的IoT或嵌入式邊緣裝置上執行，成了企業AI落地的挑戰。所以，一種微型機器學習（Tiny Machine Learning，TinyML）的新趨勢，近來趁勢而起，正是為了解決這個難題。

超低功耗邊緣AI應用需求出現，成了TinyML興起的關鍵驅力

TinyML是一種超低功耗的邊緣ML應用新型態，試圖從優化IoT或邊緣裝置上的硬體設計、ML模型、算法和應用軟體，來實現邊緣端AI或ML應用。

一般而言，TinyML適用的裝置類型，以IoT或邊緣裝置為主，因為這類裝置大多是電池驅動的超低功耗裝置，不僅採用高度省電設計，還支援全時待命（always-on），且硬體配置（包含CPU效能、資料吞吐量、記憶體與資料儲存等）遠低於現今的智慧型手機。

以IoT裝置常用Arm低階處理器為例，一顆MCU通常僅有256 KB記憶體和1MB的儲存空間，跟最新款iPhone 13 Pro手機配有高達6GB記憶體和1TB儲存空間相比，兩者硬體配置資源相差懸殊，這也使得想在這一類裝置上提供ML功能，就很容易遇到效能瓶頸，甚至這種超低功耗ML應用要求每次執行ML模型推論時，其功耗必須小於1毫瓦。這正是TinyML應用興起的關鍵驅力，是未來能否讓企業AI真正落地的重要關鍵。

尤其，在過去一年，企業對邊緣AI需求持續增長，使得TinyML近來發展越來越受矚目。根據iThome 2021 CIO大調查，2021年有多達2成企業因為積極轉型跟進投資布局邊緣AI相關技術，用在設備上的異常檢測、狀態監測和預防性維護等。許多過去採用者也持續加大投資力道，例如面板大廠友達，這些年早就在工廠部署近4千個邊緣AI裝置，來發展各種邊緣AI應用。隨著企業邊緣AI應用越來越火紅，也讓TinyML需求日益增加。

純電池驅動的IoT或邊緣裝置未來也能具有ML能力

從應用角度來看，電腦視覺也是目前製造業常見一種邊緣AI應用，還沒疫情前，許多製造公司早就開始在生產環境中，以電腦視覺結合攝影機，用於AOI瑕疵檢測、流程優化和自動化等，在疫情爆發後，這樣的需求更大大增加，用來打造零接觸作業環境，藉此降低人與人接觸的風險。為了將電腦視覺能力延伸到更多邊緣端，讓更多IoT或邊緣裝置，也有產品檢測、環境及人員監控處理能力，就需要TinyML的能力。

也因為有了TinyML處理能力，企業能在許多純電池供電的IoT或邊緣裝置開始提供ML能力，這也意謂著，未來邊緣AI應用設計和部署上，企業可以考慮採取更多彈性作法，像是使用可移動式的邊緣AI攝影機，來根據製造現場變動機動調整與快速因應，不只提供單點設備異常檢測，也可以支援多點檢測。

不光是製造業，許多產業也能因此而有更多不同邊緣AI應用出現。像是農業使用許多IoT感測器裝置，以後可以結合AI異常偵測，除了能偵測土壤溫濕度變化，也透過AI即時找出生長異常的農作物和檢測有無害蟲。不少醫院也有各種醫療檢測裝置，能監測病人生理狀況，未來同樣能搭配AI影像辨識提高病人醫療照護效率。甚至在零售物流業上常見的AGV搬運機器人，透過加入AI視覺偵測能力，也能因此變得更聰明。這些電池驅動的AIoT或邊緣AI裝置，正因為有TinyML才能夠辦到。

隨著硬體逐步到位，TinyML應用有望在2022年起飛

現階段TinyML發展，主要從ML模型與硬體優化來實現超低功耗裝置的ML應用。Arm也歸納了實現TinyML的5種常見ML模型架構和優化的方法，包括降低精度、資料重覆利用、權重壓縮、轉換、稀疏運算等。

針對這種超低功耗的邊緣AI應用型態，近來有越來越多學術或研究機構投入研究，像是MIT與IBM共同成立的Watson AI Lab實驗室團隊最近開發出新的神經網路架構MCUNetV2，就是為了因應TinyML需求而設計，能將MCU處理器執行CNN算法所使用記憶體，減少到現行ML算法的4到8分之一，透過MCUNetV2神經網路架構來建立CNN模型，在ImageNet圖像分類測試中，僅需使用465KB記憶體，就可達到近72%的辨識準確度。

目前一些主流ML框架也能支援TinyML應用。例如Google原本就有推出輕量版TensorFlow Lite框架，可以將訓練完的ML模型轉換成體積更小的TinyML模型，部署到各種低功耗硬體上，除了能支援Arm Cortex-A、Cortex-R處理器，後來還推出可在更低階Cortex-M處理器執行ML模型的版本，Cortex-M也是目前物聯網和嵌入式應用主要採用處理器，可用於人員偵測、手勢辨識、字詞偵測等。

除了優化ML模型和架構外，在硬體設計過程中，也有一些新作法，來因應TinyML需求。Arm在兩年前發表Arm Cortex-M55處理器IP產品中，首度將機器學習能力帶進IoT硬體中，讓IoT晶片開始支援TinyML應用，如果從產品推出到真正進到市場大約需要2年來估算，預期2022年開始會有相關產品推出。

Arm當時還有發布另一個神經網路處理器IP產品Arm Ethos-U55，不僅省電，在AI效能更獲得百倍提升。除此之外，還有AI晶片業者推出採取記憶體運算的硬體架構平臺，可執行DNN推論所需的運算，最多可處理113M （百萬）權重數量和提供每瓦4 TOPS運算能力。

市調機構ABI Research預估，到2022年時，採用TinyML晶片的邊緣AI裝置出貨量將達12億個。Gartner調查則指出到了2027年，每十臺邊緣裝置，就有6臺具備深度學習執行能力。

隨著TinyML越來越受到重用，對企業來說，更應該思考的是，許多雲端AI或ML應用落地後，未來如何部署和管理這些超低功耗邊緣AI裝置和TinyML模型，將成為企業AI落地的另一項考驗。