在2019年底時,行動處理器龍頭ARM推出中階到低階專用的全新NPU產品,也敲響了新的戰場,從高階進到中低階的AI應用領域,也將帶動AI晶片在手機裝置的普及。(圖片來源/ARM)

2019年10月,行動處理器龍頭ARM大動作宣布加入競爭激烈的行動AI晶片戰局,除了發表了全新神經網路處理器Ethos NPU產品,專門鎖定行動AI、ML推論的運算需求,還一口氣推出兩款不同性能的全新NPU產品N57與N37,分別對應中階到低階市場,加上先前推出的N77處理器,ARM的NPU系列已能夠涵蓋高、中、低階不同產品。

這3款Ethos NPU都支援主流神經網路架構,包括CNN與RNN等,可用於圖片分類、語音識別與NLU的應用,也能支援8位元與16位元整數資料類型。其中性能最高的Ethos-N77處理器(先前稱為ARM ML處理器),可以提供每秒4兆次的運算(TOPS),在2018年推出該產品後,至今已有多達2.5億個ARM裝置使用(含手機)。

另外,兩款中低階NPU,提供的AI算力也不差,主流或中階市場定位的N57處理器,最大運算力可達2TOPS,即使是規格最低的NPU處理器N37,也有達到1TOPS的算力。這兩款NPU均可提供基本的ML或AI推論執行能力,更是未來中、低階手機率先可以採用的首款AI處理器產品。該年10月推出後,按過往經驗來看,最快2020年上半,就能夠在一些新款中階、入門手機裡,看到使用這兩款AI晶片的算力,提供的AI服務或新功能。除了手機裝置以外,智慧攝影機、家庭閘道器、DTV數位電視也都能支援。

更強大AI加速運算晶片推出

除了中、低階市場,在提供更高效能的AI加速運算產品方面,也有新進展。例如,手機大廠三星最新款旗艦5G手機晶片,就採用內建雙核NPU的Exynos 990處理器,還搭配一個改良設計的DSP晶片,每秒最高可執行10兆次運算, 等同於是一臺迷你AI電腦,對比Nvidia推出機器人專用的GPU硬體套件Jetson Xavier NX,效能為14 TOPS,但Exynos 990處理器的功耗更低,而且能裝在更小尺寸的手機裡,透過這樣一個內建更高運算力的AI處理器, 能夠更即時在手機上執行AI、ML模型推論,不需要將數據回傳雲端就能迅速完成臉部辨識、場景偵測等各種AI應用。

就在三星發表5G手機晶片後的隔一個月,臺灣手機晶片大廠聯發科,也在2019年11月同樣推出整合了更先進AI功能的5G手機晶片,運算效能達到4.5 TOPS,幾乎不輸給蘋果新款iPhone 11的A13 Bionic處理器,能夠處理比以前更多且更複雜的AI應用,例如照相優化、圖像分類、AI臉部辨識等等。

從技術架構來看,在這款天璣1000處理器上,還採用2個大核、3個小核,搭配1個微小核的三層式運算架構,來打造新一代APU加速器(AI Processing Unit),能夠針對手機上不同AI應用的執行,交由適合的運算核心層來負責,讓這三個效能不同的核心層能夠互補,來有效控制高性能下的功耗。

舉例來說,如果有較高AI加速運算需求時,就可以交由APU最上層的二個大核心處理,對於需要長時間、全時處理的AI運算,則可改用中間層這3個小核心執行,雖然運算力沒大核高,但可以較長時間執行,避免過度耗電。甚至該晶片還設計了一個人臉偵測專用的微核心,能夠透過硬體加速的形式,來達到更高偵測準度,並改善耗電。該處理器2020年同樣將搭載於5G新手機。

很早就在手機內建AI晶片的Google,更在推出新款Pixel 4手機時,結合自家邊緣運算設備專用的ML加速器架構Edge TPU,打造新一代AI處理器晶片Pixel Neural Core,並搭配各種主要ML優化工具與軟體,使得手機在執行這些AI或ML推論模型時,可以提供更高的準度,而且處理更即時、更省電,藉由這顆AI晶片,來提升處理效能用於手機上的臉部解鎖、智慧語音助理Google Assistant,以及智慧相機等任務。

因為是專門為了AI加速運算而設計,針對一些特定的複雜數學任務加以優化,所以,跟現在通用CPU相比,可以更好地提升手機AI算力與降低功耗。

隨著AI專用晶片在手機上的重要性,與日俱增,甚至更進一步變成未來每一隻手機都要有的標準配備,就像是現在CPU和GPU一樣,這也意味著,未來更多行動應用,都能透過手機內建AI晶片的算力,來執行各種AI應用。

以前,因為手機硬體算力不夠強,即使是想要在手機上執行AI應用,企業或行動App開發商得先透過雲端執行這些AI推論模型,接下來,才將計算完的結果回傳到手機上,再回覆給使用者,如Google語音助理就是採用這個方式,現在,有了這些配備AI晶片的手機出現,以後,直接在手機上面就能執行如臉部識別、語音辨識、NLP等推論模型,讓這些AI應用也能離線作業,藉此改善網路限制造成的服務延遲。在更高算力的AI晶片推出之後,更將加速AI應用在手機裝置的普及。

當行動App走向AI化,企業IT更得要重新思考對策,來因應使用環境的改變,才能與其他對手競爭。

 相關報導  2020年CIO必看10趨勢


Advertisement

更多 iThome相關內容