以出產智慧型手機晶片著稱的高通(Qualcomm),在2019年跨足AI運算晶片領域,該公司在這年4月舉行的AI Day大會,宣布推出名為Cloud AI 100的產品,因應雲端服務領域的AI推論處理需求,這款晶片將運用他們既有的兩大技術優勢:先進訊號處理、能源使用效率,希望橫跨雲端服務到個人端邊緣,促成分散式智慧處理能力的提供,當時預估下半年即可提供樣品。

搶攻AI應用市場,2021年出現開始與其搭配的產品

2020年9月,高通宣布Cloud AI 100開始提供全球特定客戶,預計在2021年上半推出商業化產品。而對於適合導入這款晶片的應用環境類型,他們也提出更具體的描繪,例如,可支援資料中心、雲端邊緣、邊緣應用設備,以及5G基礎架構。

在軟硬體配置上,高通也公布更多Cloud AI 100的規格。例如,提供PCIe介面卡、雙M.2(Dual M.2,DM.2)、雙M.2 Edge(Dual M.2 Edge,DM.2e)等3種外形選擇,整數運算效能可達到400 TOPS,耗電量介於15瓦到75瓦之間;

而在搭配的軟體開發環境上,支援Tensorflow、PyTorch、Caffe等常見框架,以及GLOW and ONNX等執行時期元件,當中包含:應用程式軟體開發套件Qualcomm Cloud AI 100 Applications SDK,內建編譯器與模擬器,以及平臺軟體開發套件Platform SDK,內建執行時期元件、核心驅動程式與相關工具──透過上述軟體環境的提供,協助用戶進行Cloud AI 100應用程式的開發、測試、部署,使其能夠深入大量生產環境。

到了2021年上半,高通接續發出更多Qualcomm Cloud AI 100相關消息。像是3月,他們宣布技嘉的2U尺寸AMD平臺GPU伺服器G292-Z43,能與其搭配使用,單臺設備可安裝16張Qualcomm Cloud AI 100推論加速卡,若以單張加速卡的整數運算效能為400 TOPS為基準,整臺伺服器搭配16張加速卡之後,最大可提供 6.4 Peta OPS。

一個月之後,適逢MLCommons聯盟公布MLPerf Inference v1.0效能測試評比結果,當中也列到Qualcomm Cloud AI 100的成效,高通也在5月開始主打這款產品的優勢,例如,關於AI推論處理的每瓦效能,可大幅超越Nvidia資料中心GPU產品A100;而在最低能源耗用量,亦即邊緣運算的應用上,若以Qualcomm Cloud AI 100的兩種外形:雙M.2與雙M.2 Edge,進行效能評測,在單一圖片串流的處理上,也能提供較低的存取延遲。

到了9月,MLPerf Inference v1.1發布,當中列出更多Qualcomm Cloud AI 100相關效能測試數據。以技嘉G292-Z43搭配8張Qualcomm Cloud AI 100而言,在每瓦圖片分類推論效能上,達到197個單位,領先其他GPU加速卡;以搭配16張Qualcomm Cloud AI 100而言,在離線狀態下,每秒推論數量為342011個單位,而在伺服器狀態下,每秒推論數量為310064個單位,此時的系統耗電量為1840瓦。

關於技嘉科技伺服器搭配Qualcomm Cloud AI 100,今年1月我們向其詢問這項合作,他們表示,2021年上半與高通共同發布消息之際,僅取得工程樣品供內部測試,尚未量產,到了12月,這張加速卡才開始有量產品能夠出貨搭售,經過測試驗證,他們確認G292-Z43可支援Qualcomm Cloud AI 100,但技嘉伺服器並未與其綁定一起販售,用戶可尋找代理商購買。

結合高通旗下處理器、通訊晶片,組成邊緣運算開發套件

在2020年9月,高通也宣布基於這款晶片的邊緣運算開發套件,名為Qualcomm Cloud AI 100 Edge Development Kit,希望透過提供完整的系統解決方案,提供高效能的AI推論、視訊處理,以及5G連網,加速邊緣應用程式的採用。

此平臺包含3個元件,首先是加速卡Cloud AI 100,負責提供低功耗與高效能AI推論處理;其次,是模組化平臺Snapdragon 865 Modular Platform,負責應用程式與視訊處理;最後是系統模組Snapdragon X55 ModemRF System Module,透過預先認證模組,來提供全球電信業均支援的5G網路連接能力。

一個月後(2020年10月),Qualcomm Cloud AI 100 Edge Development Kit(AEDK)開始出貨,高通也公開這套平臺的詳細規格。

例如,提供有天線與無天線的硬體強固設備,鎖定5G智慧型邊緣運算應用設備的市場,搭配雙M.2外形的Qualcomm Cloud AI 100的加速卡;網路介面的部分,提供基於乙太網路的區域網路與廣域廣路,以及無線寬頻網路──M.2外形的Snapdragon X55 5G數據機模組;至於主系統的部分,則是Snapdragon 865 Modular Platform,當中採用Qualcomm Kryo 585處理器、12 GB LPDDR5記憶體,可同時處理24個FHD畫質、30fps的視訊串流。

到了2021年,在4月的MLPerf 1.0效能評估結果當中,高通也送測了AI運算開發套件,當中分別搭配DM.2與DM.2e等兩種形態Cloud AI 100,成為當中最低耗電、最低存取延遲的產品。

在9月的MLPerf 1.1,高通送測的產品是AEDK,同樣有DM.2與DM.2e型態的Cloud AI 100,在每瓦圖片分類推論效能測試項目上,可達到240個單位。

關於產品採用的部分,在2021年7月,高通與富士康工業網際網路公司(Foxconn Industrial Internet,工業富聯)聯合發表一款設備,名為Gloria AI Edge Box,當中就搭配了Qualcomm Cloud AI 100,預計2021年稍晚將提供樣品,2022年第二季上市。目前高通的網站已公布此款產品的資訊,例如,設備型號為EA5165N,所用的品牌為鴻佰科技(Ingrasys)。

今年3月在臺舉行的智慧城市展期間,高通也在遠傳電信展出的5G專網彈性製造解決方案當中,介紹他們與英業達共同打造的智慧邊緣運算盒5G AI Edge Box,這款設備搭配Qualcomm Cloud AI 100加速器。

產品資訊

Qualcomm Cloud AI 100
●原廠:Qualcomm
●建議售價:廠商未提供
●I/O介面:PCIe 4.0 x8
●外形:半高半長PCIe介面卡、雙M.2、雙M.2(Edge)
●運算核心:16顆AI核心
●核心之間頻寬:186 GB/s
●晶片製程:7奈米
●搭配記憶體:裸晶內建144 MB(每顆AI核心搭配9 MB),介面卡搭配32 GB與4個64Kb的LPDDR4x
●記憶體頻寬:136 GB/s
●可處理資料型別:FP16、INT8、INT16、FP32
●運算效能:INT8為400 TOPS,FP16為200 TFLOPS
●耗電量:PCIe 4.0介面卡為75瓦,雙M.2為25瓦,雙M.2 Edge為15瓦

【註:規格與價格由廠商提供,因時有異動,正確資訊請洽廠商】


熱門新聞

Advertisement