今年AI加速解決方案受到市場空前的重視,AMD在1月初CES大展期間,預告將推出兩款橫跨邊緣運算至雲端服務的產品,一是許多人熱烈期待的CPU與GPU整合晶片Instinct MI300,後續在該公司6月舉行的Data Center and AI Technology Premiere發表會,以及11月中召開的SC23超級電腦大會,都釋出消息;另一個產品則是AI加速卡Alveo V70,號稱能針對多重AI推論工作負載的處理,提供領先業界的運算效能與能源使用效率。
根據AMD當時所釋出的產品簡介來看,V70是Alveo系列當中,第一款採用XDNA架構、搭配該公司AI引擎的正式產品,可提供整合的異質運算平臺,鎖定雲端與邊緣的AI應用需求,可支援卷積神經網路(CNN)、循環神經網路(RNN)、自然語言處理(NLP)等類型的加速運算。
同時,AMD也強調V70是以提供極致的能源使用效益用於AI推論處理,作為主要的設計目標,能針對影片分析與自然語言處理類型的工作負載進行調校,並支援產業標準的機器學習軟體框架,能直接編譯以TensorFlow、PyTorch訓練而成的模型。
這張加速卡配備採用7奈米製程的Versal ACAP晶片,當中整合他們設計的AI Engine核心,也搭配隨需調整引擎(Adaptable Engines),以及純量處理引擎(Scalar Engines),以及16 GB容量的DDR4記憶體。
而在產品外形上,V70是一張半長半高的PCIe介面卡,熱設計功耗僅75瓦,看齊Nvidia賣得最好的AI推論加速卡T4,並且支援被動散熱(有散熱片包覆、未內建風扇,透過伺服器機箱的風扇降溫)。
在運算效能方面,相較於Nvidia T4,V70在AI推論應用方面,領先幅度相當明顯,以智慧零售而言,可達80%,在醫療病患監督、智慧城市方面,也分別領先72%與70%。
由於本身具有較低功耗與短小外形,AMD認為,V70有助於減少每個AI運算單位的成本,並對影片分析的應用提供高密度運算配置。
值得注意的是,AMD在V70的架構規格資訊上,標示為「AMD XDNA – Versal AI Core」,而在AI引擎規格資訊上,標示為「2nd-gen AIE-ML tiles」。目前該公司隨需調整系統單晶片(Adaptive SOC)產品線Versal,提供AI Core、AI Edge、Prime、Premium、HBM這5大系列,Alveo V70所用的架構就是Versal AI Core系列。
而在AI Engine技術方面,AMD提供兩種,一是用於機器學習推論或進階數位訊號處理(DSP)的AI引擎晶磚(AI Engine Tile,AIE),另一是專用於機器學習、效能最佳化的AI引擎晶磚(AI Engine-ML Tile,AIE-ML),均可用於Versal AI Core系列與Versal AI Edge系列,Alveo V70所搭配的AI引擎是AIE-ML。
就整體配置而言,Alveo V70的賣相其實不差,與市面上其他有意接替與取代Nvidia T4的AI加速卡而言,例如我們過去報導的AMD Alveo U50、英特爾Data Center GPU Flex 140、Nvidia L4、AMD Alveo MA35D相比,也相當具有競爭力,可惜的是,搭配這張AI推論加速卡的伺服器廠牌不多,截至目前為止,僅有技嘉科技獨撐——他們在5月底台北國際電腦展與11月SC超級電腦大會期間,特別主打2U機箱搭載16張AMD Alveo V70的伺服器,機型是G293-Z43。
儘管有這樣的伺服器搭配,經過將近一年的推廣,在MLCommons的MLPerf Inference: Datacenter、MLPerf I Inference: Edge這兩項公開揭露的伺服器AI效能測試數據,至今遲遲不見AMD與技嘉科技提交搭載AMD Alveo V70伺服器的測試結果,希望未來他們能積極參與,提供相關資訊,方便整個產業了解這樣的解決方案能耐。
產品資訊
AMD Alveo V70
●原廠:AMD
●建議售價:廠商未提供
●I/O介面:PCIe 5.0 x8
●外形:半高半長PCIe介面卡
●技術平臺:AMD XDNA架構的Versal AI Core系列,採用AI Engine-ML Tile引擎
●晶片製程:7奈米
●搭配記憶體:16GB DDR4
●記憶體頻寬:內部47.6 TB/s,外部76.8 GB/s
●運算效能:INT8為404 TOPS,BF16為202 TOPS
●耗電量:75瓦
【註:規格與價格由廠商提供,因時有異動,正確資訊請洽廠商】
熱門新聞
2024-12-03
2024-11-29
2024-12-02
2024-12-02
2024-12-03