為了因應熱門的人工智慧應用需求,英特爾持續強化新一代個人電腦與伺服器處理器性能之餘,也透過併購其他公司與自行發展加速運算產品等方式,積極搶攻這塊市場大餅,而在深度學習訓練與推論方面,他們在2019年底買下新創公司Habana Labs,隨後開始主推AI訓練加速晶片Gaudi系列,以及AI推論加速晶片Goya,在2021年底,我們也介紹搭配Gaudi HL-205晶片的伺服器機型:Supermicro SYS-420GH-TNGR。
到了2022年5月舉行的Vision用戶大會,英特爾發表Habana第二代產品,導入7奈米製程,其中的AI訓練加速晶片Gaudi2,將於2022年下半將與Supermicro搭配,推出新款AI訓練伺服器,另一個則是新的AI推論加速晶片Greco,預計2022年下半提供樣品,2023年第一季進入量產階段。
關於率先在這次活動亮相的Gaudi2,英特爾強調,在電腦視覺模型ResNet-50與自然語言處理模型BERT的應用上,這款產品的AI訓練吞吐量,可達到Nvidia A100 80GB記憶體版本的兩倍;若以上一代Gaudi為比較基準,Gaudi2可分別提供3倍與4.7倍的AI訓練吞吐量。
相較於搭配上一代Gaudi產品的AWS執行個體服務Amazon EC2 DL1,以及Supermicro訓練伺服器,採用Gaudi2的系統可獲得更佳的性價比,領先幅度可達40%。
之所以有這樣的差距,英特爾列出幾個Gaudi2的特色。首先是製程從16奈米躍進到7奈米,而能在運算、記憶體、網路等層面取得突破。以運算架構的組成方式而言,Gaudi2搭配24個張量處理器核心(上一代Gaudi是8個),可專為大型深度學習工作負載所設計;在張量處理器核心與矩陣乘法引擎中,也支援FP8等新的資料型別;新一代Gaudi也整合了多媒體處理引擎,可加速處理預先壓縮的多媒體資訊,將相關工作卸載到這裡執行。
在記憶體容量的部分,Gaudi2將晶片封裝的高頻寬記憶體容量擴充至96 GB(Gaudi HL-205是32 GB),整合的SRAM記憶體容量也增加至48 MB(Gaudi HL-205是24 MB),記憶體頻寬提升至2.45 TB/s(Gaudi HL-205是1 TB/s)。而其內建的網路介面,則是24個100GbE(Gaudi HL-205是10個100 GbE)。
產品外形結構上,我們從Habana Labs網站公布的產品特色影片,可看到Gaudi2加速器模組的中央是HL-2080晶片(上一代Gaudi是HL-2000),
而在伺服器的搭配上,提供兩種款式:一種是遵循開放運算計畫(OCP)訂定的OAM 1.1標準的夾層卡,型號為HL-225H;另一種是將8張Gaudi2夾層卡結合在印刷電路板,可支援多對多互連組態的基板,稱為HLBA-225,當中可運用每張Gaudi2的21個網路介面(其餘3個用於連接其他Gaudi2),而以整張基板而言,能透過24個網路介面(8張Gaudi2各自的3個網路介面)連至基板內建的6個QSFP-DD接頭的網路埠,以便後續橫向擴張伺服器的規模。
關於可安裝這款加速器使用的伺服器設備,Supermicro於2022年5月宣布,搭配Gaudi2的伺服器機型名稱是SYS-820GH-TNRS,當中採用8U尺寸機箱,搭配兩顆英特爾第三代Xeon Scalable系處理器,記憶體容量最大為8 TB,多顆Gaudi2晶片之間的I/O存取速度為700 GB/s,多臺Gaudi2伺服器之間的I/O存取速度,可達到2.4 TB/s,而在網路埠的部分,這款伺服器內建6個QSFP-DD埠,有助於以橫向擴展方式來處理較大AI模型與資料集。
同年10月,在OCP年度全球高峰會召開之際,出現更多廠商推出搭配Gaudi2加速晶片的伺服器。像是:緯穎展出新款伺服器機型SV600G2,採用6U機箱,搭配8張HL-225H,在該公司公布的白皮書列出細部規格;Supermicro提供的Gaudi2 AI Training Server,機型名稱定為SYS-820GH-TNR2,在該公司網頁列出細部規格;浪潮於9月底英特爾舉行的Innovation全球用戶大會期間,宣布將推出NF5688M7,同樣搭配8張OAM外形的Gaudi2,處理器預計採用2顆代號為Sapphire Rapids的英特爾第四代Xeon Scalable,而在稍後的OCP全球高峰會上,他們公開伺服器外觀與更多規格資訊。
產品資訊
Intel Habana Gaudi2
●原廠:Intel
●建議售價:廠商未提供
●產品外形與機型:OAM夾層卡HL-225H、基板HLBA-225(連接8張HL-225H)
●製程:TSMC 7奈米
●I/O介面:PCIe 4.0 x16
●核心架構:24個第四代張量處理器核心、2個矩陣乘法引擎
●記憶體:48 MB SRAM搭配96 GB HBM2e
●記憶體頻寬:2.45 TB/s
●網路介面:24個100 GbE(48個56Gb PAM4 SerDes連結)
●耗電量:可支援600瓦
【註:規格與價格由廠商提供,因時有異動,正確資訊請洽廠商】
熱門新聞
2024-10-11
2024-10-13
2024-10-11
2024-10-11
2024-10-11
2024-10-12