搭H100與第四代Xeon-SP，輝達AI整合應用設備今年上半登場

在2022年3月，Nvidia發表採用Hopper架構的新一代資料中心GPU產品H100，以及採用這款GPU的AI整合應用設備DGX H100；同年9月該公司宣布H100已全面投入生產，預計10月第一波基於Hopper架構的產品與服務，並表示客戶可以開始訂購DGX H100。然而，到了今年1月，隨著英特爾正式發表代號Sapphire Rapids的第四代Xeon Scalable系列處理器，Nvida DGX H100總算諸事俱備，5月宣布正式出貨，有意採用的企業與組織此時可洽詢全球合作廠商採購。

原本英特爾Sapphire Rapids去年就應該上市，甚至會早於代號為Genoa的AMD第四代EPYC處理器推出，使得DGX H100為了配合採用PCIe 5.0介面的Nvidia H100，而搭配較早預告支援此I/O介面的英特爾Sapphire Rapids處理器平臺。結果事與願違，AMD第四代EPYC處理器竟搶先一步於去年11月發表，同樣能支援PCIe 5.0介面，而英特爾Sapphire Rapids今年1月才正式發表，而Nvidia DGX H100最近也開始在產品規格當中，明確標示CPU規格：2顆英特爾56核心第四代Xeon Scalable處理器，取代先前所用的「Dual x86」這樣含糊的描述。

關於這樣的搭配，其實在2022年6月就已經傳出消息了。根據IT新聞媒體報導，在美銀證券集團2022全球科技大會上，Nvidia執行長黃仁勳明確表示，DGX H100將會採用英特爾Sapphire Rapids，展現持續支援x86處理器平臺的態度。

除了因為採用的處理器而引發眾人關切，DGX H100本身有哪些特色？Nvidia在2022年發表這款產品之初，曾強調幾個重點，首先，這套系統本身配備了8個Nvidia H100 GPU，單臺設備可提供32 Petaflops的FP8精度AI運算效能，相當於上一代產品的6倍（DGX A100提供5 Petaflops的AI運算效能），能用於大型語言模型（LLM）、推薦系統、健康照護研究，以及氣候科學等大規模運算需求。

若將多臺DGX H100透過Nvidia NVLink Switch System交換器系統連結，組成整櫃型系統DGX SuperPOD，最多可串聯32臺DGX H100，能同時運用256個H100 GPU，系統總體供應的AI運算效能將達到1 Exaflops的規模，足以承擔大規模的工作負載，例如使用數兆個參數的大型語言模型運算。

在硬體內部元件的配置上，DGX H100除了搭配8個H100 GPU，Nvidia也在此置入8個網路埠，提供400Gb/s的InfiniBand或乙太網路環境，以便藉此連接其他運算系統與儲存設備。相較之下，上一代產品（DGX A100）搭配的InfiniBand與乙太網路連接組態，是支援200Gb/s規格的ConnectX-6或ConnectX-7系列網路卡。

值得注意的是，Nvidia最初發表時，曾提到DGX H100將配備2張BlueField-3 DPU加速卡，因應進階網路、儲存、資安等多種服務的卸載、加速、隔離處理，Nvidia目前在自家網站公布的產品規格，雖然已調整這段敘述，但在Hopper架構白皮書還繼續保留，因此，DGX H100是否仍內建DPU，仍需洽詢Nvidia確認。

而在GPU互連介面上，DGX A100與A100 GPU採用的第三代NVLink技術，設備搭配6顆第二代NVSwitch晶片，I/O頻寬為600 GB/s，新推出的DGX H100與H100 GPU採用了第四代NVLink技術，設備搭配4顆第三代NVSwitch晶片，I/O頻寬高達900 GB/s，提升至1.5倍以上。

關於這套產品的應用形式上，以11月初最新發布的全球500大超級電腦排行榜而言，有兩座系統採用DGX H100，分別是拿下第9名的Nvidia Eos，以及第34名的DeepL Mercury，都是採用DGX SuperPOD參考架構而成的；

而與企業儲存系統一起搭配的融合式基礎架構DGX BasePOD當中，都可搭配DGX A100，但如果是搭配DGX H100，目前有Pure Storage明確提出。

產品資訊

Nvidia DGX H100
●原廠：Nvidia
●建議售價：廠商未提供
●機箱尺寸：6U
●處理器：2顆56核心Intel Xeon Platinum 8480C
●系統記憶體：2TB
●硬碟：8臺2.5吋U.2 3.84 TB NVMe SSD（RAID 0），搭配2臺M.2 1.92 TB NVMe SSD
●GPU加速模組：8個Nvidia H100
●網路介面：4個QSFP埠，可連接2張ConnectX-7網卡；2個雙埠ConnectX-7；1個雙埠100GbE網卡
●軟體：Nvidia AI Enterprise軟體套件、Nvidia Base Command雲端管理平臺、Linux作業系統（DGX OS 6或Ubuntu 22.04，或DGX Software for Red Hat Enterprise Linux 9、DGX Software for Red Hat Enterprise Linux 8）

【註：規格與價格由廠商提供，因時有異動，正確資訊請洽廠商】