關於400 Gb乙太網路產品的發展,我們在2019年曾介紹思科與戴爾這兩家公司的產品,在2020年3月,也就是Mellanox被Nvidia完成併購前夕,他們發表了SN4000系列交換器,最高也能支援400 Gb乙太網路(SN4800與SN4700可提供32個400 GbE埠)。

至於400 Gb InfiniBand產品的部分,Nvidia在2020年11月的美國超級電腦大會期間,發表第7代Mellanox InfiniBand網路解決方案,當中將包含網路卡、資料處理器(DPU)、交換器,以及相關網路線材(光纖收發模組、光纖線、光纖接頭),預計於2021年第2季推出樣品。

透過這批產品,Nvidia表示,能為人工智慧開發者與科學研究員提供最快速的網路環境(超低延遲、2倍的流量吞吐能力),透過NDR 400 Gb/s連線速度與網內運算(In-Network Computing)引擎,以及具備完整卸載處理功能的平臺,解決全球最困難的問題。

到了2021年,Nvidia公布更多400 Gb InfiniBand解決方案的消息。例如,4月GTC大會期間,他們預告2022年將推出新一代資料處理器BlueField-3系列,就是第一款支援400 GbE/NDR InfiniBand的產品;6月在歐洲舉行的國際超級電腦大會期間,又有更多產品的系列名稱終於揭曉,例如,網路卡Connect X-7系列、交換器Quantum-2系列。

在使用規模上,Nvidia表示,以網路交換器為例,若以固定組態的1U尺寸交換器機型來看,新一代產品Quantum-2 9700提供64個400 Gb/s埠,或128個200 Gb/s 埠,匯集起來的總吞吐量可達到51.2 Tb/s,而在處理容量上,每秒可達到665億個封包的規模

若以每埠連網頻寬而言,Quantum-2 9700可達到前代產品Quantum QM8700的2倍(400 Gb/s vs. 200 Gb/s),單位網路埠密度可達到3倍(128埠 vs. 40個埠)。

若是模組化的交換器,因為提升至400 Gb/s規格,整體擴充性更為顯著。例如,在Nvidia推出的前代產品Quantum CS8500當中,高度為29U,提供800個200Gb/s埠或1600個100Gb/s埠,匯集起來的總吞吐量為320 Tb/s;新一代產品Quantum-2 CS9500高度同樣是29U的尺寸,提供2048個400Gb/s埠或4096個200Gb/s埠,匯集起來的總吞吐量可達到1600 Tb/s,因此,就單位網路埠密度而言,可達到2.5倍(4096埠 vs. 1600埠),若是總吞吐量可達到5倍(1600 Tb/s vs. 320 Tb/s)。

除了網路層面的規格,Nvidia也強調Quantum-2交換器的人工智慧加速處理能力,若以上一代產品為基準,可提升至32倍之高。之所以能取得這樣的成效,主要是得力於他們發展的SHARP(Scalable Hierarchical Aggregation and Reduction Protocol)的技術,而Quantum-2交換器採用的是第三代技術,也就是SHARPv3,可藉此支援64個平行的流向(flow)處理。

Nvidia表示,這項技術可針對複雜運算效能下的應用程式效能,在資料跨過整個機房網路環境進行搬移之際,提供動態加速機制──在應用程式處理執行時期階段之際,可參與其中,以減少需橫越網路的資料數量。

有了SHARP,可以改善用於高效能運算協定的共同操作,像是訊息傳遞介面(Message Passing Interface,MPI)、對稱階層式記憶體(Symmetric Hierarchical Memory,SHMEM)。Nvidia強調,若運用他們發展的新型網內運算引擎,MPI效能可提升到4倍。

這當中包含哪些功能?有MPI All-to-All、MPI標籤匹配(MPI Tag Matching)硬體引擎,以及進階壅塞控制、具備自動調適能力的路由、可自我修復的網路。

而在第三代SHARP技術當中,還能讓深度學習訓練的作業,卸載到InfiniBand網路、進而提升處理速度,而結果就是達到32倍的AI加速力。除此之外,SHARP還能結合Nvidia本身的Magnum IO軟體堆疊,提供可立即使用的科學運算加速處理機制。

在部署方式上,Quantum-2交換器可支援多種拓樸,像是胖樹型架構(Fat Tree)、蜻蜓型架構(DragonFly+)、多維度環面型架構(multi-dimensional Torus)。以蜻蜓型架構的拓樸為例,我們能以4臺交換器為1層串連,再結合3個中繼點,即可同時服務1百萬臺節點,使其都能以400 Gb/s網路彼此連接。而基於這樣的建置方式,Nvidia也表示,Quantum-2交換器的規模延展性,可達到上一代產品的6.5倍。

除了交換器本身的功能特色之外,Nvidia也先後揭露合作廠商名單。例如,在2020年11月第7代Mellanox InfiniBand網路解決方案發布之初,有9家相關廠商計畫整合;到了2021年6月國際超級電腦大會期間,Nvidia表示,有12家廠商的企業與高效能運算解決方案,預計整合Quantum-2交換器。

若對照這兩次發表列出的廠商名單,共通的業者有:Atos、DDN、Dell Technologies、技嘉、聯想、Supermicro,在今年6月公布的名單當中,增加了Excelero、HPE、Penguin Computing、雲達、VAST、WekaIO,而先前列入的富士通、浪潮、IBM Storage,本次並未提到。

上述這些廠商當中,有些原本就是與Nvidia/Mellanox有密切搭配關係,但值得注意的是,有些伺服器廠商目前可同時提供乙太網路交換器,或許有可能因為與Nvidia合作,而開始供應InfiniBand網路交換器。

以技嘉科技為例,他們本身並未推出交換器產品,主要是直接採用Nvidia的InfiniBand交換器;Supermicro則表示,他們可直接搭配Nvidia的交換器,本身也能推出InfiniBand交換器產品──前者價格高,適合固定選擇Nvidia產品的用戶,後者則適合功能需求有限且預算有限的用戶。

而在產品的供應上,Nvidia也表明會在第三季開始提供Quantum-2交換器的樣品。不過,這比他們去年11月發布400Gb/s InfniBand解決方案時所預告的時程,已晚了一季。

Nvidia Quantum-2 QM9700
●原廠:Nvidia
●建議售價:廠商未提供
●機型名稱:9700(網管型交換器)、9790(無網管型交換器)
●網路介面:64個NDR Infiniband 400Gb埠
●機箱尺寸:1U
●系統交換容量:51.2Tb/s
●硬體運算規格:第8代Intel Core i3 處理器、8GB DDR4-2666記憶體(SO-DIMM)、16GB M.2 2242 SATA介面SSD
●作業系統:MLNX-OS
●最大耗電量:1084瓦/1720瓦
●電源供應器:2000瓦,1+1備援

【註:規格與價格由廠商提供,因時有異動,正確資訊請洽廠商】

熱門新聞

Advertisement