圖片來源: 

InfiniBand Trade Association

在高效能運算(HPC)領域當中,除了傳統的數值分析、模擬等應用,在AI、機器學習等新興需求的帶動下,應用面向與規模也隨之不斷擴大,連帶的,對於資料傳輸吞吐量的需求也是有增無減,同時,也讓InfiniBand這類主要用於高效能運算環境的資料傳輸技術,有了迅速的發展。

5、6年以前,56Gb頻寬的FDR,還是InfiniBand最普遍的規格,不過當100Gb的EDR規格於2014年出爐後,短短幾年內就在高效能運算領域普遍使用。緊接著200Gb頻寬的HDR規格也在2017年問世,並很快就獲得應用,以剛於2019年6月發布的最新版Top 500超級電腦名單為例,其中,便有4座採用200Gb HDR InfiniBand作為互連架構。

負責制訂與維護InfiniBand標準的IBTA組織(InfiniBand Trade Association),也已經規畫了接下來的發展路線,預定在2020與2023年以後,陸續推出400Gb的NDR,以及1Tb等級的XDR規格。

InfiniBand網路產品主要的供應商,是剛於今年稍早為Nvidia併購的Mellanox,可提供100Gb EDR與200Gb HDR的HCA介面卡與交換器。另外,Mellanox也與Nvidia合作,推出整合了100Gb EDR介面的DGX-1深度學習應用設備。

InfiniBand vs. Omni-Path的競爭

Intel原本也是InfiniBand網路設備重要供應商,不過,在QDR之後,與Mellanox出現分歧,因該公司在2013年左右曾推動QDR-80,對抗Mellanox的56Gb FDR,但沒有成功,此後Intel便淡出InfiniBand,旗下的True Scale系列InfiniBand產品線停留在40Gb QDR規格,並將高效能運算網路領域的重心,轉到Intel自身的Omni-Path Architecture(OPA)架構上。

2015年開始推出產品的Omni-Path,是一種類似InfiniBand的低延遲、高頻寬傳輸架構,目前可達到100Gb頻寬,與InfiniBand的100Gb EDR相同,在低延遲與QoS方面有所改進,還與Intel處理器有更深的整合,在交換機的埠數密度方面也有優勢,可達到1U/48埠,同時期的InfiniBand交換器只有1U/36埠。

但後來InfiniBand也有所改進,不僅推出新一代200Gb HDR規格,還有1U/40埠的200Gb HDR交換器產品,若搭配splitter纜線使用,將可在1U空間提供80個100Gb EDR埠。

目前在高效能運算領域,InfiniBand還是居於明顯領先,並有著更為成熟的優勢,但Omni-Path在技術規格上有其優點,並憑藉Intel的低價策略占有一席之地,預期這兩種規格的競爭,還會持續相當長的時間。

以高效能運算領域最具代表性的Top 500超級電腦排行榜來說,參照Mellanox的統計的2018年11月Top500排行結果,在Top500超級電腦採用的互連架構中,乙太網路是比重最高的一種,超過250座系統採用,占了一半以上,InfiniBand則排名第2,有130多座系統採用,至於Omni-Path則是第4名,有40座多系統採用。

整體來說,即使在超級電腦領域,乙太網路仍是最普遍的傳輸架構,若進一步細分,則可以發現在採用乙太網路的250座系統中,有130多座是採用25Gb以上的高速乙太網路,其餘120座則是10Gb以下的低速乙太網路。

不過,若只考慮Top500中效能最高的前100套系統,我們可以發現,在這些頂級的超級電腦系統中,乙太網路就已不見身影,而是InfiniBand、Cray與Omni-Path這些架構三分天下。其中又以InfiniBand獨占鰲頭,有40套系統採用,Cray與Omni-Path各有20多座系統採用。

 1   2   3   4   5   6 


Advertisement

更多 iThome相關內容