InfiniBand Trade Association
由AI應用推動的I/O架構加速演進浪潮,其中一個重要的影響,便是將原本高效能運算(HPC)領域的高效能網路架構需求,帶進一般企業資料中心,因為現在許多企業也需要高頻寬、低延遲的網路架構,來因應AI應用的資料傳輸需求,這也促成200/400Gb等級以上的高速乙太網路與InfiniBand,開始在企業端應用普及。另一個相對不起眼、卻仍十分重要的影響,是促使FC與SAS這2種老牌儲存介面,在數年沉寂後出現新發展。
乙太網路與InfiniBand的競爭
為了因應AI的龐大資料傳輸需求,讓原本以高效能運算領域為主的高階網路架構,大舉進入一般企業應用。
目前高效能領域最常使用的網路規格有這4種:InfiniBand、乙太網路、Omni-Path、以及SlingShot。前兩種在TOP500超級電腦的使用比例,合計佔了8成以上,競爭主要也在這者者間展開。
其他介面方面,原本由Intel主導發展的Omni-Path,在2017到2018年之間聲勢看漲,但隨著Intel在2019年中宣布不再繼續發展這套網路技術,2020年分拆相關業務後,導致Omni-Path聲勢大跌。至於SlingShot則是Cray專屬規格,現在屬於HPE Cray,在最頂級領域頗有市場,在TOP100超級電腦使用比重僅次於InfiniBand,但在TOP500比重只與Omni-Path相當,因此,兩種都算是非主流技術。
由於InfiniBand與乙太網路是高效能運算最普遍使用的網路規格,所以當AI應用帶來高效能網路需求擴散後,最常被用戶選用的網路架構也是這兩種。
InfiniBand的優勢在於更高的效率(延遲、頻寬)與可靠性,而乙太網路則以成本取勝,2者在TOP500的整體比重不相上下,但是在頂端的TOP100超級電腦中,InfiniBand用戶數量有壓倒性優勢,這也反映出兩者的效能/成本特性——以效能為最優先考量的頂級用戶,大多選擇InfiniBand;對成本較敏感的用戶,則傾向乙太網路。
過去6、7年以來,乙太網路憑藉較迅速的頻寬增長,已逆轉了頻寬不如InfiniBand的長期劣勢,當200/400GbE與800GbE推出時,InfiniBand還分別停留在100Gb EDR與200Gb HDR。隨著InfiniBand在2022與2024年接連推出400Gb NDR與800Gb XDR,如今已趕上乙太網路的頻寬。
乙太網路方面,除了繼續發展頻寬更高的新規格,如1.6TbE,也從改善協定效率方面著手。由多家一線大廠組成的超級乙太網路聯盟(Ultra Ethernet Consortium,UEC),正在發展改進的乙太網路傳輸堆疊架構,以求改善乙太網路在AI與高效能運算領域的效能表現。
UEC的具體工作是制定新的超級乙太網路傳輸(Ultra Ethernet Transport,UET)協定,取代既有的RoCE協定。
RoCE可說是把InfiniBand的RDMA傳輸架構移植到IP與乙太網路而成,兼具RDMA的低延遲與乙太網路的低成本特色,但是,RDMA在壅塞控制、負載平衡等方面,仍有一系列不足。而UET協定除了透過新的傳輸層來改善雍塞管理,也將改進延遲、安全性與多供應商支援的API,這些特性顯然都是針對InfiniBand而來,同時又沒有後者被單一供應商(Nvidia/Mellanox)控制的問題。
UEC預計第1版UET協定將於今年第3季發布,第1批支援的產品很快就會跟著問世,屆時應該會刺激InfiniBand出現新的發展。
陷入困境的老牌儲存介面
過去20年,長期統治儲存I/O規格的FC與SAS等2種介面,最近這幾年在新興技術的衝擊下,都出現發展遲滯的困境,不僅新規格的產品支援應用緩慢,下一代規格也陷入難產。
這種情況在今年終於有轉機,支援FC與SAS最新規格的產品顯著增加,下一代規格也有新進展。
乙太網路技術的迅速進步,大幅侵蝕FC介面在儲存區域網路(SAN)的版圖。乙太網路憑藉頻寬的迅速增長,逐漸抵銷FC原有的低延遲與傳輸效率優勢,反倒突顯部署與管理成本上的長處——採用乙太網路來建構儲存區域網路,儲存區域網路(SAN)與一般區域網路(LAN)的部署與管理將能統一,不像FC需要獨立的設備與管理架構。
因此,這也導致新一代FC規格的應用推廣遭遇困難。目前最新的FC規格,是2018年底便已制定完成第7代FC,也就是64Gb FC,依照過去FC介面典型應用發展過程,第一批支援64Gb FC的SAN網路設備,應該在2020年前後就會問世,到了2021到2022年間,主流儲存設備也會開始支援。
但實際上,64Gb FC網路設備(交換器、導向器與HBA板卡)雖然大致按期問世,但是,在儲存設備方面,直到2023年為止,仍沒獲得主流儲存產品的普遍支援。在一線儲存系統大廠中,只有Pure Storage在2021年底宣布支援64Gb FC。
這樣的情況,也影響到下一代FC規格的發展。依照早期的規畫,第8代FC,也就是128Gb FC應該在2021年推出,但實際上,到了2024年中的今日,128Gb FC規格仍未能問世,這也破壞原本FC介面規格4至5年便更新一代的週期。
在SAS介面方面,也遭遇類似的困境。目前受到普遍應用的SAS-3,在2013年完成規格制訂後,很快就在2015年形成完整的應用環境。
到了新一代的SAS-4,雖然早在2017年便宣布完成規格制定,但此時遭遇了NVMe的競爭與衝擊,以致普及陷入困難。
隨著固態儲存的持續發展,高效能取向的儲存應用已全面轉向NVMe介面;而對於非效能取向的中、低階儲存裝置來說,既有SAS-3便能滿足要求,無須升級到SAS-4。這導致SAS-4陷入高不成、低不就的窘境,儲存廠商們也缺乏支援的誘因。直到距SAS-4發布相隔的6年多後(2024年初),支援的產品仍十分有限。只有少數幾款SSD, HBA卡與RAID卡。
FC與SAS應用的轉機
就在我們以為FC與SAS介面似乎被市場主流遺忘與放棄時,過去半年多以來,出現新的轉機。
在FC方面,下一代的128Gb FC依舊了無聲息,但64Gb FC的應用有新的進展。一線儲存大廠中,自Pure Storage在2021年宣布支援64Gb FC後,接下來兩年多都未見到其餘廠商跟進。不過,到了2023下半年,HPE為Alletra MP儲存陣列新增64Gb FC選項。2024年初,又陸續有大廠在新推出的主力產品線中支援64Gb FC,包括NetApp的AFF A70、A90與A1K,Hitachi Vantara的VSP One Block,還有IBM的FlashSystem 5300等。這也意味著64Gb FC開始進入主流儲存產品,延宕許久的64Gb FC儲存應用,終於有了起色。
在SAS方面,我們在今年Computex的廠商展區,首次見到支援SAS-4的主機端與外接儲存設備,包括:技嘉有幾款新推出的伺服器產品,註明熱抽換磁碟槽規格同時支援NVMe/SATA/SAS-4介面,可直接安裝SAS-4介面磁碟,營邦展出基於SAS-4的4U高密度擴充儲存櫃。這也讓SAS-4的產品應用,終於走出過去4年來止步於個別元件(SSD與卡板等)的困境,開始進入完整系統層級。
在規格發展方面,新一代SAS規格也有具體消息傳出。依照負責SAS規格制定的STA協會原有路線圖,24G SAS後的下一代,理應是頻寬加倍的48G SAS,然而目前情況已有變化。STA在去年底透露,下一代將轉向發展既有24G SAS的強化版本:24G+ SAS。STA調整路線的目的,是迴避與NVMe的競爭,使SAS走向與NVMe不同的應用路線,將NVMe視為針對快閃儲存裝置最佳化的介面,SAS介面則是主攻機械式硬碟最佳化。
因而下一代的24G+ SAS不再追求頻寬的增長,而是沿用現有24G SAS實體層,搭配強化傳輸協定的上層規範。預定24G+ SAS規格將在2024年中以後完成制定,在2025到2026年左右進入終端用戶產品。
InfiniBand的頻寬發展路線
InfiniBand相較於乙太網路,擁有低延遲與高可靠性的優勢之餘,過去也擁有頻寬優勢,但自200/400GbE推出後,InfiniBand的最大頻寬就被乙太網路超越。目前最新的800Gb XDR已趕上800GbE規格,接著還預計在2027與2030年推出1600Gb GDR與3200Gb LDR。圖片來源/InfiniBand Trade Association
改弦易轍的SAS介面發展路線
為了迴避與NVMe的競爭,STA去年宣布放棄每世代都提高一倍傳輸速率的傳統規畫,以基於現有24G規格,強化安全性與可靠性的24G+ SAS,替代原本做為下一代規格的48G SAS。圖片來源/SCSI Trade Association
熱門新聞
2024-12-03
2024-11-20
2024-11-15
2024-11-15