儲存月報第91期：Computex 2024宣告資料中心新世代I/O時代來臨

比起新技術的開拓，臺灣更擅長新技術的應用與普及，因此以臺灣廠商為主體的Computex，與其是新興技術的展示會，不如說是新興技術的市場應用成熟度指標，從會場上展出的新產品規格趨勢，將能看出各式各樣新技術進入實用化的程度。

我們去年在Computex見到資料中心伺服器主機的I/O架構，出現世代交替的初步徵兆，為周邊裝置與記憶體帶來更高頻寬的兩大新技術——PCIe 5.0介面與DDR5記憶體，開始應用在部分伺服器與個人電腦產品。

而在今年的Computex，這兩大新技術已普遍出現在各廠商展出的伺服器主機、主機板，還有高階個人電腦產品，象徵主機I/O介面與記憶體規格，將正式邁入PCIe 5.0與DDR5時代。

更進一步來看，架構在PCIe 5.0之上的CXL記憶體互連技術（Compute Express Link），也在今年Computex出現更成熟、接近實用化的相關應用產品。

除此之外，停滯已久的外接儲存介面也有新的進展，我們在會場上發現支援SAS-4介面的伺服器、外接儲存櫃與SSD產品，還有基於乙太網路的全新架構外接儲存櫃，顯示外接儲存介面的發展也將進入新階段。

PCIe 5.0與DDR5時代正式到來

去年的Computex，我們見到各廠商推出的第1批PCIe 5.0與DDR5記憶體主機產品，但當時這兩項規格的應用都只能算是起步階段，距離「普遍」支援還有相當的距離。

以PCIe 5.0為例，我們在幾家伺服器廠商的展區，包括技嘉（Gigabyte）、泰安（Tyna）、神達（Mitac）、華擎（Asrock）、勤誠興業（Chenbro）、營邦（AIC）、精英（ECS）等，都見到了支援PCIe 5.0的伺服器與主機板產品。但在各廠商產品的支援涵蓋比例方面，只有技嘉展出的產品普遍提供PCIe 5.0，其餘廠商展出的多數產品仍停留在PCIe 4.0，僅搭配展出個別幾款PCIe 5.0產品，作為技術能力的證明。

而在周邊裝置方面，儘管當時許多SSD廠商都已宣布推出PCIe 5 SSD產品，但會場中實際展出的SSD產品，幾乎都還是PCIe 4.0規格，能見到的PCIe 5.0周邊產品屈指可數，我們只在博帝科技（Patriot Technology）的展區見到PCIe 5.0 SSD，以及有騰科技（UTran Technology）展區見到PCIe 5.0轉接板卡等少數幾款。

至於DDR5記憶體的支援情況，要比PCIe 5.0更廣泛一些，但也稱不上普及。會場上多數伺服器與高階個人電腦雖然都宣稱支援DDR5，但記憶體模組廠商在會場中展出的產品，仍以DDR4為主力。

今年Computex情況完全不同，在主機端，PCIe 5.0與DDR5已經成為各廠商展出產品的標準配備，完全可以稱得上「普遍支援」。

我們在參展伺服器與主機板廠商展區上，包括技嘉、微星（MSi）、神達、泰安、華碩、華擎、營邦、勤誠興業、鴻佰科技（Ingrasys），超微（Supermicro）等，所見到的不同層級伺服器與主機板展出產品，從通用伺服器、儲存伺服器、GPU伺服器、工作站到高階個人電腦，幾乎都已全面支援PCIe 5.0與DDR5，只剩極少數展出產品還是PCIe 4.0與DDR4規格，與去年情況完全相反。

而在周邊裝置端，PCIe 5.0 SSD與DDR5記憶體模組今年展出產品數量，也顯著增加。

我們在會場看到的SSD廠商展出產品，包括威剛（ADATA）、十詮科技（Team Group）、佰維（Biwin）、英韌（InnoGrit），以及創見（Transcent）與鎧俠（Kioxia）等，除了鎧俠展出的SSD產品幾乎已全面是PCIe 5.0規格（另外加上少數基於SAS-4介面規格產品），其餘廠商的產品仍以PCIe 4.0規格者居多，但也都會在展出幾款PCIe 5.0 SSD，以顯示自身擁有支援這種新介面的新一代SSD產品。

而在PCIe 5 SSD的實際應用上，依我們詢問各廠商現場人員的說法，目前僅限極少數頂級用戶，PCIe 4 SSD仍是當前市場上的主流規格。

記憶體模組方面，包括威剛、創見、廣穎電通（Silicon Power）、全何科技（V-Color）、佰維、環友電子（EUDAR），還有來自韓國的SK hynix，都展出DDR5記憶體模組產品，款式之多幾乎可與同時展出的DDR4記憶體產品相比。而在實際應用方面，各廠商現場人員異口同聲地表示，儘管目前實際出貨以DDR4為主，但DDR5的出貨比重已經達到2成以上，顯示這種新世代記憶體規格，在用戶端已擁有相當的使用量。

開始獲得普遍支援的PCIe 5.0與DDR5記憶體

PCIe 5.0與DDR5記憶體已成為當前新款伺服器標準規格，相關周邊產品也大幅增加。左為神達展出採用PCIe 5.0與DDR5的2U通用伺服器，中間是十詮科技的PCIe 5.0 SSD，右邊是全何科技的DDR5記憶體模組。

攝影：張明德

大步邁向實用化的CXL共享記憶體技術

隨著PCIe 5.0介面開始獲得普遍支援，自然也有助於建構在PCIe 5.0介面上的CXL技術，進一步邁向實用化。

CXL是為了突破伺服器記憶體傳輸頻寬瓶頸，所發展出的記憶體互連共享技術，直接採用PCIe 5.0作為傳輸實體層，所以對於各式各樣的CXL應用來說，PCIe 5.0是不可或缺的底層架構。

基本上，CXL採用PCIe 5.0作為底層，所以PCIe 5.0是CXL的必要條件，一定要有PCIe 5.0才能應用CXL，但有了PCIe 5.0，還需要伺服器主機平臺的支援，才能運行CXL。

在去年Computex，我們在眾多PCIe 5.0伺服器與個人電腦中，只見到華擎的部分主機板產品，特別註明同時支援PCIe 5.0與CXL 1.1。

今年展出的伺服器與主機板產品，支援CXL技術的情況有了顯著增加，而且這些展出的產品，還涵蓋2種基本應用型態，包括用於伺服器本機擴充的CXL記憶體模組，以及用於為多臺伺服器提供記憶體共享的記憶體池。

今年我們同樣在華擎展區上，見到部分主機板產品標註同時支援PCIe 5.0與CXL，而且，還支援較新的CXL 2.0規格。

而在超微、微星、營邦的展區上，還展出可搭載CXL記憶體擴充模組的伺服器產品，可透過機箱正面的磁碟槽，安裝4到8組E3.S規格的CXL Type 3記憶體擴充模組，藉此擴展伺服器本機可用的記憶體容量與頻寬。

在營邦的展區上，我們還見到與營邦合作的H3 Platform，展出基於CXL的CXL 2.0記憶體共享機箱，以及同樣基於CXL的GPU共享機箱。前者可在1臺3U機箱內，安裝最多22組E3.S CXL記憶體擴充模組，提供最大5.5 TB的DDR5記憶體容量，並透過專屬介面卡與直連銅纜的連接，將記憶體資源按需配置給前端多臺伺服器使用。

而GPU共享機箱的概念也相似，只是共享的資源是GPU與網路卡，在1臺4U機箱內可安裝最多8張雙寬度的GPU卡，以及單寬度的網路卡，然後透過專屬介面卡與直連銅纜，將GPU卡與網路卡配置給前端多臺伺服器使用。

事實上，H3 Platform展出的記憶體共享機箱與GPU共享機箱，構成基於CXL技術的可組合式基礎架構（Composable Infrastructure），以CXL這種標準化高效能互連通道為核心，提供記憶體、GPU、網路卡資源任意按需分解與重組能力。

在這樣的架構下，資料中心基礎資源被分解為（Disaggregated），成為只提供基本運算與儲存配置的基本伺服器節點，然後搭配記憶體共享機箱與GPU共享機箱，由後兩者提供共享的「記憶體池」、「GPU池」與「網路卡池」，然後用戶可透過CXL通道向基本伺服器節點，按須配置額外的記憶體、GPU與網路卡資源，組成針對不同應用需求的應用伺服器。並在前端應用需求結束後，將這些額外記憶體、GPU與網路卡重新分解，歸還給「記憶體池」、「GPU池」與「網路卡池」，進而實現資料中心基礎資源配置效率的最佳化。

不過，H3 Platform展出的方案，在應用上仍存在一些關鍵限制。由於直連用的銅纜連接距離只有1公尺，因而整個解決方案只能用於單一機櫃裝置間的連接，該公司向我們表示，接下來將會推出光纖纜線，屆時可將連線距離延長到10公尺。

值得一提的是，配合各式各樣CXL解決方案的出爐，各廠商也展出搭配這些方案使用的CXL擴充記憶體模組。例如，我們在微星與H3 Platform展區上，見到美光與三星的CXL擴充記憶體模組，SK hyrix則在獨立展區秀出自家CXL記憶體模組，當前主要的4家CXL擴充記憶體模組產品中，有3家都在會場亮相，其餘這家是臺灣的世邁科技（SMART Modular），但未在這次大會中展出。

接近實用化的CXL共享記憶體產品

這次Computex會場出現多款接近實用化的CXL相關產品，左為微星支援CXL記憶體擴充模組的2U伺服器，中間是H3 Platform基於CXL的GPU共享機箱，機箱上方是用於配套的直連銅纜，右邊機箱上方放置的是美光與三星的CXL記憶體擴充模組，外形如同E3.S SSD，但內部搭載DDR5記憶體。

攝影：張明德

SAS-4 vs.乙太網路：後端儲存介面新局面

今年Computex最出乎我們意料之外的展出，便是SAS-4介面相關產品，以及乙太網路介面儲存櫃產品。

2024恰好是SAS介面問世的20周年。直到10年前，SAS都是企業儲存應用首選的I/O介面，統一伺服器與儲存設備的內、外接儲存介面規格，從SSD到機械式硬碟，以至外接擴充儲存設備連接。

但隨著固態儲存應用的迅速進展，追求高效能的SSD與外接儲存應用，紛紛轉向採用效率更高的NVMe與NVMe-oF傳輸介面，也大大擠壓SAS介面應用範圍，只剩機械式硬碟、低階SSD，以及容量取向的外接儲存應用，這樣的情勢，也影響到新一代SAS介面的應用。

雖然負責制定SAS規格的STA委員會，早在2019年就正式通過SAS-4，也就是24G SAS規格，但是在NVMe衝擊下，目前SAS介面的主流，依然是2013年完成制定的SAS-3，即12G SAS。

有高效能需求的用戶，自然會優先選擇NVMe；至於對於硬碟、低階SSD或容量型外接儲存應用來說，舊的SAS-3就能滿足需求，升級到SAS-4並沒有顯著效益，這也讓SAS-4陷入不上不下的尷尬局面，產品應用遲遲無法打開局面，至今仍沒有多少產品支援。

就在我們以為SAS-4將被市場主流拋棄的時候，這次Computex卻讓我們驚訝地發現，有幾家廠商展出的產品支援SAS-4，包括技嘉幾款伺服器產品的熱抽換磁碟槽規格，註明了支援NVMe/SATA/SAS-4介面通用，營邦展出基於SAS-4介面的4U高密度擴充儲存櫃，鎧俠也展出支援SAS-4介面的SSD產品PM7。SAS-4居然能獲得臺灣廠商與一線SSD大廠的支援，顯示這個規格應該還有一定的發展空間。

這次Computex展場在後端儲存介面方面，還有另一個值得注意之處，那就是鴻佰科技展出的乙太網路儲存櫃（EBOF），採用200GbE或400GbE乙太網路作為與前端伺服器的連接介面，機箱內可安裝乙太網路SSD，或透過磁碟托盤NVM-oF控制器轉接的標準NVMe SSD，整組EBOF儲存櫃透過200/400GbE交換器，以基於乙太網路的NVMe-oF協定來存取，構成了完全乙太網路化的儲存架構。

如同前面提到的，當前高效能取向儲存設備的後端外接介面，紛紛轉向支援NVMe-oF的PCIe交換器，取代傳統的SAS外接架構，但也有擴展性不足的缺點。而改用基於乙太網路NVMe-oF架構的乙太網路SSD與EBOF儲存櫃，將能保有NVMe的低延遲優勢，同時透過乙太網路交換器大幅提高擴展規模。

這種乙太網路快閃儲存架構在2020到2021年左右出現，三星與鎧俠都曾發表過基於這種架構的乙太網路SSD（後者是搭載Marvell控制器），但僅依靠SSD端，並不能構成完整的應用環境。而鴻佰科技這套EBOF儲存櫃產品，則是我們見到這種架構的第1套系統應用層級產品，可望讓這種嶄新架構進一步推向實用化。

SAS-4介面擴充儲存櫃與乙太網路介面擴充儲存櫃

左為營邦展出的SAS-4介面高密度儲存櫃，中間是鎧俠的SAS-4 SSD，右邊是鴻佰科技的乙太網路儲存櫃（EBOF）。

早先SAS-4的應用集中在儲存裝置端與板卡，而未擴及到完整的後端儲存應用。現在透過SAS-4儲存櫃的推出，讓SAS-4的應用能延伸到完整的後端儲存擴充應用。

類似的，2、3年前就有廠商推出Ethernet SSD，但缺乏完整的應用配套，而現在透過EBOF儲存櫃的推出，終於可以形成完整的儲存應用環境。

攝影：張明德