【從基本的擴展記憶體到進階的記憶體池】從概念驗證邁向實用的CXL產品

整整一年前，我們率先報導作為記憶體互連技術共通標準的CXL（Compute Express Link）協定，在2022年9月的封面故事《CXL帶動伺服器運算架構革命》，以系統化的方式介紹起源與發展，基本的運作與應用架構，以及第一波問世的產品與解決方案，現在CXL領域又累積不少新進展。

首先，2023年下半的此刻，CXL終於初步形成完整的應用環境。其次，從元件層級到系統層級，CXL都有更多廠商投入發展，形成2種主要產品形式。

完整應用環境初步成形

CXL的根本目的，是以高速傳輸通道為基礎，建立跨處理器的記憶體互連與共享存取架構，打破伺服器處理器與記憶體之間的綑綁，從而解決當前伺服器記憶體應用的兩大瓶頸——處理器可用的記憶體頻寬增長受限，以及記憶體資源利用率的低落。

所以，CXL應用涉及伺服器端，以及CXL記憶體產品與解決方案端，有兩大層面。過去2年，有許多廠商發表CXL相關元件、產品，以及成套解決方案。但有個關卡嚴重影響CXL發展：由於Intel、AMD這兩家處理器廠商的拖延，導致伺服器端遲遲未能實際支援CXL協定，以致無法形成完整CXL應用環境。

直到2022年底到2023年初，終於迎來轉機，因為此時AMD發表第四代EPYC（代號Genoa），Intel發表第四代Xeon Scalable（代號Sapphire Rapids），隨著兩大新款處理器平臺正式推出，終於將CXL帶到伺服器端，補上CXL應用環境缺失的環節。

更豐富的CXL產品廠商生態

經過2年多的發展，CXL從元件到系統層級的生態擴展到二十多家廠商，已經相當完整與豐富。

元件層級的晶片供應商與設計商，有Astera Labs、Cadence、 Marvell、Microchip、Rambus、Synopsys、Montage Technology、Mobiveil、 SmartDV、Xconn等，發表CXL應用涉及的CXL控制器（Controller）、定時器（Retimers）、交換器（Switch）產品。

系統層級，目前有三星、SK Hynix、美光，Astera Labs，以及臺灣的世邁科技（SMART Modular Technologies），推出擴展記憶體類型的CXL產品。另外，還有Elastics.cloud、IntelliProp、UnifabriX、SK hynix、三星/ H3 Platform、Panmnesia，發表或展示記憶體池類型的CXL解決方案。

CXL產品的兩大主流類型

CXL協定目前定義3種周邊裝置應用型態，Type 1是CPU向周邊裝置分享記憶體，Type 2是CPU與周邊裝置相互共享記憶體，Type 3是周邊裝置向CPU分享記憶體。

然而，面對伺服器記憶體應用的2大訴求：提高伺服器記憶體的可用頻寬與容量，以及提高記憶體利用率與配置彈性，CXL的產品應用發展目前聚焦在Type 3，並形成2大主要的產品類型：「記憶體擴充模組」與「記憶體池」。

CXL記憶體擴充模組

這是搭載DRAM記憶體與CXL控制器的PCIe裝置，通常採用E3.S模組外形或PCIe板卡型態，分別透過伺服器的E3.S磁碟槽或PCIe擴充槽來安裝與部署。

CXL記憶體擴充模組是針對伺服器單機環境應用，目的是打破主機板DIMM通道對CPU記憶體資源造成的制約，讓CPU在既有DIMM記憶體之外，透過PCIe介面獲得額外記憶體容量與頻寬。

透過較早推出的CXL 1.1協定，就能支援CXL擴展記憶體模組的基本運作，所以，理論上支援CXL 1.1的處理器平臺，如搭配Intel Sapphire Rapids與AMD Genoa的伺服器，若有連接器韌體、作業系統軟體與驅動程式的配合，就能使用CXL擴展記憶體模組。

不過在CXL 1.1下，CXL擴展記憶模組與伺服器CPU之間，只能一對一連接，須透過CXL 2.0，才能支援擴展記憶體模組與CPU之間的多對多彈性連接。

目前已發表的CXL記憶體擴充模組，基本上都能支援CXL 2.0規格，但是，在伺服器端，必須等到下一代處理器平臺，如預定於2024年發表的Intel第五代Xeon處理器平臺，才會支援CXL 2.0。

CXL記憶體池

這是獨立的外部記憶體共享裝置，本體是搭載大量DRAM記憶體的機箱，可透過CXL交換器的中介與連接，向多臺伺服器提供記憶體資源。

基本上，須透過CXL 2.0或3.0協定，才能支援CXL記憶體池這種經由交換器的跨伺服器記憶體共享。由於現今市售伺服器平臺只能支援到CXL 1.1，無法應用這類記憶體池裝置，所以，目前CXL記憶體池解決方案展示，大多需要透過各廠商專屬配接卡（Adaptor）的中介。

CXL記憶體擴充模組基本型態
CXL記憶體擴充模組是內含記憶體的PCIe裝置，上圖為三星的CXL記憶體擴充模組解剖，由DDR5 DRAM與CXL控制器組成，包裝在E3.S 2T外型規格的模組內。透過CXL控制器的中介，將DDR5記憶體經由PCIe介面配置給伺服器使用。圖片來源／三星

CXL記憶體池裝置基本組態
記憶體池是一種獨立的外部記憶體機箱，有些廠商稱為JBOM，機箱內安裝多組DRAM記憶體模組，構成龐大的記憶體資源池，透過纜線與CXL交換器的介接，多臺伺服器主機可共用這組記憶體資源池。圖片來源／H3 Platform

2024年有機會開啟下個階段轉折

就目前來看，CXL記憶體擴充模組的應用環境已經備妥，至少有5、6家廠商推出CXL記憶體擴充模組產品，雖然當前伺服器只能支援CXL 1.1，限制CXL記憶體擴充模組的使用彈性，但基本上已經可以連接與運作。

至於更靈活、完整的CXL記憶體擴充模組應用，則要等待支援CXL 2.0的下一代伺服器處理器平臺。

而CXL記憶體池的普及，同樣要等到支援CXL 2.0的下一代伺服器處理器平臺、於2024年問世後，才能初步具備完整的應用環境。

整體來看，目前仍然只是CXL應用的「黎明拂曉」階段，具備功能有限的初階應用能力，但完整、支援正式環境應用，最快可能要等到2024年才能具備，屆時將是CXL發展的下一階段轉折點。

 跨界的CXL記憶體產品 

除了記憶體擴充模組與記憶體池等CXL主流產品形式，過去2年來還出現幾種「跨界」的CXL記憶體產品，其中最有意思的是這兩種：
首先，是三星在FMS 2022大會展出的Memory-Semantic SSD，是兼具NVMe-PCIe 5.0 SSD與CXL擴展記憶體的雙重模式產品，內含CXL控制器與8 GB DRAM，在標準的SSD模式下，8 GB DRAM作為NAND Flash記憶體的緩衝區使用，可大幅提高存取效能，而在CXL模式下，這8GB DRAM則可作為CXL擴展記憶體使用。
另一種產品，是SK Hynix在2022年底OCP全球大會，展出的運算型記憶體解決方案（Computational Memory Solution，CMS），在PCIe板卡搭載512 GB DRAM，以及可程式化運算單元，DRAM可用於扮演CXL擴展記憶體角色，運算單元則提供CPU卸載運算能力，訴求是在記憶體端就近完成部分運算工作，減少資料往返，加速應用程式的運作。

｜SK Hynix的CXL運算型記憶體｜SK Hynix在2022年10月OCP大會展出運算型記憶體（CMS）工程原型，卡上搭載512GB記憶體，可提供CXL擴展記憶體應用，另外還含有可程式化運算單元，可從伺服器CPU分攤部分運算工作。圖片來源／SK Hynix

 相關報導