三星
整整一年前,我們率先報導作為記憶體互連技術共通標準的CXL(Compute Express Link)協定,在2022年9月的封面故事《CXL帶動伺服器運算架構革命》,以系統化的方式介紹起源與發展,基本的運作與應用架構,以及第一波問世的產品與解決方案,現在CXL領域又累積不少新進展。
首先,2023年下半的此刻,CXL終於初步形成完整的應用環境。其次,從元件層級到系統層級,CXL都有更多廠商投入發展,形成2種主要產品形式。
完整應用環境初步成形
CXL的根本目的,是以高速傳輸通道為基礎,建立跨處理器的記憶體互連與共享存取架構,打破伺服器處理器與記憶體之間的綑綁,從而解決當前伺服器記憶體應用的兩大瓶頸——處理器可用的記憶體頻寬增長受限,以及記憶體資源利用率的低落。
所以,CXL應用涉及伺服器端,以及CXL記憶體產品與解決方案端,有兩大層面。過去2年,有許多廠商發表CXL相關元件、產品,以及成套解決方案。但有個關卡嚴重影響CXL發展:由於Intel、AMD這兩家處理器廠商的拖延,導致伺服器端遲遲未能實際支援CXL協定,以致無法形成完整CXL應用環境。
直到2022年底到2023年初,終於迎來轉機,因為此時AMD發表第四代EPYC(代號Genoa),Intel發表第四代Xeon Scalable(代號Sapphire Rapids),隨著兩大新款處理器平臺正式推出,終於將CXL帶到伺服器端,補上CXL應用環境缺失的環節。
更豐富的CXL產品廠商生態
經過2年多的發展,CXL從元件到系統層級的生態擴展到二十多家廠商,已經相當完整與豐富。
元件層級的晶片供應商與設計商,有Astera Labs、Cadence、 Marvell、Microchip、Rambus、Synopsys、Montage Technology、Mobiveil、 SmartDV、Xconn等,發表CXL應用涉及的CXL控制器(Controller)、定時器(Retimers)、交換器(Switch)產品。
系統層級,目前有三星、SK Hynix、美光,Astera Labs,以及臺灣的世邁科技(SMART Modular Technologies),推出擴展記憶體類型的CXL產品。另外,還有Elastics.cloud、IntelliProp、UnifabriX、SK hynix、三星/ H3 Platform、Panmnesia,發表或展示記憶體池類型的CXL解決方案。
CXL產品的兩大主流類型
CXL協定目前定義3種周邊裝置應用型態,Type 1是CPU向周邊裝置分享記憶體,Type 2是CPU與周邊裝置相互共享記憶體,Type 3是周邊裝置向CPU分享記憶體。
然而,面對伺服器記憶體應用的2大訴求:提高伺服器記憶體的可用頻寬與容量,以及提高記憶體利用率與配置彈性,CXL的產品應用發展目前聚焦在Type 3,並形成2大主要的產品類型:「記憶體擴充模組」與「記憶體池」。
CXL記憶體擴充模組
這是搭載DRAM記憶體與CXL控制器的PCIe裝置,通常採用E3.S模組外形或PCIe板卡型態,分別透過伺服器的E3.S磁碟槽或PCIe擴充槽來安裝與部署。
CXL記憶體擴充模組是針對伺服器單機環境應用,目的是打破主機板DIMM通道對CPU記憶體資源造成的制約,讓CPU在既有DIMM記憶體之外,透過PCIe介面獲得額外記憶體容量與頻寬。
透過較早推出的CXL 1.1協定,就能支援CXL擴展記憶體模組的基本運作,所以,理論上支援CXL 1.1的處理器平臺,如搭配Intel Sapphire Rapids與AMD Genoa的伺服器,若有連接器韌體、作業系統軟體與驅動程式的配合,就能使用CXL擴展記憶體模組。
不過在CXL 1.1下,CXL擴展記憶模組與伺服器CPU之間,只能一對一連接,須透過CXL 2.0,才能支援擴展記憶體模組與CPU之間的多對多彈性連接。
目前已發表的CXL記憶體擴充模組,基本上都能支援CXL 2.0規格,但是,在伺服器端,必須等到下一代處理器平臺,如預定於2024年發表的Intel第五代Xeon處理器平臺,才會支援CXL 2.0。
CXL記憶體池
這是獨立的外部記憶體共享裝置,本體是搭載大量DRAM記憶體的機箱,可透過CXL交換器的中介與連接,向多臺伺服器提供記憶體資源。
基本上,須透過CXL 2.0或3.0協定,才能支援CXL記憶體池這種經由交換器的跨伺服器記憶體共享。由於現今市售伺服器平臺只能支援到CXL 1.1,無法應用這類記憶體池裝置,所以,目前CXL記憶體池解決方案展示,大多需要透過各廠商專屬配接卡(Adaptor)的中介。
CXL記憶體擴充模組基本型態
CXL記憶體擴充模組是內含記憶體的PCIe裝置,上圖為三星的CXL記憶體擴充模組解剖,由DDR5 DRAM與CXL控制器組成,包裝在E3.S 2T外型規格的模組內。透過CXL控制器的中介,將DDR5記憶體經由PCIe介面配置給伺服器使用。圖片來源/三星
CXL記憶體池裝置基本組態
記憶體池是一種獨立的外部記憶體機箱,有些廠商稱為JBOM,機箱內安裝多組DRAM記憶體模組,構成龐大的記憶體資源池,透過纜線與CXL交換器的介接,多臺伺服器主機可共用這組記憶體資源池。圖片來源/H3 Platform
2024年有機會開啟下個階段轉折
就目前來看,CXL記憶體擴充模組的應用環境已經備妥,至少有5、6家廠商推出CXL記憶體擴充模組產品,雖然當前伺服器只能支援CXL 1.1,限制CXL記憶體擴充模組的使用彈性,但基本上已經可以連接與運作。
至於更靈活、完整的CXL記憶體擴充模組應用,則要等待支援CXL 2.0的下一代伺服器處理器平臺。
而CXL記憶體池的普及,同樣要等到支援CXL 2.0的下一代伺服器處理器平臺、於2024年問世後,才能初步具備完整的應用環境。
整體來看,目前仍然只是CXL應用的「黎明拂曉」階段,具備功能有限的初階應用能力,但完整、支援正式環境應用,最快可能要等到2024年才能具備,屆時將是CXL發展的下一階段轉折點。
跨界的CXL記憶體產品
除了記憶體擴充模組與記憶體池等CXL主流產品形式,過去2年來還出現幾種「跨界」的CXL記憶體產品,其中最有意思的是這兩種:
首先,是三星在FMS 2022大會展出的Memory-Semantic SSD,是兼具NVMe-PCIe 5.0 SSD與CXL擴展記憶體的雙重模式產品,內含CXL控制器與8 GB DRAM,在標準的SSD模式下,8 GB DRAM作為NAND Flash記憶體的緩衝區使用,可大幅提高存取效能,而在CXL模式下,這8GB DRAM則可作為CXL擴展記憶體使用。
另一種產品,是SK Hynix在2022年底OCP全球大會,展出的運算型記憶體解決方案(Computational Memory Solution,CMS),在PCIe板卡搭載512 GB DRAM,以及可程式化運算單元,DRAM可用於扮演CXL擴展記憶體角色,運算單元則提供CPU卸載運算能力,訴求是在記憶體端就近完成部分運算工作,減少資料往返,加速應用程式的運作。
|SK Hynix的CXL運算型記憶體|SK Hynix在2022年10月OCP大會展出運算型記憶體(CMS)工程原型,卡上搭載512GB記憶體,可提供CXL擴展記憶體應用,另外還含有可程式化運算單元,可從伺服器CPU分攤部分運算工作。圖片來源/SK Hynix
熱門新聞
2024-12-03
2024-11-20
2024-11-29