【打破長年束縛儲存陣列效能的瓶頸，邁向新世代I/O架構】首款PCIe 4.0企業級儲存陣列問世

以HPE今年中發表的Alletra 6000為開端，企業儲存領域正開始一波I/O架構革新潮流。

為了追求存取效能的突破，以NAND Flash記憶體為基礎，10年前開始了快閃儲存陣列潮流。然而隨著固態儲存應用的逐漸深入，傳統的磁碟傳輸協定，成了制約儲存效能進一步提升的瓶頸，於是，在5年前又開始了儲存陣列傳輸架構NVMe化的潮流，以嫁接在PCIe匯流排上、專為固態儲存裝置發展的NVMe協定，取代傳統的ACHI協定。

當NVMe介面的應用逐漸普及後，此時，PCIe 3.0匯流排又成了束縛NVMe擴展應用的原因。而儲存陣列控制器的匯流排架構，之所以長期停滯在PCIe 3.0，又與掌握儲存處理器市場的Intel保守的發展策略，脫離不了關係。

這樣的態勢，一直到了HPE的Alletra 6000，才終於有了革命性的變化，這款產品透過引進AMD處理器，將控制器匯流排架構升級為PCIe 4.0，不僅打破PCIe 3.0導致的I/O效能限制，連帶也鬆動Intel對儲存處理器的壟斷局面。

Alletra 6000是HPE原有Nimble儲存陣列家族的進化發展，是業界第1款採用PCIe 4.0的企業級儲存陣列產品，結合全新運算核心與全面NVMe化的I/O架構，擁有3倍於上一世代產品的效能。

Nimble家族的繼承與發展

今年年中新推出的Alletra 6000，其實，可看作HPE原有Nimble儲存家族的進化升級版本，也是Nimble Storage自2017年併入HPE以來，Nimble儲存家族最重大的一次更新。

在HPE剛併購Nimble Storage之初，仍延續原本Nimble的CS混合陣列，以及AF全快閃陣列兩大產品系列（前者為SSD+硬碟混合儲存架構，後者為純SSD的全快閃架構）。後來，在2018年中，HPE針對Nibmle家族進行了「HPE化」的改款，於是，CS系列改款為HF混合陣列，AF系列也從AFx000轉為新的AFx0系列，硬體則換成HPE自身的儲存伺服器。

接下來，HPE又在2020年中為Nimble AF系列小幅升級，引進儲存級記憶體（Storage Class Memory，SCM）模組。

時隔1年後，Nimble家族迎來了歷來最重要的一次更新，新的Alletra 6000繼承Nimble家族既有的軟體核心，同時還全面翻新硬體架構，導入了AMD處理器平臺、PCIe 4.0，以及全NVMe架構等3大更新。

業界首款PCIe 4.0儲存陣列登場

十多年來，Intel處理器幾乎統治整個企業級儲存設備的核心處理器應用，從低階的入門級產品，到中、高階儲存陣列，系統核心幾乎都被各式各樣的Intel x86處理器占據。但另一方面，Intel在儲存處理器領域的壟斷，也給儲存核心架構的進步帶來負面影響，特別是在匯流排架構方面。

儲存設備對I/O吞吐能力的需求永不嫌多，但Intel處理器平臺的匯流排架構，長期停滯在PCIe 3.0，等於阻礙儲存設備廠商對於提高資料吞吐量的期望，越來越無法因應新一代網路介面，以及資料傳輸架構的要求。

面對Intel處理器在技術變革採取了「擠牙膏」式的保守策略，也使得率先採用PCIe 4.0介面的AMD，有了重回儲存設備處理器市場的機會。

早在3、4年前，AMD處理器便開始進到儲存產品應用，部分廠商在入門級NAS產品採用AMD Ryzen處理器。接著在2020年中，HPE與Dell等兩大廠，又先後在超融合產品線引進AMD EPYC處理器。時隔一年，HPE的Alletra 6000成為第1款採用AMD處理器，以及應用PCIe 4.0架構的主流儲存陣列產品。

PCIe 4.0帶動I/O介面新進化

Alletra 6000採用AMD處理器，象徵Intel對於儲存處理器的統治出現鬆動，更重要的是，藉此導入了PCIe 4.0架構，一舉打破針對PCIe 3.0對儲存陣列控制器I/O效能提升所造成的長年瓶頸，並且也獲得了更充份的PCIe傳輸通道資源，來因應安裝新一代高速傳輸介面的要求，讓Alletra 6000能安裝Nimble系列原本沒有的100GbE網路介面，並支援更多數量的32Gb FC介面。

而憑藉著PCIe 4.0所帶來的傳輸能力增長，Alletra 6000也導入全NVMe架構的後端儲存介面，不僅所有SSD模組都採用NVMe介面，甚至，連結擴充櫃的外接介面，也採用NVMe-oF架構。

憑藉採用全新的硬體核心，HPE宣稱Alletra 6000比Nimble AF系列，提升了3倍效能。事實上，在HPE提供的SAP HANA認證測試結果中，作為中階產品的Alletra 6000，透過4節點叢集組態，表現甚至超過一些高階產品。

HPE Alletra 6000儲存組態

全面支援NVMe SSD
Alletra 6000系列採用4U/24Bay規格的控制器機箱，並全面支援NVMe介面，出廠時預載了12或24臺NVMe SSD，並有1.92TB、3.84 TB、7.68 TB與15.36 TB等4種SSD容量可選。對於預載12臺NVMe SSD的控制器組態，HPE另外提供了安裝另外12臺SSD的容量升級套件選項，並同樣有1.92 TB、3.84 TB、7.68 TB與15.36 TB等4種SSD容量規格可選。
如同上一代的Nimble AF系列，Alletra 6000的控制器機箱也提供了外接擴充櫃的擴展能力，每臺控制器機箱可以外接1或2組擴充櫃，不過目前HPE尚未備妥Alletra 6000的外接擴充櫃功能，要等到日後才能實際提供。

繼承過往HPE Nimble系列儲存陣列的特性，今年登場的Alletra 6000系列也具備Scale-Out橫向擴展，以及Suale-Up縱向擴展能力。

相較於過往Nimble系列所採用的4U/48Bay機箱，Alletra 6000改用4U/24Bay機箱，機箱容納的SSD模組數量只有前者一半，但是，可以使用容量更大的SSD模組，因而仍能提供同等級的系統容量。

例如，Nimble AF系列最大支援7.68 TB的SAS SSD，Alletra 6000則能支援15.36 TB的NVMe SSD模組。

在Suale-Up縱向擴展模式下，Nimble AF系列支援的容量是6至1,106 TB，而Alletra 6000則為23至1,104 TB。在4系統組成的Scale-Out橫向擴展模式下，Nimble AF系列的最大擴展能力為4,424 TB，而Alletra 6000亦達到4,416 TB。

關於儲存級記憶體（SCM）搭配，如同上一代的Nimble AF系列，Alletra 6000同樣是以PCIe擴充介面卡的型式來支援，目前的Alletra 6000系列中，以較高階的3款（6050、6070與6090）而言，每臺陣列可安裝1張1.5 TB的SCM卡。

至於SCM的應用形式上，Alletra 6000也和Nimble AF一樣，是作為輔助的快取讀取緩衝區，而非ㄧ般的儲存區。

但是，Alletra 6000目前同時繼承了過去Nimble家族專屬的快取加速循序布局（Cache Accelerated Sequential Layout，CASL）存取技術，因此，這系列產品可透過SCM模組，承載前端主機的讀取負載，搭配高命中率的快取演算法，可達到「All SCM」的讀取加速效果，原廠宣稱藉此可縮短50%的平均讀取延遲。

HPE Alletra 6000硬體解剖

就產品沿革來說，Alletra 6000可視為原有Nimble AF系列的硬體更新版本。但從Nimble AF到Alletra 6000的發展，可說是一次大躍進，因為這當中引進了「AMD處理器」、「PCIe 4.0」、「全NVMe儲存架構」，蘊含了3大更新。

Alletra 6000控制器全面翻新了控制器核心，以AMD EPYC處理器取代Nimble家族過去長期使用的Intel Xeon處理器，並以PCIe 4.0架構，取代已沿用多年的PCIe 3.0，同時，儲存介面也已全面支援NVMe。

導入AMD處理器與PCIe 4.0

雖然HPE並未公布Alletra 6000採用的處理器型號，但作為HPE合作廠商的AMD，則公開透露Alletra 6000採用了他們的EPYC 7002系列處理器，這當中包括EPYC 7252、EPYC 7302、EPYC 7502與EPYC 7742等幾款，可提供8至64個核心，相較於上一代的Nimble AF系列，Alletra 6000每個處理器插槽提供的運算能力可提升一倍。

隨著導入AMD EPYC 7002，Alletra 6000一併獲得這系列處理器內含的PCIe 4.0架構。EPYC 7002系列處理器支援128條PCIe 4.0傳輸通道（lane），每條傳輸通道的頻寬都比PCIe 3.0高出一倍，大幅提高了Alletra 6000控制器的I/O吞吐率，也能藉此提供更多的PCIe擴充槽，從而配置更多的I/O埠。

事實上，前代Nimble AF系列的每組控制器只能提供3組PCIe擴充槽，而Alletra 6000增為6組PCIe擴充槽，不僅可配置的I/O埠數量提高一倍，頻寬也更大，足以因應100GbE網路、NVMe等十分消耗PCIe傳輸資源的新技術需求。

全NVMe儲存架構

憑藉著PCIe 4.0介面的引進而大幅提高控制器內部傳輸能力，也讓Alletra 6000邁向「全NVMe儲存架構」打好了基礎。

上一代的Nimble AF，對於NVMe儲存裝置的支援相當有限，只能透過預留擴充槽安裝NVMe介面的SCM卡，至於SSD模組則仍然是SAS介面。

而Alletra 6000藉由引進PCIe 4.0介面，大幅提高了控制器可提供的PCIe傳輸通道與頻寬，進而導入全NVMe架構的儲存介面，不僅SSD模組全面採用NVMe介面，與外接擴充櫃的連接，同樣也是採用基於NVMe的NVMe-oF傳輸架構，因此，構成了「端到端（End-to-End）」的NVMe傳輸架構。

當前雖然已有部分儲存陣列產品，先一步採用了全NVMe儲存傳輸架構，但這些產品是在PCIe 3.0的基礎上，來打造全NVMe架構，在PCIe傳輸通道資源的限制下，讓這些產品的擴展能力都受到很大制約，不論是能支援的SSD數量，或是擴展容量，都明顯不如原本基於SAS介面的同系列產品。

但Alletra 6000則透過導入PCIe 4.0，為兼顧NVMe的傳輸頻寬，以及SSD模組擴展數量等兩方面的需求，提供了解決辦法。PCIe 4.0每條傳輸通道的頻寬，較PCIe 3.0高出一倍，可在使用同等傳輸通道數量的情況下，提供高出一倍的總頻寬；而在提供同等總頻寬的前提下，PCIe 4.0只需耗用PCIe 3.0一半的傳輸通道數量，從而可支援更多的PCIe裝置。

機箱正面
如同上一代的Nimble AF系列，Alletra 6000也是由內含控制器、稱為「Head」的基礎陣列機箱（Base Array），搭配擴充櫃（Expansion Shelve）組成，每組基礎陣列機箱可以外接1或2組擴充櫃。差別在於Alletra 6000的基礎陣列機箱改用4U/24Bay規格，不同於Nimble家族長期慣用的4U/48Bay規格。Alletra 6000基礎陣列機箱與擴充櫃之間的連接，也改用NVMe-oF架構，而非Nimble系列的傳統SAS連接架構。此外，Alletra 6000的機箱深度也比較短，只有800公釐，短於Nimble AF系列的890公釐，可以更方便地安裝到標準伺服器機架。

機箱背面
Alletra 6000的每組基礎陣列機箱，含有2組控制器，以及4組電源供應器，所有關鍵元件都是雙重配置，可避免發生單點故障的狀況，目前整體的可用性達到6個9（99.9999%）。
控制器仍沿用Nimble家族一貫的Active-Standby架構，雖然資源利用率較低，不過，一旦Active控制器失效時，接手的Standby控制器有完整的效能可提供服務。

電源供應器
Alletra 6000系列的電源供應器，有800瓦與1600瓦等2種規格。較低階的6010、6030與6050等3款機型，可選用800 瓦規格，較高階的6070與6090等2款，則只能選擇1600瓦規格。

控制器解剖
Alletra 6000的最大特色，便是全新設計的控制器核心，搭載了2顆AMD的EPYC 7002系列處理器，基於PCIe 4.0的匯流排架構。在控制器主機板上配置了16組DDR4 DIMM記憶體插槽，並含有附帶供電線路的NVDIMM記憶體模組。而憑藉著PCIe 4.0，也讓Alletra 6000能夠更容易地支援100 GbE網路卡、全NVMe SSD組態等非常耗用PCIe資源的硬體配置。

I/O介面配置

每組Alletra 6000的控制器都內建了4組管理用的GbE埠  1 ，另提供了6個PCIe擴充槽  2 ，用於安裝選購的I/O介面卡，包括用於iSCSI傳輸的10GbE、25GbE或100GbE網路卡，或是雙埠或4埠的32Gb FC HBA卡，依不同的網路介面卡選項，可提供4至48個主機端埠的連接能力。除了安裝網路卡，也能安裝1張1.5TB容量的儲存級記憶體介面卡。控制器底部還預留了一個特殊的OCP介面卡插槽位置  3 ，可安裝用於連接擴充櫃的NVMe-oF介面卡（但目前HPE尚未開始提供）。

HPE Alletra 6000系統管理架構

除硬體架構的全面翻新，Alletra 6000另一特點，是引進新的雲端管理平臺。

上一代Nimble AF系列的系統管理，分為本地端管理，以及InfoSight雲端管理，總共有兩個層級。本地端管理包括網頁控制臺與文字命令列，用於系統組態設定、儲存資源配置、調整，以及資料服務功能操作；InfoSight雲端管理平臺則提供遠端集中監控、故障預測與警示、健康狀態診斷、升級建議諮詢等功能。

而Alletra 6000的系統管理，除了同樣有本地端控制臺，以及InfoSight雲端管理平臺，還增加了新的Data Services Control Console（DSCC）雲端平臺可用，形成3個系統管理層級。

DSCC是HPE今年中新推出的雲端管理平臺，未來將成為HPE雲端服務統一入口與管理平臺，目前提供4項主要服務，包括用於儲存設備管理的資料管理器（Data Ops Manager），用於監控用戶端事件的Audit功能，以及用於協助負載配置的Intent-Based Provision功能，最後是InfoSight平臺，現在也納入DSCC平臺。

其中資料管理器是DSCC的重點功能，可讓用戶從遠端管理本地端儲存設備，能執行儲存區設定、掛載等作業，包括創建Volume儲存區、設定屬性、掛載給指定主機，以及快照等資料服務功能。也就是說，本地端管理控制臺的主要核心功能，都可改由DSCC的資料管理器來執行，可以涵蓋本地端控制臺的管理功能，但又不像本地端控制臺會受地理環境所限，未來DSCC還可提供跨平臺、跨產品線的遠端管理能力。

提供標準的本地端網頁控制臺
如同一般的儲存陣列產品，本地端的網頁控制臺是Alletra 6000最基本的管理工具，可用於系統狀態監控與設定、儲存資源配置與掛載，以及進階資料服務功能操作等所有主要管理作業。圖片來源／HPE

透過InfoSight雲端平臺管理
從Nimble時代起便沿用至今的InfoSight雲端管理平臺，Alletra 6000也能支援，管理者可透過用戶端設備回傳原廠資料中心的資訊，在AI技術的協助下，獲得遠端集中監控、故障預測與警示、升級建議等服務。圖片來源／HPE

透過DSCC雲端平臺管理
Alletra 6000是HPE旗下最先支援DSCC雲端平臺的儲存陣列，透過DSCC的資料管理器功能，可從遠端向用戶端儲存陣列發送管理指令，設定儲存資源組態與配置。圖片來源／HPE