攝影/洪政偉

所有I/O規格的發展,都是在各標準組織的推動下,按一定的周期與發展路線進行。以目前這個時間點來看,即將在2018~2019年間完成制定,或是進入實用化的重要企業IT I/O規格,包括NVMe-over-Fabrics(NVMe-oF)、PCIe 4.0與5.0,以及SAS-4等3種。

NVMe-oF傳輸架構

NVMe在伺服器與儲存設備上的應用,可分為後端與前端兩種類型,後端的NVMe應用是取代SAS介面,作為SSD或Flash儲存模組連接控制器的介面;前端的NVMe應用,則是將NVMe嫁接在既有的網路傳輸通道上,構成外接的NVMe-oF傳輸架構。

NVMe的後端應用算是已經進入成熟期,但前端應用的NVMe-oF架構仍在早期推廣階段,目前主要的焦點是在底層嫁接儲存網路的選擇上。目前已實作出的NVMe-oF架構,包括基於32Gb FC、基於InfiniBand,基於25/50GbE RoCE或iWARP乙太網路等多種形式,就初期推廣來看,基於FC的NVMe-oF架構,有著用戶較為熟悉FC應用環境的優點,不過,由於用戶必須先升級到32Gb FC環境,才能應用NVMe-oF架構,以致抵銷了FC介面較為用戶熟悉的優點。

考慮到同樣必須引進新的網路環境設備,基於RoCE或iWARP等RDMA乙太網路的NVMe-oF架構,長期來看是更有潛力的發展路線。

關於NVMe-oF的更進一步介紹,可參見我們9月初的《NVMe開始邁入主流儲存應用》封面故事

PCIe的新進化

過去除了少數搭載GPU的運算密集型伺服器以外,既有的PCIe 3.0匯流排規格,對於絕大多數的伺服器或儲存設備來說,都是綽綽有餘的。然而當SSD也開始使用PCIe通道作為傳輸介面時,便讓主機板的PCIe傳輸通道(lane)資源頓時陷入緊繃。

隨著NVMe介面SSD在伺服器應用的普及,連帶大幅增加了伺服器或儲存設備的PCIe傳輸通道耗用。為了獲得足夠的傳輸頻寬,一臺NVMe SSD便需占用4條PCIe 3.0,所以一臺標準的2U伺服器若插滿24臺NVMe SSD,便須占用多達96條PCIe傳輸通道,耗用掉伺服器主機板大多數的PCIe資源。

面對這個情況,除了持續增加伺服器主機板的PCIe通道數量外,根本的解決辦法是升級PCIe規格,以便透過較少的傳輸通道,便能為周邊裝置提供足夠的傳輸頻寬。

負責PCIe標準制定的組織PCI-SIG,剛在2017年底發布了新的PCIe 4.0規範,單通道傳輸率比PCIe 3.0提高一倍,接下來還預定在2019年發布PCIe 5.0,可讓傳輸速率再提高一倍。

目前支援PCIe 4.0的主機板與SSD產品仍然很少,可能要等到2019年下半,應用環境才會較為成熟,但屆時PCIe 5.0也將問世,所以PCIe 4.0很可能會成為一項過渡性規格。

新一代SAS介面

SAS-3(12Gb SAS)是目前最重要的企業級儲存I/O介面規格之一,是SSD與外接擴充櫃的標準介面,統一了所有儲存設備的後端儲存I/O規格,另外也能做為直連前端主機的前端介面使用。

由SAS標準組織STA(SCSI Trade Association)負責推動的SAS規格發展,比早先預期的時程略為滯後,新一代的SAS-4目前還在控制器元件階段,尚未實際進入儲存產品應用。

SAS-4的傳輸頻寬比上一代的SAS-3提高一倍,單一通道可達24Gb/s,匯聚4條通道便可達到96Gb/s的驚人速率。不過隨著NVMe的出現,SAS-4的推出恐怕已時不我予。就傳輸頻寬來說,SAS-4並不比基於PCIe的NVMe遜色多少,但SAS較大的延遲是先天缺陷,因此在一些全快閃儲存設備上,SAS的地位已開始為NVMe所取代。

因此,SAS-4推出後,恐怕不再能像上一代的SAS-3般,全面佔據儲存設備的後端介面應用。不過考慮到NVMe相對較高的成本,以及對PCIe資源的占用問題,SAS-4在中低階與混合式儲存陣列上仍有需求,最終應該會形成NVMe與SAS-4兩種介面並存的情況。

 

【應用新世代I/O介面的儲存先驅產品 (1)】NetApp AFF A800

NetApp新款旗艦級全快閃儲存陣列AFF A800,是市面首批支援新一代I/O介面的儲存設備,引進了NVMe介面的SSD,在主機端介面除了提供當前最普遍的16Gb FC與10GbE外,在FC方面。引進了最新的32Gb FC,在乙太網路方面,則提供25GbE、40GbE與100GbE等新規格介面。

一線儲存大廠中,NetApp算是支援新一代I/O介面最積極的一家。其他大廠迄今還謹守於傳統的SAS磁碟介面,以及10GbE與16Gb FC主機端介面時,NetApp便率先為旗下產品,提供了最新的NVMe、乙太網路與FC介面,其中最具代表性的產品,便是剛在今年中發表的AFF系列全快閃儲存陣列旗艦機型A800。

AFF A800是當前高階儲存陣列產品中,第一款「由裏到外」全面導入新一代I/O介面的產品。就「裏」來說,是引進了NVMe介面的SSD,取代了SAS介面SSD;就「外」來說,則引進了32Gb FC、25GbE、40GbE與100GbE等新一代儲存網路介面,還支援基於FC的NVMe-oF傳輸架構。

在A800之前,NetApp就曾為FAS系列混合儲存陣列,引進NVMe介面的Flash Cache模組,但實際寫入資料的SSD仍是SAS介面。而A800則是NetApp第一款引進NVMe SSD的產品。

先前NetApp在2017年下半推出的EF570全快閃儲存陣列上,就率先採用了32Gb FC、25GbE、100GbE與100Gb InfiniBand等新款主機端介面,稍後A800也跟進支援這些新介面,雖然少了其中的100Gb InfiniBand,不過多了40GbE選項,對乙太網路的支援更為完整。

更進一步,NetApp還與Broadcom合作,為A800提供了基於FC介面的NVMe-oF傳輸架構,藉此提供低延遲的存取服務。

 AFF A800的I/O介面組態:可選購的I/O介面卡包括16Gb或32Gb的FC介面,10、25、40與100GbE等4種乙太網路埠,以及6Gb或12Gb SAS。

 

【應用新世代I/O介面的儲存先驅產品 (2)】Pure Storage FlashArray//X

Pure Storage新一代主力產品FlashArray//X,同為最早全面支援新一代I/O介面的儲存陣列,內接SSD介面更新為NVMe規格,主機端介面也引進32Gb FC、25GbE、40GbE、50GbE等新規格,也支援基於RoCE乙太網路或FC的NVMe-oF傳輸架構。

固態儲存應用,可說是儲存I/O介面更新的主要驅動力之一,正是為了滿足固態儲存對於傳輸效能幾乎永無止境的需求,才推動著儲存廠商不斷尋求效能更高的新一代I/O介面,這也讓身為全快閃儲存陣列領導者的Pure Storage,成為率先採用新世代I/O介面的廠商之一。

Pure Storage旗下的最新主力產品FlashArray//X,是最早全面採用新一代I/O介面規格的儲存陣列產品之一,從SSD內接介面、後端擴充介面,到前端主機介面,都全面導入了新規格,但同時也保留對舊規格的支援。

在SSD內接介面上,FlashArray//X保留了傳統的SAS介面,也提供新的NVMe介面,還允許混搭Pure Storage專屬的DirectFlash NVMe儲存模組(DFM),與一般的SAS SSD。

在後端擴充介面方面,FlashArray//X既可透過12Gb SAS埠串接的SAS擴充儲存櫃,也能透過基於50GbE RoCEv2的NVMe介面,串接DFM擴充儲存櫃。

在主機端介面方面,FlashArray//X除了支援當前最普遍的16Gb FC與10GbE兩種規格以外,也提供32Gb FC、25GbE、40GbE與50GbE等新規格,還能在32Gb FC與50GbE兩種介面上,運行NVMe-oF傳輸架構,進一步改善存取延遲表現。

FlashArray//X的I/O介面組態:每組控制器內含2組GbE管理埠,以及4組外接擴充櫃用的12Gb SAS埠或50GbENVMe直連埠,還內含了類型豐富的I/O埠,包括2組10/25GbE iSCSI埠,以及2組10/25GbE遠端複製埠,另外還能利用保留的PCIe擴充槽,安裝額外的10/40GbE或16/32Gb FC等主機端介面卡。


Advertisement

更多 iThome相關內容