逐步開始進入軌道的NVMe over Fabrics(NVMe-oF)應用架構,正面臨著如何選擇底層應用架構的分歧點,FC、RoCE與iWARP等3種協定,分別形成3種可能的技術路線選擇。

NVMe介面能應用在伺服器內接的I/O架構上,作為新一代高效能SSD的傳輸介面,透過全新的軟體堆疊,大幅降低SSD的存取延遲。除此之外,NVMe也能應用在外接儲存設備的遠端網路存取上,這便是NVMe-oF架構的目的——提供一個基於NVMe的儲存網路環境,以便讓儲存網路也能應用NVMe的低延遲、高頻寬優勢,若進一步搭配後端的NVMe介面與NVMe SSD,便能構成端點到端點(End-to-End)的完整NVMe儲存環境 。

開始進入實際應用的NVMe-oF

其實早在2016年5月,NVMe標準組織就發表了NVMe-oF 1.0版協定,不過當時仍缺乏一些企業應用所需的關鍵功能,例如多重路徑(Multupath)等,因此儲存廠商或企業用戶並未廣泛接受。經過2年的發展後,NVMe-oF也逐漸完善,陸續有一線大廠如IBM、Dell EMC與Pure Storage等,在主力產品線的前端介面選項中列入了NVMe-oF,顯示NVMe-oF進入實際企業應用環境的時間點,已將來臨。

實作NVMe-oF環境的3種選擇

要在實際企業IT環境中部署NVMe-oF,可以有兩種選擇,一是使用專門訂製的網路硬體,包括專門的NVMe I/O介面卡與纜線等設備;另一是把NVMe-oF嫁接在既有的網路環境上。

從既有的市場反應來看,專屬硬體路線一直不易為用戶接受,不僅成本高昂,應用上限制也很多,市場上第一款NVMe儲存設備產品——EMC的DSSD D5發展失利的經驗,便是典型的教訓。相較下,讓NVMe-oF嫁接使用既有網路環境,便相對容易進入用戶環境。

於是接下來的問題,便是要將NVMe-oF嫁接到哪一種網路環境上?

過去1、2年來的發展,讓NVMe-oF的「嫁接網路」選擇,形成了FC(Fibre Channel)、RoCE(RDMA over Converged Ethernet)與iWARP(Internet Wide-area RDMA Protocol)等3種主要選擇,也就是NVMe over FC、NVMe over RoCE,以及NVMe over iWARP等3種NVMe-oF路線。

NVMe over FC是嫁接在FC協定上的NVMe-oF架構,目前推動這種架構的主要廠商是Broadcom旗下的Brocade,Brocade新款FC SAN交換器都已經能支援這種NVMe-oF架構。

RoCE與iWARP都是RDMA(Remote Direct Memory Access)類型的新一代乙太網路架構,前者由Mellanox主導,後者則主要由Chelsio推動(早期還有Intel)。目前基於RoCE的NVMe-oF架構腳步較快,已有數家廠商的全快閃儲存陣列產品,支援基於RoCE的NVMe-oF架構。

除了前述3種NVMe-oF路線外,還有少數廠商是選擇嫁接到InfiniBand上,也就是NVMe over InfiniBand架構。InfiniBand也是一種RDMA存取架構,不過從L2到L4層都需要專屬設備,普及性不能與FC或RDMA乙太網路相比,很難挑戰NVMe-oF的主流地位,而會被併入到RCoE中。

以FC作為NVMe-oF切入點

FC、RoCE與iWARP等3種部署NVMe-oF的路線,技術上互有長短,市場上也各有擁護者,目前仍看不出哪一種會成為NVMe-oF的主流。不過,日前我們遇到Dell EMC亞太區現代基礎架構團隊技術長Kevin Batty,他對這個問題提供了十分有價值的看法。

Batty表示,FC可以作為NVMe-oF的切入點。由於FC SAN是當前的儲存網路標準,普及到幾乎所有企業用戶環境中,所有主要的全快閃儲存陣列也都支援FC介面,因此透過嫁接FC,是部署NVMe-oF最便利、風險也最低的路線。

不過隨著RDMA乙太網路的發展,並逐漸進入企業應用,RoCE與iWARP也會進入NVMe-oF應用架構。所以Batty認為,FC將是NVMe-oF一開始的切入點,而長期來看,基於RDMA乙太網路的NVMe-oF也會進入企業應用。至於哪一種架構會成為NVMe-oF的主流,Batty認為最終還是由用戶的選擇來決定。

RoCE更有希望成為主流

而就我們對市場的觀察來看,基於FC的NVMe-oF架構,在網路設備端已經準備好了,Brocade與Cisco新的FC光纖交換器都已經支援,不過在儲存設備端的支援還較少。而長期來說,基於RDMA乙太網路的架構很可能會成為主流,甚至有可能取代FC的地位。

至於基於RDMA乙太網路的NVMe-oF,會由RoCE與iWARP哪一條路線勝出,則牽動到RoCE與iWARP兩大陣營之間的競爭。

RoCE與iWARP的對比,是這幾年來RDAM乙太網路領域的一大話題。把InfiniBand包在乙太網路中的RoCE,擁有性能上的優勢,v2版以後的RoCE也支援路由功能,消除了早期RoCE規格上的一個弱點,而其應用上的缺點,是整個網路所有端點都必須支援RoCE才能發揮效用,以致成本較高,但目前新款網路設備大都已支援能RoCE。

iWARP則是透過TCP協定來架構RDMA環境,只需網路卡支援就能啟用,成本相對較低,但連帶也受到較「重型」的TCP協定拖累,性能不及RoCE。

在RoCE與iWARP之間的競爭中,早期iWARP憑藉成本優勢而略占上風,不過近來RoCE已逐漸有壓倒對手的趨勢。

而在NVMe-oF的應用來看,RoCE型式的NVMe-oF架構,腳步也明顯更快,已有多款全快閃儲存產品支援,包括Excelero的NVMesh、Kaminario的k2.N, E8 Storage的E8-S24與E8-D24,以及Pure Storage的FlashArray //x(擴充櫃部份)等。至於iWARP型式的NVMe-oF,則還沒有見到具體的儲存產品支援。所以從目前的態勢來看,RoCE應該更有成為NVMe-oF主流架構的機會。

3種NVMe over Fabrics的實現方式的網路堆疊對比。

其中FC的路線,是架構在現有FC SAN環境上,RoCEv2與iWARP則是架構在乙太網路上。目前各大網通廠商中,Broadcom旗下的Brocade主推FC的路線,其餘廠商則是以RoCE為主。


Advertisement

更多 iThome相關內容