儲存月報第23期：NVMe over Fabric面臨部署路線選擇

逐步開始進入軌道的NVMe over Fabrics（NVMe-oF）應用架構，正面臨著如何選擇底層應用架構的分歧點，FC、RoCE與iWARP等3種協定，分別形成3種可能的技術路線選擇。

NVMe介面能應用在伺服器內接的I/O架構上，作為新一代高效能SSD的傳輸介面，透過全新的軟體堆疊，大幅降低SSD的存取延遲。除此之外，NVMe也能應用在外接儲存設備的遠端網路存取上，這便是NVMe-oF架構的目的——提供一個基於NVMe的儲存網路環境，以便讓儲存網路也能應用NVMe的低延遲、高頻寬優勢，若進一步搭配後端的NVMe介面與NVMe SSD，便能構成端點到端點（End-to-End）的完整NVMe儲存環境 。

開始進入實際應用的NVMe-oF

其實早在2016年5月，NVMe標準組織就發表了NVMe-oF 1.0版協定，不過當時仍缺乏一些企業應用所需的關鍵功能，例如多重路徑（Multupath）等，因此儲存廠商或企業用戶並未廣泛接受。經過2年的發展後，NVMe-oF也逐漸完善，陸續有一線大廠如IBM、Dell EMC與Pure Storage等，在主力產品線的前端介面選項中列入了NVMe-oF，顯示NVMe-oF進入實際企業應用環境的時間點，已將來臨。

實作NVMe-oF環境的3種選擇

要在實際企業IT環境中部署NVMe-oF，可以有兩種選擇，一是使用專門訂製的網路硬體，包括專門的NVMe I/O介面卡與纜線等設備；另一是把NVMe-oF嫁接在既有的網路環境上。

從既有的市場反應來看，專屬硬體路線一直不易為用戶接受，不僅成本高昂，應用上限制也很多，市場上第一款NVMe儲存設備產品——EMC的DSSD D5發展失利的經驗，便是典型的教訓。相較下，讓NVMe-oF嫁接使用既有網路環境，便相對容易進入用戶環境。

於是接下來的問題，便是要將NVMe-oF嫁接到哪一種網路環境上?

過去1、2年來的發展，讓NVMe-oF的「嫁接網路」選擇，形成了FC（Fibre Channel）、RoCE（RDMA over Converged Ethernet）與iWARP（Internet Wide-area RDMA Protocol）等3種主要選擇，也就是NVMe over FC、NVMe over RoCE，以及NVMe over iWARP等3種NVMe-oF路線。

NVMe over FC是嫁接在FC協定上的NVMe-oF架構，目前推動這種架構的主要廠商是Broadcom旗下的Brocade，Brocade新款FC SAN交換器都已經能支援這種NVMe-oF架構。

RoCE與iWARP都是RDMA（Remote Direct Memory Access）類型的新一代乙太網路架構，前者由Mellanox主導，後者則主要由Chelsio推動（早期還有Intel）。目前基於RoCE的NVMe-oF架構腳步較快，已有數家廠商的全快閃儲存陣列產品，支援基於RoCE的NVMe-oF架構。

除了前述3種NVMe-oF路線外，還有少數廠商是選擇嫁接到InfiniBand上，也就是NVMe over InfiniBand架構。InfiniBand也是一種RDMA存取架構，不過從L2到L4層都需要專屬設備，普及性不能與FC或RDMA乙太網路相比，很難挑戰NVMe-oF的主流地位，而會被併入到RCoE中。

以FC作為NVMe-oF切入點

FC、RoCE與iWARP等3種部署NVMe-oF的路線，技術上互有長短，市場上也各有擁護者，目前仍看不出哪一種會成為NVMe-oF的主流。不過，日前我們遇到Dell EMC亞太區現代基礎架構團隊技術長Kevin Batty，他對這個問題提供了十分有價值的看法。

Batty表示，FC可以作為NVMe-oF的切入點。由於FC SAN是當前的儲存網路標準，普及到幾乎所有企業用戶環境中，所有主要的全快閃儲存陣列也都支援FC介面，因此透過嫁接FC，是部署NVMe-oF最便利、風險也最低的路線。

不過隨著RDMA乙太網路的發展，並逐漸進入企業應用，RoCE與iWARP也會進入NVMe-oF應用架構。所以Batty認為，FC將是NVMe-oF一開始的切入點，而長期來看，基於RDMA乙太網路的NVMe-oF也會進入企業應用。至於哪一種架構會成為NVMe-oF的主流，Batty認為最終還是由用戶的選擇來決定。

RoCE更有希望成為主流

而就我們對市場的觀察來看，基於FC的NVMe-oF架構，在網路設備端已經準備好了，Brocade與Cisco新的FC光纖交換器都已經支援，不過在儲存設備端的支援還較少。而長期來說，基於RDMA乙太網路的架構很可能會成為主流，甚至有可能取代FC的地位。

至於基於RDMA乙太網路的NVMe-oF，會由RoCE與iWARP哪一條路線勝出，則牽動到RoCE與iWARP兩大陣營之間的競爭。

RoCE與iWARP的對比，是這幾年來RDAM乙太網路領域的一大話題。把InfiniBand包在乙太網路中的RoCE，擁有性能上的優勢，v2版以後的RoCE也支援路由功能，消除了早期RoCE規格上的一個弱點，而其應用上的缺點，是整個網路所有端點都必須支援RoCE才能發揮效用，以致成本較高，但目前新款網路設備大都已支援能RoCE。

iWARP則是透過TCP協定來架構RDMA環境，只需網路卡支援就能啟用，成本相對較低，但連帶也受到較「重型」的TCP協定拖累，性能不及RoCE。

在RoCE與iWARP之間的競爭中，早期iWARP憑藉成本優勢而略占上風，不過近來RoCE已逐漸有壓倒對手的趨勢。

而在NVMe-oF的應用來看，RoCE型式的NVMe-oF架構，腳步也明顯更快，已有多款全快閃儲存產品支援，包括Excelero的NVMesh、Kaminario的k2.N， E8 Storage的E8-S24與E8-D24，以及Pure Storage的FlashArray //x（擴充櫃部份）等。至於iWARP型式的NVMe-oF，則還沒有見到具體的儲存產品支援。所以從目前的態勢來看，RoCE應該更有成為NVMe-oF主流架構的機會。

3種NVMe over Fabrics的實現方式的網路堆疊對比。

其中FC的路線，是架構在現有FC SAN環境上，RoCEv2與iWARP則是架構在乙太網路上。目前各大網通廠商中，Broadcom旗下的Brocade主推FC的路線，其餘廠商則是以RoCE為主。