【實測】40GbE網路儲存的連線效能

再多的文字描述與規格羅列，都不如實際操作帶來的體驗來得印象深刻。

在儲存廠商威聯通提供硬體的支援下，我們藉由建立一個小型的40GbE測試環境，模擬真實IT環境中，前端伺服器透過網路存取後端NAS資料的情境，藉此體驗40GbE的效能表現。同時也以基於同樣前、後端設備的10GbE環境做為對照。

測試情境設定

相較於現有的10GbE，40GbE最大特色便是提高了4倍的傳輸頻寬。因此我們測試情境的設定，便在於設法彰顯這樣的高傳輸頻寬應用。

為了表現40GbE的高傳輸效能，我們使用伺服器經由40GbE網路，向後端NAS儲存設備，發起基於大區塊的資料存取要求，藉此產生大的傳輸流量。

另一方面，所謂的速度高，低，快，慢都是相對比較而來，沒有做為比較的對照組的話，也不容易體會出40GbE的高頻寬是如何的「高」法，以及40GbE的高頻寬價值所在。所以我們也同時做了10GbE測試做為對照組。

測試環境的建置

在測試環境的建置方面，40GbE網路環境的部署並不困難，藉由威聯通協助提供40GbE網路卡與交換器，我們組建了由2張40GbE網路卡與1臺12埠40GbE交換器構成的40GbE網路，2張40GbE網路卡分別安裝在前端伺服器與後端NAS上，然後經由40GbE交換器連結。

比起建置40GbE網路本身，更重要的是，如何確保測試環境能產生足以對應40GbE頻寬的資料流量，這牽涉到前端伺服器與後端NAS的能力兩個環節。

首先，前端伺服器必須擁有能夠發起足夠I/O存取要求的效能，不致在發起傳輸作業的過程中，因處理器資源耗盡而導致傳輸出現瓶頸，為此我們使用了1臺Dell R730伺服器，這是一臺符合當前主流組態、採用Xeon E5-2600v3處理器的2U/二路伺服器，在其他測試項目中，我們驗證了這臺伺服器的配置規格，擁有向儲存設備發起超過5000MB/s傳輸率的存取I/O能力。

其次，後端儲存設備必須回應前端伺服器存取I/O的能力，擁有足以產生對應40GbE頻寬的傳輸率。這方面我們使用1臺威聯通NAS —TVS-EC1280U-SAS，這臺2U/12Bay的NAS採用Xeon E3-1246v3處理器與16GB記憶體，在我們先前另外進行的測試中，確認這臺NAS擁有超過3500MB/s、接近4000MB/s的最大傳輸能力，大致能夠配合40GbE通道的頻寬。

為了確保NAS能夠提供足夠的傳輸率，我們特定為NAS採取了全SSD的配置，安裝了12臺Intel的企業級SSD，另外還為NAS串接1臺威聯通JBOD擴充磁碟櫃，利用JBOD磁碟櫃內含的11臺1萬轉硬碟，來擴大NAS能提供的磁碟I/O效能。NAS與JBOD磁碟櫃之間使用12Gb SAS的Mini-SAS埠連接，擁有48Gbps的傳輸率，足以配合前端的40GbE網路。（詳細的測試環境組態與設備型號，請參見測試結果附表）

測試環境的操作

執行測試時，我們在前端伺服器上利用iometer這套測試工具，分別透過iSCSI與SMB/CIFS兩種傳輸協定，向後端的威聯通NAS發起基於1MB區塊的循序存取I/O，藉此產生通過40GbE網路通道的流量。

40GbE的價值—單位效能成本與簡化網路組態

從測試結果可以得知，我們的測試環境在測試中產生了最大3500～4000MB/s的傳輸速率，大致達到40GbE網路頻寬的70%～80%。對照基於4條10GbE通道的10GbE對照組，我們可以得到下列這兩個結論：

40GbE擁有更低的單位效能成本

高傳輸率其實不是40GbE最大優勢，單單只是要滿足傳輸效能的話，4條10GbE也能達到與40GbE同等的效能。重點在於40GbE能以更少的硬體資源，提供同等或更高的效能。

只要匯聚4個10GbE埠，便能得到等同1個40GbE的效能，而要得到4個10GbE埠，將會需要使用到2張雙埠的10GbE網路卡，或是1張4埠的10GbE網路卡。考慮到價格的話，目前2張雙埠10GbE網路卡，大約等同於1張雙埠40GbE網路卡的價格。

也就是說，1張雙埠40GbE網路卡的成本比1張雙埠10GbE卡高了2倍，但1張雙埠40GbE卡提供的總頻寬（80Gbps），卻是1張雙埠10GbE卡的4倍，所以單就網路卡來看，40GbE的單位頻寬成本只有10GbE的一半。

雖然40GbE高昂的QSFP+收發器與纜線成本，相當程度抵銷了40GbE的單位頻寬成本優勢。不過如果機房需要的總傳輸頻寬較高，例如需要數百Gbps甚至TBbps等級的總傳輸率，那麼使用40GbE將比10GbE更具成本效益，只須1/4的網路埠數量，就能得到同等的傳輸頻寬。

40GbE有助於簡化機房網路組態

由於1個40GbE埠就擁有等同4個10GbE埠的傳輸能力，所以40GbE另一個明顯的優點，便在於可以大幅提高連線密度、簡化網路連線配置。

雖然40GbE使用的QSFP+埠，外型尺寸明顯大於10GbE使用的SFP+埠或RJ45埠，以致相同空間內能布置的網路埠數量，較10GbE少。

一張半高網路卡最多只能配置2組QSFP+埠，但卻能夠配置最多4組SFP+或RJ45埠；類似的，1U高度的交換器一般最多只能配置36組QSFP+埠，但卻足以配置48組SFP+埠或RJ45埠。

不過40GbE本身的大頻寬，足以扭轉QSFP+埠尺寸較大的劣勢，即使網路埠數量只有10GbE的一半，總頻寬也比10GbE大2倍，因此單位空間內的傳輸密度仍遠高於10GbE，以得到相同總頻寬為目的時，40GbE需要的佈線數量遠少於10GbE，無論布線的建置或管理都方便許多。

40GbE導致PCIe成為瓶頸

40GbE雖然擁有較10GbE更好的單位頻寬成本，以及更簡化的連線架構，但進一步檢視我們的測試環境後，也能發現導入40GbE後，將在PCIe匯流排方面，形成一個新的瓶頸。

對於10GbE來說，PCIe匯流排不會造成太大問題，只要×2或×4的PCIe 3.0匯流排，就能滿足10GbE頻寬需求，但換成4倍頻寬的40GbE，對PCIe匯流排頻寬的要求，也隨之增加。

目前高速I/O用途的介面卡，包括40GbE網路卡、InfiniBand HCA卡、PCIe SSD等，大都是採用PCIe 3.0×8匯流排。PCIe 3.0×8可以提供64Gbps的頻寬，就一般應用來說是足夠了，但搭配40GbE時，只能滿足1個40GbE埠的需求，如果是雙埠的40GbE網路卡，網路埠的總頻寬（80Gbps）就會超過PCIe 3.0×8的能力。

所以，我們測試環境中使用的Chelsio與Mellanox雙埠40GbE網路卡，受限於網路卡採用的PCIe 3.0×8介面，實際上，並不能發揮2個40GbE埠的傳輸能力。要完整發揮2個40GbE埠的傳輸能力，網路卡必須像一些FDR InfiniBand HCA卡或100GbE網路卡一樣，改用PCIe×16匯流排才行。

對於伺服器來說，提供PCIe×16插槽並不是太大問題，不過相對於PCIe×8，PCIe×16的資源相對較少，如果同時需要安裝其他高速I/O裝置（如PCIe SSD等），便須仔細衡量PCIe插槽的配置。相較下，另一個高速乙太網路規格25GbE，對PCIe的需求就小了許多，只需使用×4或×8的PCIe 3.0，就足以配合網路埠的要求。

相關報導

新世代資料中心必備高速網路新架構：40Gb乙太網路

40GbE的線材與連接埠規格有哪些？
​
40GbE網路產品生態系現況

【40GbE網路實測】測試環境架構介紹

40GbE傳輸效能測試結果：與10GbE進行對照

3款目前比較容易取得的40GbE產品