iThome

再多的文字描述與規格羅列,都不如實際操作帶來的體驗來得印象深刻。

在儲存廠商威聯通提供硬體的支援下,我們藉由建立一個小型的40GbE測試環境,模擬真實IT環境中,前端伺服器透過網路存取後端NAS資料的情境,藉此體驗40GbE的效能表現。同時也以基於同樣前、後端設備的10GbE環境做為對照。

測試情境設定

相較於現有的10GbE,40GbE最大特色便是提高了4倍的傳輸頻寬。因此我們測試情境的設定,便在於設法彰顯這樣的高傳輸頻寬應用。

為了表現40GbE的高傳輸效能,我們使用伺服器經由40GbE網路,向後端NAS儲存設備,發起基於大區塊的資料存取要求,藉此產生大的傳輸流量。

另一方面,所謂的速度高,低,快,慢都是相對比較而來,沒有做為比較的對照組的話,也不容易體會出40GbE的高頻寬是如何的「高」法,以及40GbE的高頻寬價值所在。所以我們也同時做了10GbE測試做為對照組。

測試環境的建置

在測試環境的建置方面,40GbE網路環境的部署並不困難,藉由威聯通協助提供40GbE網路卡與交換器,我們組建了由2張40GbE網路卡與1臺12埠40GbE交換器構成的40GbE網路,2張40GbE網路卡分別安裝在前端伺服器與後端NAS上,然後經由40GbE交換器連結。

比起建置40GbE網路本身,更重要的是,如何確保測試環境能產生足以對應40GbE頻寬的資料流量,這牽涉到前端伺服器與後端NAS的能力兩個環節。

首先,前端伺服器必須擁有能夠發起足夠I/O存取要求的效能,不致在發起傳輸作業的過程中,因處理器資源耗盡而導致傳輸出現瓶頸,為此我們使用了1臺Dell R730伺服器,這是一臺符合當前主流組態、採用Xeon E5-2600v3處理器的2U/二路伺服器,在其他測試項目中,我們驗證了這臺伺服器的配置規格,擁有向儲存設備發起超過5000MB/s傳輸率的存取I/O能力。

其次,後端儲存設備必須回應前端伺服器存取I/O的能力,擁有足以產生對應40GbE頻寬的傳輸率。這方面我們使用1臺威聯通NAS —TVS-EC1280U-SAS,這臺2U/12Bay的NAS採用Xeon E3-1246v3處理器與16GB記憶體,在我們先前另外進行的測試中,確認這臺NAS擁有超過3500MB/s、接近4000MB/s的最大傳輸能力,大致能夠配合40GbE通道的頻寬。

為了確保NAS能夠提供足夠的傳輸率,我們特定為NAS採取了全SSD的配置,安裝了12臺Intel的企業級SSD,另外還為NAS串接1臺威聯通JBOD擴充磁碟櫃,利用JBOD磁碟櫃內含的11臺1萬轉硬碟,來擴大NAS能提供的磁碟I/O效能。NAS與JBOD磁碟櫃之間使用12Gb SAS的Mini-SAS埠連接,擁有48Gbps的傳輸率,足以配合前端的40GbE網路。(詳細的測試環境組態與設備型號,請參見測試結果附表)

測試環境的操作

執行測試時,我們在前端伺服器上利用iometer這套測試工具,分別透過iSCSI與SMB/CIFS兩種傳輸協定,向後端的威聯通NAS發起基於1MB區塊的循序存取I/O,藉此產生通過40GbE網路通道的流量。

40GbE的價值—單位效能成本與簡化網路組態

從測試結果可以得知,我們的測試環境在測試中產生了最大3500~4000MB/s的傳輸速率,大致達到40GbE網路頻寬的70%~80%。對照基於4條10GbE通道的10GbE對照組,我們可以得到下列這兩個結論:

40GbE擁有更低的單位效能成本

高傳輸率其實不是40GbE最大優勢,單單只是要滿足傳輸效能的話,4條10GbE也能達到與40GbE同等的效能。重點在於40GbE能以更少的硬體資源,提供同等或更高的效能。

只要匯聚4個10GbE埠,便能得到等同1個40GbE的效能,而要得到4個10GbE埠,將會需要使用到2張雙埠的10GbE網路卡,或是1張4埠的10GbE網路卡。考慮到價格的話,目前2張雙埠10GbE網路卡,大約等同於1張雙埠40GbE網路卡的價格。

也就是說,1張雙埠40GbE網路卡的成本比1張雙埠10GbE卡高了2倍,但1張雙埠40GbE卡提供的總頻寬(80Gbps),卻是1張雙埠10GbE卡的4倍,所以單就網路卡來看,40GbE的單位頻寬成本只有10GbE的一半。

雖然40GbE高昂的QSFP+收發器與纜線成本,相當程度抵銷了40GbE的單位頻寬成本優勢。不過如果機房需要的總傳輸頻寬較高,例如需要數百Gbps甚至TBbps等級的總傳輸率,那麼使用40GbE將比10GbE更具成本效益,只須1/4的網路埠數量,就能得到同等的傳輸頻寬。

40GbE有助於簡化機房網路組態

由於1個40GbE埠就擁有等同4個10GbE埠的傳輸能力,所以40GbE另一個明顯的優點,便在於可以大幅提高連線密度、簡化網路連線配置。

雖然40GbE使用的QSFP+埠,外型尺寸明顯大於10GbE使用的SFP+埠或RJ45埠,以致相同空間內能布置的網路埠數量,較10GbE少。

一張半高網路卡最多只能配置2組QSFP+埠,但卻能夠配置最多4組SFP+或RJ45埠;類似的,1U高度的交換器一般最多只能配置36組QSFP+埠,但卻足以配置48組SFP+埠或RJ45埠。

不過40GbE本身的大頻寬,足以扭轉QSFP+埠尺寸較大的劣勢,即使網路埠數量只有10GbE的一半,總頻寬也比10GbE大2倍,因此單位空間內的傳輸密度仍遠高於10GbE,以得到相同總頻寬為目的時,40GbE需要的佈線數量遠少於10GbE,無論布線的建置或管理都方便許多。

40GbE導致PCIe成為瓶頸

40GbE雖然擁有較10GbE更好的單位頻寬成本,以及更簡化的連線架構,但進一步檢視我們的測試環境後,也能發現導入40GbE後,將在PCIe匯流排方面,形成一個新的瓶頸。

對於10GbE來說,PCIe匯流排不會造成太大問題,只要×2或×4的PCIe 3.0匯流排,就能滿足10GbE頻寬需求,但換成4倍頻寬的40GbE,對PCIe匯流排頻寬的要求,也隨之增加。

目前高速I/O用途的介面卡,包括40GbE網路卡、InfiniBand HCA卡、PCIe SSD等,大都是採用PCIe 3.0×8匯流排。PCIe 3.0×8可以提供64Gbps的頻寬,就一般應用來說是足夠了,但搭配40GbE時,只能滿足1個40GbE埠的需求,如果是雙埠的40GbE網路卡,網路埠的總頻寬(80Gbps)就會超過PCIe 3.0×8的能力。

所以,我們測試環境中使用的Chelsio與Mellanox雙埠40GbE網路卡,受限於網路卡採用的PCIe 3.0×8介面,實際上,並不能發揮2個40GbE埠的傳輸能力。要完整發揮2個40GbE埠的傳輸能力,網路卡必須像一些FDR InfiniBand HCA卡或100GbE網路卡一樣,改用PCIe×16匯流排才行。

對於伺服器來說,提供PCIe×16插槽並不是太大問題,不過相對於PCIe×8,PCIe×16的資源相對較少,如果同時需要安裝其他高速I/O裝置(如PCIe SSD等),便須仔細衡量PCIe插槽的配置。相較下,另一個高速乙太網路規格25GbE,對PCIe的需求就小了許多,只需使用×4或×8的PCIe 3.0,就足以配合網路埠的要求。

 

相關報導

新世代資料中心必備高速網路新架構:40Gb乙太網路

40GbE的線材與連接埠規格有哪些?

40GbE網路產品生態系現況

【40GbE網路實測】測試環境架構介紹

40GbE傳輸效能測試結果:與10GbE進行對照

3款目前比較容易取得的40GbE產品


Advertisement

更多 iThome相關內容