iThome

對所有IT系統來說,決定效能表現的是系統中最慢的那一個環節。如果只單方面提高某個環節的效能,系統整體效率還是會被最慢的環節所拖累。

對8Gb光纖通道磁碟陣列來說,8Gb規格大幅提高磁碟陣列對前端主機埠的傳輸頻寬,只要2個埠就有1,600MB/s頻寬,4個埠更達到3,200MB/s,遠高於上一代4Gb FC規格。然而頻寬大幅拉高的結果,也讓過去在4Gb時代還不明顯的控制器效能問題,頓時緊張起來。

光纖通道磁碟陣列控制器典型架構

典型的光纖通道磁碟陣列控制器,由作為核心的I/O處理器、硬碟控制器、光纖通道控制器等3個主要元件構成,I/O處理器透過PCIe或PCI-X匯流排連接硬碟控制器與光纖通道埠控制器,硬碟控制器再透過硬碟介面匯流排連接到硬碟背板,再連接硬碟,而光纖通道控制器則連接到光纖通道埠,如圖一所示。

圖一. 典型光纖通道磁碟陣列控制器架構

 

由這樣的架構,可看出可能的效能瓶頸有6個環節:

(1)硬碟本身效能。

(2)硬碟介面匯流排頻寬。

(3)硬碟控制器到I/O處理器之間的匯流排頻寬。

(4)I/O處理器的資料處理能力。

(5)I/O處理器到光纖通道控制晶片間的匯流排頻寬。

(6)光纖通道埠傳輸頻寬。

在這6個環節中,硬碟本身的效能與控制器無關,所以要討論的是剩下5個環節。

控制器的效能瓶頸

我們從硬碟端開始,逐一檢視控制器各個環節:

●    硬碟介面匯流排頻寬:目前最常見的是3Gb/s SAS規格,一般SAS Expander多採用2條4× SAS通道,可有2,400MB/s頻寬。

●    硬碟控制器到I/O處理器之間的匯流排:常用的有PCIe×8或PCI-X,而PCIe×8的頻寬為2,128MB/s,64位元PCI-X為1,066MB/s。

●    I/O處理器效能:視處理器型號而定,常見的有Intel的IOP系列,以PowerPC搭配RAID處理器的混合型式也相當常見。

●    I/O處理器到光纖通道控制晶片間的匯流排:常用的有PCIe×8或PCI-X。

●    光纖通道埠傳輸頻寬:4Gb FC規格每個埠為400MB/s,8Gb FC埠則為800MB/s。多數磁碟陣列控制器至少都會有2個埠,配置4個埠的機型也很普遍。

顯然的,當光纖通道埠提高到8Gb FC時,就會對控制器其他環節形成壓力。我們以一個市場上相當常見,採Intel IOP341處理器的典型FC-SAS磁碟陣列控制器為例,如圖二所示。

 

圖二. 採用Intel IOP341處理器的典型控制器架構

 

從圖可看出,整個控制器的效能,都卡在硬碟控制器到I/O處理器間的PCI-X匯流排上,無論控制器其他單元再快,整體輸出效能也都會受PCI-X的限制。這種架構還可應付2個4Gb FC埠的輸出要求,當對外的主機埠增加到4個4Gb FC埠時,就會出現控制器內部頻寬低於對外傳輸總頻寬的問題。

若把對外的主機埠進一步升級到8Gb FC規格,我們可很明顯的發現,控制器的效能「填不滿」8Gb 埠的輸出頻寬,即使同時啟用數個8Gb FC埠,控制器輸出能力還是會被限制在PCI-X的1GB/s以下。

在我們這次採購特輯的產品實測中,也可發現一些採用這類架構的Intel IOP 341處理器機型,雖然也提供了2個8Gb FC埠,但在測試中所能達到的最大傳輸率仍然只有700~800MB/s。

某些控制器架構則能避免這個現象,我們以喬鼎採用Intel IOP 348處理器的控制器架構為例,如圖三所示。IOP 348整合了SAS控制器,故無須設置獨立的SAS控制器,SAS Expander可直接連接IOP 348,然後再透過2GB/s頻寬的PCIe×8連接光纖通道控制晶片,足可因應2個8Gb FC埠的對外頻寬。

圖三. 採用Intel IOP348處理器的典型控制器架構

 

6G SAS介面倍增控制器效能壓力

自6Gb/s的SAS規格於2009年初問世後,已逐漸替代既有的3Gb/s SAS,先應用到伺服器上作為內接式硬碟介面,現在又把應用範圍擴展到外接式儲存設備上。以我們這次採購特輯的測試為例,在7款測試產品中,就有3款可支援6Gb/s SAS規格,隨著硬碟廠商停產舊的3Gb/s規格產品,6Gb/s SAS很快就會成為主流。

對採用光纖通道主機介面的磁碟陣列來說,8Gb FC主機埠搭配6Gb/s SAS硬碟介面將是日後的主流機型標準配置。然而當硬碟介面提高到6Gb/s後,連帶也對控制器產生了更高的效能要求。

就8Gb FC+6Gb/s SAS的組態而言,8Gb FC提高了對外主機端的頻寬,6Gb/s SAS則提高了內部對硬碟端的頻寬,因此夾在中間的控制器必須跟著提高資料處理能力,才能發揮前、後端增長的效能。

我們可參考既有的8Gb FC+6Gb/s SAS磁碟陣列控制器架構,來看廠商是如何因應這方面的問題。

圖4是普安目前這一代產品的G6控制器架構,採用普安一貫的處理器搭配構型,由PowerPC負責一般I/O通用處理,搭配普安自身的ASIC 667晶片負責RAID運算。為提高效能,從I/O處理器到SAS控制器與光纖通道控制晶片都採用2GB/s頻寬的PCIe×8匯流排。儘管這仍填不滿每組控制器的4組8Gb FC埠總輸出頻寬,但已較先前的產品有相當程度的改善。

圖四. 普安PowerPC+專屬ASIC的控制器架構

 

圖5則是普樺8Gb FC+6Gb/s SAS磁碟陣列控制器架構,採用了LSI的SAS2116處理器,這顆單晶片處理器整合了800MHz PowerPC 440通用處理器,並兼有I/O處理、RAID運算與SAS控制等功能,還能支援PCIe 2.0×8。

藉由新的PCIe 2.0×8規格,LSI SAS2116與光纖通道控制晶片間的匯流排頻寬可提高到4,256MB/s,足可應付對外4個8Gb FC埠的3,200MB/s總頻寬。而後端的SAS Expander亦可直接與LSI SAS2116連接,並採用傳輸頻寬達4,800MB/s的SAS 6Gb ×8規格。因此單從匯流排規格來看,這個控制器架構在各個環節上都較能應付前端多個8Gb FC主機埠的頻寬要求。

圖五. 採用LSI SAS2116處理器的典型控制器架構

 

6Gb/s vs. 3Gb/s SAS硬碟

控制器架構決定了系統的效能上限,但運作時能發揮出多少,仍然得看實際執行儲存作業的硬碟而定。

我們這次的測試中,使用了3Gb/s SAS、3Gb/s SATA與6Gb/s SAS等3種不同介面規格的硬碟,從規格上來看,會直覺地認為6Gb/s頻寬規格應比3Gb/s更快,但從測試結果發現,實際情況並非如此。

6Gb/s相對於3Gb/s雖然匯流排頻寬拉高一倍,但對單一硬碟而言,這只在快取命中、直接由快取記憶體讀取資料時有用。決定持續傳輸效率的主要因素,仍在於轉速與碟片儲存密度,而非匯流排頻寬。

查詢各硬碟廠商的產品規格可發現,只要轉速與碟片儲存密度相當,則無論6Gb/s或3Gb/s匯流排規格的硬碟,均具備相近的持續傳輸速率,大致都在110~190MB/s左右。這也是在我們的測試中,6Gb/s與3Gb/s SAS硬碟系統效能幾無差異的緣故。

6Gb/s SAS的意義在於提供更高的傳輸效能上限,假設同樣採用×4的SAS通道,以及持續傳輸速率110MB/s的硬碟,則6Gb/s系統的4,800MB/s最大頻寬,將可因應由40臺以上硬碟組成的陣列;相對的,3Gb/s系統最大頻寬只有2,400MB/s,當陣列的硬碟數目超過20臺以上時,就會塞滿硬碟通道頻寬,即使再增加硬碟也無法提高效能。

所以對於我們測試環境所使用的12~24臺硬碟的磁碟陣列規模來說,並不會因為硬碟介面是3Gb/s或6Gb/s,而對效能造成太大影響。但理論上當陣列規模擴大到30~40臺或更多時,6Gb/s的優勢便會開始顯現。

8Gb規格有助於整合頻寬需求,簡化架構

由前面的討論可知,當前端的主機埠頻寬提高到8Gb,後端的硬碟匯流排也提高到6Gb/s SAS後,位於中間的磁碟陣列控制器處理能力,要「填滿」這樣高的頻寬存在著許多困難。

不管光纖通道協定或是硬碟介面匯流排,都是以更新一代、頻寬即提高一倍的速度增長,但控制器的處理效能,卻很難也以同樣的速度持續提升。事實上在這篇採購特輯出刊的時候,原本處於實驗室階段的16Gb光纖通道規格,也已經正式展開商品化的腳步,Brocade剛在10月初宣布將在2011年初推出業界第1套支援16Gb FC規格的產品。

顯然的,當前的控制器架構在應付8GbFC規格時都已感到效能不足,遑論傳輸頻寬再次翻倍的16Gb FC規格了。

而當控制器效能成為瓶頸時,無論後端以多少數量的硬碟組成陣列,甚至改用高效能的固態硬碟,也無法改善磁碟陣列的整體效能,相對的,這也減弱了將前端主機埠從4Gb FC升級為8Gb FC的意義—控制器實際上無法輸出相當於這樣多個8Gb FC埠的效能。

不過若從另一個角度來看,即使控制器的處理能力跟不上前端的8Gb主機埠頻寬,但對於過去需以多個4Gb埠或2Gb埠才能滿足的應用,現在只要1個8Gb埠就能滿足。也就是說,更高規格的主機埠有助於整合頻寬,可占用更少的交換器埠、耗用更少的布線與電力,就滿足既定的傳輸頻寬需求,從而達到簡化架構與管理的目的。


相關報導請參考「8Gb光纖通道磁碟陣列採購大特輯」


熱門新聞

Advertisement