加拿大多倫多大學轄下的SciNet Consortium高速電腦中心,於今年初打造出每秒可執行360萬億個計算的超級電腦,多倫多大學共採購了7座IBM Power 6與42座英特爾Nehalem伺服器機櫃,並在6月底發布的全球超級電腦500強排行榜(Top 500)分別登上第80名與第16名,特別的是,這座機房PUE值僅1.16。目前臺灣企業機房的PUE值平均為2.5,歐美國家的PUE值為2,號稱節能的Google機房平均為1.21。PUE值越低,代表著機房空調冷卻所需的電力就會更少,SciNet幾乎做到高標準的機房節能目標。

多倫多大學是綜合性的研究型大學,為了滿足各式各樣的運算需求,SciNet則是擁有3,780個x86運算節點與104個Power 6運算節點,運算量分別達306 TFlops與60 TFlops。

從伺服器與機房環境下手,打造節能機房
SciNet能打造出PUE值僅1.16的機房環境,主要從伺服器與機房環境兩個方面著手。針對數量龐大的x86伺服器,SciNet則是採購42座IBM於去年推出的iDataPlex節能伺服器,降低耗電量。

iDataPlex機櫃外觀就與以往的機櫃不同,一般機櫃是較深、較窄,但iDataPlex機櫃的深度則是減少一半,寬度則加長1倍,形成一個扁長型的機櫃,由於深度減少一半,散熱風扇只需花費較少的電力就能有效降溫。此外,iDataPlex還採用模組化設計,以2U伺服器模組為例,可容納2臺2路伺服器,並如同刀鋒伺服器一樣共用電源供應器與風扇,達到省電的目的。

SciNet針對iDataPlex機櫃還採用水冷背板,透過機櫃後方增加1片5吋長的冷卻門,就如同冰箱後方的冷卻導管,藉由這些導管將單一機櫃所排放的熱能直接與冷卻水交換,讓伺服器排放的熱量直接被帶走,減少室內的熱能。

不只iDataPlex採用水冷背板,Power 6超級電腦群同樣也採用水冷系統,但Power 6機櫃的水冷系統更延伸到伺服器內的處理器上,IBM表示,如此將可以帶走伺服器7成的熱量。

由於SciNet位在高緯度地區,夏天時可以透過水冷系統將機房內的熱量水帶到冷卻裝置進行降溫,到了冬天,由於氣溫較低,SciNet則是採用自然冷卻法,這也是SciNet能達到PUE值1.16的關鍵。美國IBM商業發展經理Dominic Lam則是負責SciNet建置專案,他說:「因為地理資源的關係,SciNet能達到PUE值僅1.16,是位在亞熱帶的臺灣難以做到的地方。」

InfiniBand並非是超級電腦的萬靈丹
SciNet將這套x86超級電腦命名為Tightly-coupled Capability System(TCS),因為不同性質的研究,需要的運算與網路資源也就會不同,也因此,SciNet並非全部採用超高速匯流排(InfiniBand),還採用10GbE等級的乙太網路。「只有23%的運算節點採用InfiniBand。」Dominic Lam說。

Dominic Lam表示,有些學術研究並非全然是平行運算架構,每個運算單元並非完全獨立,運算結果仍會影響下一個運算單元,這個時候就需要較高的網路頻寬,於是,針對這些類型的研究就可以採用InfiniBand。

當然有些研究所需的網路資源並非相當大,只用10GbE等級網路就能滿足需求,如果採用昂貴的InfiniBand,就造成浪費。

不過,Power 6超級電腦是針對氣候研究,需要的網路頻寬較大,因此SciNet針對每個Power 6運算節點分配4個InfiniBand,強化整體運算效能的表現。

為了讓每臺伺服器都能充分利用,SciNet則是透過開放原始碼的xCAT 2.0與Moab管理軟體來執行工作的分配,比方來說,透過Moab會根據不同性質的研究去分配到合適的電腦資源,然後透過xCAT會調查整體運算資源的運作狀況,將工作分配到閒置的伺服器中,如果工作分配完畢後還有閒置的伺服器,系統就會自動關閉那些伺服器,降低整體耗電量。

不只如此,透過xCAT可以讓伺服器沒有本機硬碟,Dominic Lam表示,SciNet的超級電腦群擁有數量龐大的伺服器,如果每臺伺服器都安裝本機硬碟,部分伺服器難免會發生硬碟故障的狀況,這也會影響整體運算的效率。xCAT會根據不同的應用分配適合的作業系統,然後送到合適的伺服器進行運算,這麼一來,就可以讓伺服器不用本機硬碟。文⊙林文彬


看大圖


Advertisement

更多 iThome相關內容