國網中心花了3年時間打造出御風者超級電腦,建置團隊成員包括了國網中心副主任黃維誠(左2)、系統與網路技術組副研究員吳宙錦(左1)、副工程師楊嘉麗(右1)與助理工程師施櫻煜(右2),以及另外兩位不在圖中的成員,分別是組長張自恭和副組長李欣怡。

圖片來源: 

iThome

2007年是臺灣超級電腦最風光的一年,當年全球超級電腦500強(Top 500)排行榜中,總共有11部臺灣的超級電腦入榜,排名最高的是國家高速網路與計算中心(簡稱國網中心)的IRIS超級電腦,榮登全球第35名。

但全世界超級電腦競爭激烈,隔年就出現了不少效能大幅提升的新一代超級電腦,使得Top 500的門檻跟著大幅拉高。排名第一的美國超級電腦Roadrunner,總運算量首度超過1,000TFlops,揭開了超級電腦進入Petaflops的時代。在這樣的競爭態勢下,臺灣超級電腦的排名不只是快速下滑,還留在榜上的更只剩下3臺。到了2009年11月,臺灣甚至在Top 500排行榜中消失了。

一直到2011年6月公布的最新全球超級電腦500強排行榜,國網中心耗資3億元打造的超級電腦「御風者(Windrider)」,才讓臺灣再次進入全球50強。這套由6百多臺伺服器組成的超級電腦,運算能力達到177TFlops,目前在全球500大超級電腦排行榜中位居第42名。

主導御風者計畫的國家高速網路與計算中心副主任黃維誠表示,其實國網中心早在2008年底就開始籌備新一代超級電腦的建置,後來順利在2009年的全國科技會議中提案通過,成為未來4年的科技發展政策之一。

形成政策後的第一個問題就是估算臺灣的運算需求,國網中心開始向各學術單位詢問未來研究需求,也參考未來國家重點發展的研究學群意見,黃維誠表示,後來爭取到的預算,在當時可以建置約120TFlops的超級電腦。

設計兩種運算叢集,滿足不同運算規模的需求

但是除了經費考量之外,黃維誠表示,超級電腦的實用性,不能只是追求處理器的運算量,必須兼顧運算節點數量、叢集內節點互通的頻寬、可使用的記憶體等,才能滿足各種不同的運算需求。例如像氣象預測就需要大量記憶體而不只是最快的運算效能,或像是節點間的傳輸頻寬過低時,也無法支撐運算核心全速運轉時的資料交換需求。

負責設計超級電腦規格的國網中心系統與網路技術組副研究員吳宙錦由歷年用戶的應用經驗分析,他觀察到過去的運算任務大多只需使用到32個運算節點,另一方面若叢集的規模加大到128個節點,需要的網路設備經費就會大幅增加,反而影響了可以採購的伺服器數量。

因此國網中心最後以每個叢集64個節點的方式來設計御風者,黃維誠表示,這樣就可以讓多數任務在單一叢集內執行,減少跨叢集資料交換而造成運算效能的影響。以這樣的設計方式,最後總共組成了9座電腦叢集。

吳宙錦歸納用戶需求還發現,以1顆處理器搭配2GB記憶體的設計,可以滿足臺灣75%用戶的需求。對於需要大量記憶體需求的25%用戶,他特別在組成御風者的9座運算叢集中,規畫了一座Big Memory電腦叢集,採用可以搭配512GB記憶體的伺服器節點,讓每個處理器核心能夠使用到8GB的記憶體,來滿足大量資料分析的需求。

儲存容量設計領先亞洲各國

除了運算節點的設計以外,御風者還有另一項獨特的設計領先亞洲各國,甚至超越了世界排名第2的中國天河一號A超級電腦。這項設計就是儲存系統的總容量達到PB(Petabyte)等級。

吳宙錦表示,高速運算不同於現在熱門的雲端運算,雲端運算強調資源可以動態分配,當有需要時就可以快速調度足夠的資源來支援,但是分配完成後的運算資源之間,其實很少有縱向資料溝通,往往就是用來負責執行固定的應用系統,很少有大量虛擬機器來執行同一件任務的情況。

但是,高速運算的資源則必須集中,吳宙錦表示,因為高速運算任務要處理的資料量,有時遠超過單一伺服器節點的記憶體容量,例如有些氣象預測的運算需要在單一節點上使用1TB的記憶體,或者有的運算任務需要處理的資料就有1TB,而且有128個處理器要同時存取這份資料,因此只能儲存在一套共用的儲存系統上,然後再想辦法提高傳輸速率,這樣的使用特性就考驗了超級電腦的另一個設計關鍵,就是各節點間互動的互連(Interconnect)機制。

現在許多超級電腦都採用Infiniband技術來建置Interconnect,國網中心同樣也採用Infiniband技術,而且用來提供資料運算節點與儲存系統間的傳輸。為了提高處理器存取資料的速度,國網中心還使用了平行架構的檔案系統,當處理器要從儲存系統寫入一筆資料時,檔案系統的伺服器會將這筆資料分散到16顆硬碟上,如此就可以讓寫入速度提高16~20倍,這樣的作法類似磁碟陣列,在讀取資料時亦採用相同作法。

這套共用儲存系統內建了340顆硬碟,可以提供高達680TB的儲存空間,再加上運算叢集內建的儲存空間,整套超級電腦的儲存總容量就達到1PB。

用3年打造御風者超級電腦

從2009年決定開始建置超級電腦以後,國網中心花了很長時間彙整需求、設計規格,直到2010年第四季才啟動建置工程。這座超級電腦委由宏碁電腦負責系統整合工作,採用6百多部搭載AMD 12核心Opteron 6100處理器的伺服器,來打造大規模的超級電腦叢集,運算核心總數達到26,244個,記憶體共有73,728GB,儲存容量累計1,074TB,整體運算能力達到177TFlops,相當於每秒可以計算177兆次浮點運算。國網中心表示,御風者的運算能力相當於2萬臺個人電腦,也是前一代超級電腦IRIS的8.8倍。

御風者設置在國網中心原有的臺中機房,機房空間約29坪,共有6排機櫃組成,因為機房天花板較高,所以,採用冷通道封閉的設計來建立冷熱通道分離,機櫃背對背的空間則形成熱空氣通道。

在建置的過程中,國網中心還使用了機房熱流模擬圖來確認最佳的機櫃擺放位置。空調系統採用雙迴路設計,包括下吹式空調以及水平式空調系統。在特別注重散熱的設計下,這套超級電腦總用電量僅800瓩,國網中心比較御風者建置前後耗用的用電量,計算出御風者的PUE(Power Usage Effectiveness)值可以達到1.72。

國家高速網路與計算中心主任江國寧表示,臺灣超級電腦用途大多是物理、化學領域的學術研究,少部分是工程運用。目前臺灣每年約有800件學術研究計畫排隊使用國網中心的運算資源,等待的研究計算需求約有30~70TFlops,但原有IRIS超級電腦的運算能力不到20TFlops,等到8月御風者上線後,目前在排隊使用的計畫就可以獲得所需的運算資源。江國寧表示,一般超級電腦的使用壽命大約是4年,御風者已經考量到臺灣未來4年的需求。

對於Top 500超級電腦排行榜呈現運算核心數節節高升的現象,江國寧表示,不見得使用越多的運算核心,運算效能就會越快,就好像2位百米跑10秒的冠軍,以2人3腳的方式綁在一起跑,恐怕十幾秒才能跑完100公尺。因為平行運算程式要運用多核心來處理時,還得考量相互溝通和交換資料的消耗,江國寧表示,一般運算需求上,使用200個核心所能發揮的運算效益比最大,再多反而會效能下降。

所以,江國寧表示,雖然御風者擁有2萬多個運算核心,但實際上線後會分割(Partition)運算量,限制每個申請案所能使用的運算核心數,例如若以200個核心為單位,就能同時提供100個專案使用。國網中心目前正在招募至少需要128核心的大規模運算計畫,打算透過實際使用案例來規畫出不同核心數規模的分割單位,以供未來營運計費的參考。

 

超級電腦Top500臺灣歷年上榜狀態

 

御風者設置於國網中心臺中機房

國家高速網路與計算中心耗資3億元打造的超級電腦「御風者」,設置於國網中心臺中機房的3樓,由6百多臺伺服器組成9個電腦叢集,共有6排機櫃,運算節點的伺服器搭載4顆12核心AMD Opteron處理器。運算核心總數達到26,244個,記憶體共有73,728GB,儲存容量累計1,074TB,整體運算能力達到177TFlops。

 

 

 


相關報導請參考「臺灣重回超級電腦50強:直擊國網中心「御風者」超級電腦

 

熱門新聞

Advertisement