麻省理工學院(MIT)的研究人員在今年6月的國際計算機架構大會(International Symposium on Computer Architecture)展示一個可執行各種常見大數據應用的新系統,此一新系統的伺服器使用更為節能與低價的Flash記憶體,但執行速度可媲美傳統隨機存取記憶體(RAM)。

RAM在電腦系統中通常用來儲存正在使用的資料,處理器自RAM取得資料的速度可比自傳統硬碟快上數萬倍。然而在大數據的時代資料量已大到單一電腦的RAM無從負荷,例如描述人類單一基因的資料量就可能需要40至100台傳統電腦的記憶體。而經常被應用在可攜式裝置的Flash記憶體則是大數據應用的另一個選擇,它的價格與耗電都只有RAM的1/10,但問題在於它的運算速度也只有RAM的1/10。

為了解決效能的問題,研究人員建置一個由20台伺服器組成的原型網路BlueDBM,每台伺服器都連至一個可模擬不同電路型態的現場可程式化閘道陣列(field-programmable gate array,FPGA),每個FPGA再連至兩個500GB的Flash晶片,還連結其他兩個最近的FPGA。

由於FPGA之間彼此連結,因而得以建立一個非常快速的網路並允許任何伺服器存取任何Flash硬碟。研究人員還製造了用來控制Flash硬碟的控制器,這批控制器除了配備現代的商用Flash硬碟之外,最多還使用了8個不同的處理器,以及1GB的記憶體。最後讓FPGA在Flash硬碟上的資料執行預處理的演算,他們依據不同的應用測試3種演算,分別是圖像搜尋、網頁排序,以及大型資料網站用來儲存經常存取資訊的Memcached應用。

這算是FPGA的新用途,FPGA可程式化的特性讓使用者根據應用載入不同的加速器,這些分散式處理系統也許會犧牲一些多功能的特性,但卻可節省大量的電力與成本。

主導此一研究的MIT教授Arvind Mithal 表示,他們並非要取代DRAM,而是有許多應用可以利用此一新型態的架構,許多人都在實驗不同面向的Flash,而他們只是嘗試從另一個角度著手。

在Arvind的研究團隊中,有3名研究人員曾經或現為台灣廣達電腦的員工,而廣達也是BlueDBM系統的主要贊助商之一,其他兩家贊助商還包括三星與Xilinx。

韓國首爾大學資訊工程系教授Jihong Kim認為,有不少大數據的應用需要即時或快速回應能力,BlueDBM對它們來說就是個相當吸引人的解決方案,和其他簡化大資料分析的方案相比,BlueDBM最大的好處是,只要有專用的加速器支援就可輕易擴充成更大的儲存系統。(編譯/陳曉莉)

 


熱門新聞

Advertisement