Teradata用結合SQL和MapReduce技術的平臺處理巨量資料

專注在OLAP領域的資料倉儲廠商Teradata，一直以來都是以MPP（Massive Parallel Processing）技術分析結構性資料，但巨量資料中混合存在的結構與非結構資料，使得資料的管理分析困難度便高，難以用原先的技術進行分析。

為了藉由第三方工具協助，他們在去年12月買下行銷軟體公司Aprimo，用來分析及管理來自網站、客服中心、郵寄廣告或社交網路等不同管道的資料，強化行銷業務領域的分析能力，又在今年買下了Aster Data強化分析非結構性資料的能力。

面對巨量資料中的非結構性資料，由於Teradata的資料庫引擎仍沒有處理非結構性資料的能力，在Teradata買下Aster Data以後，資料處理的架構則是將結構性資料與非結構性資料先儲存在Aster Data的平臺上，再藉由Aster Data來支援關連性資料庫SQL語法，以及可處理非結構性資料的MapReduce函式庫，將非結構性資料中可利用的訊息，轉變成結構性資料，進一步分析並建立資料模組，再交由Teradata資料倉儲系統進行關聯式分析。

Teradata大中華區專業服務副總經理張錦滄表示，目前Aster Data已預先提供了80個分析模組，針對多種資料源，包括圖形檔、臉書上的文字和感應器收集來的資料，企業不需要自行開發全部的分析模組。

同時，該平臺也與Teradata資料庫完成初步整合，藉由開放API，Teradata資料庫可直接用SQL指令呼叫Aster Data平臺分析所產生的資料集（Dataset），並進行分析；在Aster Data平臺上也可取出Teradata資料庫的資料進行分析整合。

另外在資料處理的效能強化上，Teradata也在今年4月底推出全新Active EDW 6 系列的SSD與硬碟混合型的資料倉儲來提高資料處理的速度，解決巨量資料需要更即時反應查詢。

這種混合型的資料倉儲系統，主要是藉由Teradata的虛擬存儲軟體（TVS）依照企業內部資料使用的頻率來自動分配，讓較常用的的資料置於SSD中處理，較少用的資料則放在一般硬碟中處理，讓平常越常使用資料，能獲得更快的資料處理效能。

Active EDW 6680搭配300GB到600GB的硬碟，加上300GB的SSD，資料量可從7TB擴充到36PB。Active EDW 6650則是搭配300GB到450GB的硬碟，企業可自行選擇是否升級到SSD，資料量可從7.5TB擴充到92PB。

相關報導請參考「PB級資料的挑戰：巨量資料來襲」