根據市場調查機構Gartner的分析,目前全球資料量正以每年59%的速度成長,平均每兩年就成長1倍;資料型態也從傳統的結構性資料轉變為非結構資料為主,其中70%~80%都是網頁日誌檔案、圖片、影像、感應設備等所產生的非結構資料。面對如此巨大且快速成長的資料,傳統的資料處理技術顯得不足,Google等網路服務業者不得不尋求其他方法解決,巨量資料(Big Data)風潮因此而生。

近一年來,這股巨量資料潮流,從國外延伸到臺灣,高科技製造等各產業龍頭身先士卒,積極進行概念驗證(POC),領先掌握巨量資料最新技術,目前包括台積電、聯電、中華電信、遠傳電信、元大銀行、新光銀行等都在縝密評估,並且重新檢視既有資料處理平臺的適切性。

相較於美國,臺灣企業對巨量資料的關注,其實還在摸索階段。從目前正在評估巨量資料解決方案的企業來看,可以發現這些領航者的移動方向,大概可以分為兩大類型。其中台積電、聯電、中華電信對新的資料處理平臺Hadoop較為關注,為了驗證分散運算技術的巨量資料處理能力,台積電、聯電、中華電信甚至部署Hadoop架構來實際操作。元大銀行、新光銀行則著重可平行擴充的MPP架構彈性,來評估新一代巨量資料處理平臺。

由於各個企業的核心業務不同,所看重的資料價值與應用特性也不同,當然,因應巨量資料的階段性策略與資料處理方法亦大相逕庭。

臺灣大多數企業的資料量,目前並沒有達到PB級,然而,資料快速成長所帶來的系統效能問題,卻比比皆是,企業渴望的是可擴充的系統架構以及最佳的成本組合,因此,伴隨巨量資料而來的新技術,能否帶來這些效益備受關注。除此之外,由各種網路應用衍生出來的半結構資料以及非結構資料處理需求與日俱增,過去這類型的資料處理,不僅曠日廢時,而且還要耗費鉅資,在成本效益的考量下,企業根本不可能全面處理。

「巨量資料之所以引人注目,是因為新的資料處理技術,讓企業可以更低的成本、更快的速度完成。」中華電信資料處第四科科長楊秀一表示,在巨量資料的領域,絕對不可能是單一產品或單一平臺就能解決所有需求,企業必須從資料生命週期的角度來評估。相較於資料倉儲(Data Warehouse),巨量資料強調的是多種資料格式處理(Variety)、PB級的資料量處理(Volume)、即時資料處理(Velocity)。

目前臺灣的企業雖然還在摸索,並且試圖找出巨量資料的價值,然而經由概念驗證(POC)的方向,已經可以看到巨量資料的應用焦點,例如:高科技製造業著重的是製程量率分析、電信業則著墨於用戶行為分析以及決策建議模擬等。除此之外,值得一題的是,目前臺灣的巨量資料應用,只有極少數已經決定往新的技術架構Hadoop發展,其他大多採取漸進策略,也就是先把系統架構轉換成可橫向擴充的架構,待巨量資料應用有確切方向後再決定如何因應。

市場調查機構IDC企業應用分析師高振偉指出,臺灣的巨量資料市場,至今仍舊缺乏具有代表性的實際案例,未來1年能否藉由先期導入者,帶動大規模導入效應,將是巨量資料解決方案在臺灣市場能否起飛的關鍵。


相關報導請參考「巨量資料在臺灣」

熱門新聞

Advertisement