Big Data在臺灣應用方向(三)

巨量資料處理的需求，往往因為企業的核心業務不同就有所差異。在金融業，元大銀行的出發點就是為了縮短資料處理時間。目前正在使用的資料倉儲系統，在3年前上線之後，由於資料量快速成長，使得硬體效能出現瓶頸，元大銀行為了一次解決後續擴充問題，決定轉移到可橫向擴充的MPP架構平臺。

對於元大銀行來說，「首要之務，就是先提升硬體效能，把既有資料倉儲的應用，完全無痛轉移到新平臺之後，下一步才會與業務端結合，一起往巨量資料的應用延伸」。元大銀行副總經理陳秀美指出，原本的資料倉儲是SMP架構，預計概念驗證完成後，將會轉移到MPP架構。

在MPP的架構下，除了可以提升資料倉儲的硬體效能之外，後續也可以隨著資料成長速度以及非結構資料的分析需求，在既有基礎上平行擴充，持續發展元大銀行的巨量資料處理平臺。然而，要從SMP轉換到MPP架構，原本所開發的應用程式要如何無痛轉移，將是元大銀行現階段評估新一代巨量資料平臺的關鍵。

陳秀美指出，以往礙於成本考量，在建置資料倉儲時，往往必須與業務單位詳細訪談、有所取捨，彙整各單位需求後，才建立模型與分析維度，整個過程，雖然是去蕪存菁，但是，有些資料的分析價值就因此被排除在外，例如：影像資料的應用等，類似這樣的情況，現在因為資訊硬體成本逐漸下滑，資料壓縮技術持續演進的情況下，元大銀行將會重新思考資料的價值，資料分析可以在成本不變的情況下，納入更多的資料源來分析。

因應巨量資料處理需求，元大銀行著重的是快速回應使用者需求，因此概念驗證階段，就以實際的帳務資料以及交易資料，模擬出數10億筆資料，再從客戶屬性與商品行銷通路等不同分析維度去查詢，進而驗證各資訊廠商的I/O以及資料處理速度等。針對資料處理速度方面，確實可以看到同樣的資料處理，在新系統的資料處理效能提升了數10倍。

除此之外，對於元大銀行來說，資料處理的評估關鍵，還涉及多個資料排程的處理能力，例如：計算某位客戶對元大銀行的營收貢獻度，就必須彙整多個不同應用系統的資料源，包括財富管理系統、存款系統、放款系統、保險業務系統等等，所有相關應用系統的資料匯集之後才能進行加總，否則只要缺少一個系統的一個明細，都會影響到這筆資訊處理的運算作業。

相關報導請參考「巨量資料在臺灣」