資策會用巨量資料分析平臺分析多媒體收視行為

資策會日前宣布推出巨量資料分析平臺，並且採用自行研發的非結構資料分析技術Social Event Radar，初步應用著重網路社群與數位機上盒等巨量資料分析。目前凱擘等有線電視系統業者與資策會已經共同組成新媒體閱聽行為研究實驗室，期望藉由資策會所建置的巨量資料分析平臺，建立數位媒體收視行為調查機制，扭轉過去只能倚賴尼爾森（ACNielsen）市場調查結果，來做行銷預算投放的依據。

資策會創研所副所長林玉凡表示，在新媒體閱聽行為研究實驗室的組成中，資策會負責擔任資料分析與研究智庫的角色。因應數位匯流等新型態的資料分析需求，資策會創研所整合旗下5個團隊自行研發的技術資源，包括社群媒體分析技術（Social Event Radar）、雲端運算與儲存技術、巨量資料收集與處理技術、App互動廣告以及閱聽行為研究技術。

依據資策會的巨量資料分析架構規畫，目前匯入分析的巨量資料，主要包括兩大區塊，其一是由各大有線系統業者所提供的數位機上盒Log資料，其二則是來自網路平臺的非結構資料。涵蓋範圍包含BBS、部落格、Facebook、論壇、新聞網站、商城等6類，總計超過400個網站，6千種網路版型。

林玉凡表示，平均每月蒐集300GB的資料量，至今累積匯入分析的資料總量高達6TB，資料涵蓋範圍包括133個BBS、594個論壇、1,110個網路商城、4,061個新聞、5,287個臉書粉絲團版、20萬個以上打卡點等。其中，資料擷取的方式有Telnet、HTTP、API三種，所使用的資料分析技術，除了資策會創研所自行研發的語意分析技術之外，也會搭配雲端的非結構資料分析平臺進行整體分析。現階段系統架構可以蒐集到目標範圍內85%～95%的資料，而且每6小時就會更新資料索引。

資策會的巨量資料系統平臺，硬體部分總共由61臺伺服器構成，其中，42臺負責蒐集由爬蟲程式（Crawler）回傳的各個網站，13臺是資料庫伺服器，另外6臺則是負責巨量資料分析。文⊙楊惠芬