圖片來源: 

Google提供

Google在2014年Google I/O大會上,發表大資料分析雲端平臺Dataflow,提供開發者完整的資料處理管道(Pipelines),從資料擷取、轉換到分析,開發者可以串流即時資料到Dataflow上,也可以批次上傳。在Keynote的展示中,Google與Twitter在足球世界盃期間,合作透過Dataflow讀取數百萬則Twitter貼文,做球迷情感分析。

 

Google說,Dataflow是MapReduce的繼承者,由數個Google內部使用的技術為基礎,包括Flume和MillWheel。而第一版的Dataflow SDK採用Java來開發,當然,在Dataflow 開發者控制台也有儀表板顯示整個資料管道的狀態。

Dataflow是一項雲端服務,Google表示Dataflow的優勢在於,從眾多資料中萃取出有用的資訊,能藉由更低的運作成本,和化繁為簡的部署,且基礎設備具有規模彈性。

Google先前將發展重點放在MapReduce以及BigQuery上,而Google 表示BigQuery也能與Dataflow相輔相成,開發者可以把Dataflow的資料餵給BigQuery。例如欲輸入BigQuery的資料是具規則的,開發者可以直接操作,但是當欲輸入BigQuery的資料需要經過處理,便可以透過Dataflow讀取BigQuery裡的資料並綜合其他來源的資料,經過處理後再次存入BigQuery中,這個循環可以重複進行。.

Dataflow補起了Google在雲端服務中的一塊拼圖,不過,目前Dataflow正在內部測試當中,Google還沒有公佈上市後的明確價格。


Advertisement

更多 iThome相關內容