Google為即時分析Cloud Storage中的資料,提供了一個新的途徑,用戶除了可以使用Cloud Dataflow進行複雜的資料串流處理之外,現在還可以使用無伺服器服務Cloud Functions,以函式自動地將資料串流到BigQuery,進行快速分析

GCP用戶原本就能使用Cloud Dataflow服務,將資料串流傳輸至BigQuery進行分析。Cloud Dataflow使用Apache Beam框架,提供分窗(Windowing)和對話(Session)分析原語,以及Java和Python等其他各式開發語言的連接器,讓用戶執行複雜的ETL以及資料串流任務。 Google提到,對於不熟悉Apache Beam API的用戶,且不打算進行分窗或是複雜轉換等擷取文件資料工作,則Cloud Functions會是更好選擇。

Cloud Functions是一個事件驅動的無伺服器計算平臺,具自動擴展、高可用性和高容錯能力,用戶不需要配置、管理或是更新伺服器,適合用於小文件或是簡單資料轉換的串流任務。當資料檔案上傳到Cloud Storage中的時候,便能觸發Cloud Functions串流,在以函式解析資料後,把資料串流至BigQuery。

Google表示,相較於能夠用來處理複雜ETL工作以及大型資料集的Cloud Dataflow,Cloud Functions相對來說更為簡單靈活,除了能適時縮放運算能力,適應需要處理的資料量外,用戶還能以Cloud Functions自定義功能,執行像是使用Cloud Firestore資料庫等其他任務。


Advertisement

更多 iThome相關內容