Google發布了一系列雲端資料服務更新,強化了既有產品BigQuery以及Dataflow,還發布了雲端資料融合(Cloud Data Fusion),更新範圍涵蓋企業整個資料工作管線,從資料整理到資料治理。

針對資料彙整推出的Cloud Data Fusion服務,是一個完全託管的原生雲端資料整合服務,內建廣泛的開源轉換函式庫,以及超過一百種的開箱即用連接器,能夠適用於各種系統和資料格式。Cloud Data Fusion可以擷取、整合各種資料來源,供BigQuery後續分析之用。而Data Fusion的控制中心可以讓企業在單一位置,探索和管理所有資料集和資料工作管線,該控制平臺提供簡易的操作,使用者不須要撰寫程式。

針對串流和批次資料處理服務Dataflow,Google推出了Cloud Dataflow SQL以及Dataflow FlexRS,讓使用者在資料工作管線中使用SQL,也讓工作調度更加靈活。Google表示,資料分析師對資料工作管線進行分析,建立資料工作管線則必須要依靠資料工程師,而Cloud Dataflow SQL讓資料分析師可以直接使用熟悉的SQL語法,建構Dataflow工作管線。

Dataflow SQL使用的SQL語法與BigQuery相同,而這讓資料分析師可以在BigQuery的使用者介面中使用Dataflow SQL進行資料分析。另外,Google還發布了Dataflow Flexible Resource Scheduling(FlexRS),讓使用者能夠設置隔夜作業、批次處理等調度安排,方便企業使用先占式服務。

Google也對分析資料倉儲BigQuery進行多項更新,除了之前發布的資料倉儲搬遷服務,在去年NEXT大會釋出的BigQuery ML,Google也宣布即將釋出正式版,最新版本增加不少新的模型支援與更多元的案例,還能直接輸入TensorFlow模型使用。

BigQuery現在擁有BI Engine,能快速地執行記憶體分析服務,讓企業以次秒級的查詢回應時間,以高並行的方式分析複雜資料集。使用者可以透過Data Studio使用互動報告以及儀表板,Google預告,在幾個月內,將也能在Looker以及Tableau工具上使用。

而為了要簡化BigQuery的使用障礙,Google推出了連接試算表(Connected Sheets),使用者可以使用Google試算表熟悉的介面,但是獲得BigQuery的分析能力,連結BigQuery完整的資料集使用,無論是數百萬還是數十億行資料都沒問題,不需要SQL語法,就能進行資料分析。

為了要幫助企業管理數位資產,Google推出了Data Catalog服務,使用與Gmail和Drive相同的搜尋技術,提供簡單的資料探索搜尋介面,也提供了靈活且功能強大的編目系統,以捕捉技術和商業元資料,並與Cloud DLP整合,能夠發現且編列敏感資料資產,也提供以Cloud IAM簡化存取控制。


Advertisement

更多 iThome相關內容