因應資料處理技術的變化,Google更新了Google雲端資料工程師的訓練課程,加入了諸如Data Fusion和Cloud Composer的介紹,也為進階的BigQuery、BigQuery機器學習和Bigtable串流課程,加入更多實際操作教程,讓用戶對這些技術更加上手。

人工智慧與機器學習技術蓬勃發展,資料工程師現在需要具備比過去更多的技能,Google提到,之前資料工程師需要學會使用分散式系統和Java程式開發,在資料中心操作Hadoop MapReduce,但是現在資料工程師還需要熟悉人工智慧、機器學習以及商業智慧等技能,來管理和分析資料。

為此,Google重新安排資料工程的課程內容,課程從GCP大資料與機器學習基礎開始,介紹技術概念與術語,接下來主題便會進入到Google雲端資料湖泊以及資料倉儲,除了讓資料工程師了解職位的責任之外,也介紹雲端資料工程的好處,以及企業對於資料工作管線的需求,這個課程會深入使用案例,並且介紹GCP上資料湖泊以及資料倉儲解決方案。

第三個主題會是在Google雲端建構資料批次處理工作管線,逐步引導用戶了解資料工作管線,以及不同的批次處理範式,像是額外載入、ELT(Extract-Load-Transform)或是ETL等,用戶將學會使用BigQuery以及在Dataproc執行Spark的方法,也可學會Data Fusion工作管線圖的概念,或是以Dataflow無伺服器服務處理資料。

學完資料批次處理,接下來用戶還會學到在Google雲端建置串流分析系統,從建置串流資料工作管線、使用Dataflow聚合和轉換串流資料,到將處理完的資料儲存到BigQuery或是Bigtable。學完準備資料的方法後,最後便是教用戶使用智慧分析、機器學習和人工智慧服務,在資料工作管線中自定義機器學習,也能知道自動化機器學習AutoML服務的應用方式,或是使用Kubeflow Pipelines產品化機器學習應用。


Advertisement

更多 iThome相關內容