Google更新雲端平臺資料工程師訓練課程

因應資料處理技術的變化，Google更新了Google雲端資料工程師的訓練課程，加入了諸如Data Fusion和Cloud Composer的介紹，也為進階的BigQuery、BigQuery機器學習和Bigtable串流課程，加入更多實際操作教程，讓用戶對這些技術更加上手。

人工智慧與機器學習技術蓬勃發展，資料工程師現在需要具備比過去更多的技能，Google提到，之前資料工程師需要學會使用分散式系統和Java程式開發，在資料中心操作Hadoop MapReduce，但是現在資料工程師還需要熟悉人工智慧、機器學習以及商業智慧等技能，來管理和分析資料。

為此，Google重新安排資料工程的課程內容，課程從GCP大資料與機器學習基礎開始，介紹技術概念與術語，接下來主題便會進入到Google雲端資料湖泊以及資料倉儲，除了讓資料工程師了解職位的責任之外，也介紹雲端資料工程的好處，以及企業對於資料工作管線的需求，這個課程會深入使用案例，並且介紹GCP上資料湖泊以及資料倉儲解決方案。

第三個主題會是在Google雲端建構資料批次處理工作管線，逐步引導用戶了解資料工作管線，以及不同的批次處理範式，像是額外載入、ELT（Extract-Load-Transform）或是ETL等，用戶將學會使用BigQuery以及在Dataproc執行Spark的方法，也可學會Data Fusion工作管線圖的概念，或是以Dataflow無伺服器服務處理資料。

學完資料批次處理，接下來用戶還會學到在Google雲端建置串流分析系統，從建置串流資料工作管線、使用Dataflow聚合和轉換串流資料，到將處理完的資料儲存到BigQuery或是Bigtable。學完準備資料的方法後，最後便是教用戶使用智慧分析、機器學習和人工智慧服務，在資料工作管線中自定義機器學習，也能知道自動化機器學習AutoML服務的應用方式，或是使用Kubeflow Pipelines產品化機器學習應用。