Google在雲端加速器TPU進一步支援深度學習函式庫PyTorch,大多數的PyTorch程式,僅需使用Python套件PyTorch/XLA,進行最小程度的修改,就能夠使用TPU來加速機器學習工作負載,且在TPU還不支援的操作,自動退回到以CPU運算,而PyTorch/XLA也會生成詳細的報告,助PyTorch使用者發現應用程式瓶頸,在Cloud TPU上,能夠高效能的執行機器學習工作負載。

在2019年PyTorch開發者大會上,臉書、Google以及Salesforce Research的工程師開始了PyTorch-TPU專案,目標是要讓PyTorch社群,可以更容易運用Cloud TPU高效運算能力,因此該團隊創建了PyTorch/XLA套件,結合PyTorch API與XLA線性代數編譯器,讓PyTorch可以連結到Cloud TPU,將TPU核心作為裝置使用。

XLA是Google在2018年推出的最佳化編譯器,透過最佳化演算法運算,可以提升機器學習模型的執行速度,XLA支援處理器以及繪圖卡,也能夠在Google TPU上執行,透過XLA可以讓Cloud TPU更容易支援PyTorch。

最新釋出的PyTorch/XLA,使Cloud TPU正式支援PyTorch 1.6,在基礎設施層提供模型平行運算能力,允許開發者可以在多個TPU核心上,分散大規模嵌入表,因此有能力創建許多過去無法達成的應用。另外,Google在雲端上發布的深度學習虛擬機器(DLVM)映像檔,其中包括PyTorch等各種深度學習框架,而 PyTorch/XLA 1.6現在預裝在DLVM中,並且已經對Cloud TPU進行最佳化,供使用者快速啟用開始工作。

為了讓開發者更好上手PyTorch/XLA,Google雲端還提供一組常用深度學習模型開源實作,以及相關的教程,這些模型包括使用ImageNet資料集的圖像分類任務ResNet-50,還有Transformer、RoBERTa以及BERT等知名模型,也能使用PyTorch 1.6才加入,由臉書開發的深度學習推薦模型(DLRM)。官方提到,在Cloud TPU訓練這些模型,大部分的情況僅需要很少的程式碼更改。

艾倫人工智慧研究所(Allen Institute for AI,A12)最近在多個專案中,開始使用PyTorch/XLA以及Cloud TPU進行研究,他們利用PyTorch/XLA在最新的語言模型中,加入視覺化元件,以改善語言理解能力,A12科學家Matthew Peters認為,雖然PyTorch/XLA目前還只是新技術,但提供已經投入使用PyTorch的組織,一個加速訓練機器學習模型的新運算平臺。


Advertisement

更多 iThome相關內容