Google公布Cloud TPU v4 AI晶片技術，號稱效能更快、更節能

Google昨（6）日公布用於雲端的Cloud TPU v4技術細節，號稱效能更快，且更節能。

TPU v4是Google於2021年宣布，專門用於執行機器學習的AI晶片，是Google第5代Google特殊領域架構（domain specific architecture，DSA）及第3代用於ML模型的超級電腦平臺。Google TPU架構長Norm Jouppi及Google傑出工程師David Patterson本周在一篇論文中說明TPUv4技術細節。Google工程師指出，拜互連技術及特殊領域加速器（domain specific accelerator，DSA）技術之賜，TPUv4的機器學習系統（ML）效能擴充速度較前一代TPUv3提升近10倍，能源效率則為現代ML DSA的2、3倍，而二氧化碳排放則比一般本地部署的資料中心減少20倍，是執行大型語言模型的最理想平臺。

它每晶片效能是TPU v3 2.1倍，每瓦效能提高2.7倍。意謂著TPU v4晶片用電率僅200瓦。每顆TPU v4包含SparseCores，SparseCores為一種資料流處理器，可使深度學習模型嵌入（embeddings）執行速度提升5到7倍，但TPU v4裸晶（die）面積僅5%。藉由Sparsecores，搭載TPUv4的系統可用於執行搜尋、廣告、YouTube和Google Play的AI內容推薦。

TPU v4也是第一個部署可配置OCS的超級電腦平臺。OCS可動態配置互連拓墣，以提升擴充性、可用性、利用率、模組化、安全、效能及用電效率。和Infiniband相比，OCS及其底層光纖元件，系統成本不到5%，用電小於3%。

TPU v4從2020年用於Google Cloud，搭載TPUv4的超級電腦提供Exascale等級的ML效能，4096個晶片以Google自有光纖迴路交換（optical circuit switch，OCS）互聯。

此外，Google宣稱，以類似大小的系統來看，使用TPU v4的系統比Graphcore IPU Bow的系統快4.3到4.5倍，也比搭載Nvidia A100的系統快1.2到1.7倍，用電卻少1.3到1.9倍。而Google Cloud使用TPU v4，和本地部署資料中心的當代DSA相較，耗能量少5倍，排碳量更是僅1/20。

Google Cloud去年宣布其位於奧克拉荷馬州機器學習叢集使用TPU v4，總和運算效能峰值達9 exaflops，Google聲稱是已知最大的，且使用90%非碳能源的ML運算中樞。Google並宣布，提供AI文字生成圖片服務的AI新創Midjourney已經利用Cloud TPUv4來訓練其第4版模型。