Meta公布最新一代AI晶片MTIA

Meta本周公布下一代AI晶片Meta訓練與推論加速器（Meta Training and Inference Accelerator，MTIA），為軟體大廠自製晶片再添一員。

Meta去年5月公布第一代MTIA，是為自家AI負載作業，特別是為Meta平臺產品（如臉書）的深度學習推薦模型而設計。MTIA v1有助於改進基礎架構的運算效率，並且更能支援工程師開發AI模型。用途上，下一代MITA則將支援內容排序及廣告推薦內容的底層模型運算。

最新一代MITA仍將由台積電代工，但採用5奈米製程（第一代為7奈米），體積也比較大以容納更多處理核心。技術架構上，新一代晶片包含8x8矩陣的運算元件（PE）。由於稀疏運算相關的管線（pipelining）架構改進，加上更大的本地PE儲存、晶片SRAM、頻寬和LPDDR5，使新晶片的密集運算效能和稀疏運算效能較第一代提高3.5倍及7倍。而晶片上網路（network on chip，NoC）架構的改良，可在低延遲情況下協調不同PE，協助MTIA支援更多更複雜的AI負載。

根據Meta提供的數據，下一代MTIA平均時脈（1.35GHz vs. 800 MHz）、記憶體（128MB vs. 64MB）、主機連線速度（PCIe Gen5 vs. PCIe Gen4）都更優異，不過散熱設計功耗（TDP）則較前代更高（90W vs. 25W）意謂可能更為耗電。

軟體架構上，新一代MTIA延續前代設計，包括整合PyTorch 2.0及圖形層捕捉、分析、轉換和擷取機制（如TorchDynamo, torch.export）等，一致化的完整軟體堆疊架構確保新晶片可和MTIA v1平臺上開發的程式碼完全相容。Meta表示，這設計使其可在幾天內將運算環境轉換到新晶片上；不到9個月內，已部署到Meta 16個雲端區域資料中心執行AI模型。

Meta希望藉由自製晶片減少對Nvidia的依賴，同時持續推進AI能力，包括訓練下一代大型語言模型（LLM）。Meta高層本周也在一場活動上預告，將在下個月開源釋出下世代大型語言模型Llama 3。Meta期望在下個月開始部署下一代基礎模型Llama 3的最新套件。Llama 3家族包含多個能力及特性不同的AI模型，將陸續於今年內釋出，而且「很快就會啟動」。