Meta開源可加速程式碼執行的推理系統AITemplate

Meta在本周開源了可將深度神經網路（Deep Neural Networks）轉為C++程式碼以加速推理服務的AITemplate（AIT），這是一個Python框架，目前支援Nvidia與AMD的GPU，但未來也不排除支援英特爾（Intel）的GPU產品。

Meta AI團隊說明，在交付部署AI模型的運算需求時，GPU扮演一個很重要的角色，特別是執行大規模預訓練模型時，但現階段AI業者在選擇高效能GPU推理解決方案時的彈性非常有限，因為這些方案都集中在特定平臺的封閉黑盒子中，使得針對某個品牌的GPU所設計的機器學習系統必須要完全重新實現，才能於不同供應商的硬體上運作。

此外，AI生產流程通常需要快速開發，且諸如TensorRT等提供客製化的工具卻無法滿足，再加上這些封閉且私有的解決方案不容易快速除錯，使得Meta打造了AITemplate來解決上述難題。

AITemplate的兩大特色分別是高效能，以及統一、開放與靈活。它在TensorCore（Nvidia GPU）與MatrixCore（AMD GPU）上執行各種主要模型的效能都可達到Roofline FP16，如ResNet、MaskRCNN、BERT、VisionTransformer與Stable Diffusion等；此外，它同時適用於Nvidia GPU或AMD GPU的FP16深度神經網路模型，且完全開源，與這兩個平臺上現有的解決方案相較，它支援更廣泛的融合。

這意味著AITemplate在Nvidia與AMD的GPU上執行各種AI模型時，可達到近似於原生硬體的效能，相較於PyTorch中的Eager模式，AITemplate在Nvidia CPU的效能改善了12倍，在AMD GPU上改善了4倍。

Meta已在Nvidia A100及AMD MI200的GPU系統上啟用AITemplate，它們也是目前全球科技業者、研究實驗室及雲端服務供應商在資料中心中最常使用的GPU。