
AMD
「未來AI不會由任何一家業者或是封閉生態系統所建構,而是由開放合作、跨產業來形塑AI的發展,因為人人都可以帶來最好的想法,一起共同創新」,AMD執行長蘇姿丰在美國舉辦的AMD全球發表活動中總結說。
這個想法呼應今年AMD全球發表活動的口號Together we advance,也體現蘇姿丰提出AMD對AI的3大策略,除了提供廣泛運算產品,讓合適的運算資源和合適的模型、應用配對,以及提供完整的方案之外,更重要的是大力投資建構一個開放性、開發者優先的生態系,「真正支援每一個主流框架、每個函式庫,以開放標準讓產業凝聚在一起,讓每個人都能為AI創新提供貢獻」。
開放生態系在 AMD 的人工智慧願景中扮演核心的關鍵角色,AMD也在發表活動中,多次提及開放標準的重要性,以和競爭對手建立區隔。
該公司的策略是提供開放標準的硬體、軟體,例如此次新發表的資料中心AI加速器AMD Instinct MI350系列,該資料中心GPU除了支援更大的HBM記憶體及提升記憶體頻寬,增加AI運算效能之外,支援業界的GPU節點標準UBB8,展示搭載MI350系列的AI Rack設計,以建立大規模的AI基礎建設。
在建立生態系方面,AMD一直積極地向AI開發社群招手,呼應蘇姿丰提到的3大AI策略,以開發者優先的策略,AMD開源軟體堆疊ROCm經營開發社群下已獲得一些進展,透過持續優化開發工具、SDK套件,例如除錯、微調工具,也和GitHub、Hugging Face開發社群平臺強化與開發社群平臺的合作關係,讓平臺上的模型更容易開發及部署。以Hugging Face為例,目前已有超過180萬的模型支援AMD平臺。
針對比較熱門的AI模型,鑑於這些模型快速的更新發展,AMD強調在Day 0就與模型業者合作,強化AMD各種運算產品對最新模型的支援,推動Llama、Mistral等模型在AMD平臺的優化,不斷改善模型訓練、推論在AMD平臺的效能。
模型推論及訓練效能加強的ROCm 7
在今年美國發表活動中推出ROCm 7,支援最新發表的MI350系列GPU,強調新的ROCm 7有更好的推論能力,相較於前代的ROCm 6,AMD比較新舊的軟體推疊在DeepSeek R1、Llama 3.1 70B及Qwen-2 72B三個模型的推論效能表現,ROCm7比ROCm6有平均3.5倍的推論效能提升。
AMD也不忘秀出與開發社群深化合作的成果,以執行DeepSeek R1為例,在FP 8的效能測試下,AMD的MI355X在ROCm 7加持下,較Nvidia GB200高出1.3倍的效能。
此外,ROCm 7與ROCm 6在模型訓練效能表現上,在Llama 2 70B、Llama 3.1 8B、Qwen 1.5 7B三個模型,ROCm7較ROCm 6的訓練平均效能提升3倍。
ROCm也加強對Linux開發社群的支援,包括Red Hat EPEL、Ubuntu、OpenSUSE的支援,陸續會在今年完成。此外,過去缺乏Pytorch在Windows的開發環境支援,也可望在今年下半年完整支援Pytorch在Windows環境的開發。
呼應開發者優先的策略,AMD也發表Developer Cloud,提供開發工具、ROCm 7,讓開發社群能在一定的資源限制下,免費存取使用AMD Instinct 300系列GPU的資源。
與紅帽聯手強化企業AI的高效能推論部署
針對企業需要的資料安全整合、容易部署,AMD強化ROCm for Enterprise AI,強調讓企業易於部署AI,ROCm for Enterprise AI以ROCm 7對資料中心CPU、GPU、DPU基礎資源,靈活彈性調度低層的叢集資源,支援Kubernetes及Slurm的整合,加強對上層的AI工作負載的管理,並進一步支援MLOps。
在企業的AI應用部署方面,AMD已與紅帽合作,包括在VLM對開源模型推論部署的提高效能,強化對AMD旗下運算加速產品的支援,還有以VLM為基礎的LLMD(Large Language Model Distributed inference framework),加強對大語言模型推論的分散架構支援,進一步支援在混合雲環境的企業AI推論部署。
OpenShift AI簡化企業AI推論部署,其中對於CPU及GPU的支援相當重要,雙方合作讓OpenShift AI支援AMD最新的Instinct系列GPU,確保企業能以彈性且易於部署的方式部署高效能AI推論。
熱門新聞
2025-07-08
2025-07-07
2025-07-07
2025-07-09
2025-07-07
2025-07-08
2025-07-07