AMD Instinct MI300X加速器為Microsoft Azure OpenAI服務工作負載與全新Azure ND MI300X V5虛擬機器挹注效能

AMD（NASDAQ: AMD）在微軟開發者大會（Microsoft Build）為微軟客戶與開發人員展示其最新端對端運算與軟體功能。透過運用AMD Instinct™ MI300X加速器、ROCm™開放軟體、Ryzen™ AI處理器與軟體以及Alveo™ MA35D媒體加速器等AMD解決方案，微軟為眾多市場的人工智慧（AI）部署提供強大的工具套組。全新Microsoft Azure ND MI300X虛擬機器（VM）現已全面上線，協助Hugging Face等客戶為其要求最嚴苛的AI工作負載挹注優異效能與效率。

AMD總裁Victor Peng表示，AMD Instinct MI300X與ROCm軟體堆疊助力執行Azure OpenAI Chat GPT 3.5與4版本服務，處理許多全球要求最嚴苛的AI工作負載。在Azure全新VM全面上線後，AI客戶可更廣泛的透過MI300X為AI應用帶來高效能與高效率的解決方案。

微軟技術長暨AI執行副總裁Kevin Scott表示，微軟與AMD在多種運算平台上有長久的合作歷史，從最初的PC、為Xbox開發的客製化晶片、HPC一直到現今的AI。在不久之前，我們察覺到將強大運算硬體結合所需的系統與軟體最佳化的必要性，如此才能提供令人讚嘆的AI效能與價值。我們與AMD合作，運用ROCm與MI300X協助微軟AI客戶與開發人員為最先進與運算密集型前沿模型取得出色的性價比成果。我們致力與AMD合作，持續推動AI進程。

微軟力推AI

Azure ND MI300x v5 VM系列先前在2023年11月發布預覽版本，現已在加拿大中部地區（Canada Central region）上線，供客戶執行其AI工作負載。這些VM以領先業界的效能帶來令人印象深刻的HBM儲存容量與記憶體頻寬，讓客戶在GPU記憶體中安裝更大模型和／或減少使用GPU，最終有助於節省功耗與、成本並加速解決方案進程。

這些VM與在其中提供支援的ROCm™軟體也用於Azure AI生產力工作負載，包括讓客戶能使用GPT-3.5與GPT-4模型的Azure OpenAI服務。藉由AMD Instinct MI300X以及成熟且就緒的ROCm開放軟體堆疊，微軟得以在GPT推論工作負載上達成領先性價比。

除了Azure AI生產力工作負載外，Hugging Face為首波採用這些VM的客戶之一。Hugging Face僅花一個月就將其模型遷移到ND MI300X VM上，使其模型達到令人驚豔的效能與性價比。ND MI300X VM客戶能基於此將Hugging Face模型遷移到VM，輕鬆且高效地組建與部署自然語言處理（NLP）應用。

Hugging Face推廣長Julien Simon表示，微軟、AMD與Hugging Face在ROCm開放軟體產業體系上的深度合作，將讓Hugging Face使用者無須改寫程式碼就能運用搭載AMD Instinct GPU的Azure來運行數十萬種Hugging Face Hub提供的AI模型，Azure客戶將能更輕鬆地透過開放模型與開放資源來打造AI。

此外，開發人員現能在配備AMD Ryzen AI的PC上運用AMD Ryzen AI軟體來最佳化與部署AI推論^註1。Ryzen AI軟體讓應用能在AMD XDNA™架構打造的神經網路處理單元（NPU）上運行，此NPU為首款內建於Windows x86處理器的專屬AI處理晶片^註2。僅在CPU或GPU上執行AI模型會很快耗盡電池電力，而在配備Ryzen AI的筆電上，AI模型可交由嵌入式NPU來操作，從而騰出CPU與GPU資源來執行其他運算任務。這大幅增加電池續航力，讓開發人員在設備端執行大型語言模型（LLM）的AI工作負載，並在本地端高效地同步執行各種應用。

推動視訊服務與企業運算

微軟選用AMD Alveo™ MA35D媒體加速器執行Microsoft Teams、SharePoint video等即時視訊工作負載。Alveo MA35D為支援大規模即時互動串流服務量身打造，將協助微軟透過影片轉碼、解碼、編碼以及自行調適位元速率（adaptive bitrate，ABR）串流等串流影片處理工作負載，確保高品質視訊體驗。憑藉配備第4代AMD EPYC™處理器並結合Alveo MA35D加速器的伺服器，微軟正著手：

• 彙整伺服器與雲端基礎架構的能力 － 運用Alveo MA35D的高通道密度、能源效率以及超低延遲影片處理功能，微軟能大幅降低所需伺服器的數量，以支援高容量即時互動串流應用。

• 令人印象深刻的效能 － Alveo MA35D結合基於ASIC的影片處理單元，支援AV1壓縮標準以及AI影片畫質最佳化，協助確保流暢與無縫的視訊體驗。

• 符合未來需求的AV1技術 － 藉由提供升級管道支援AV1等全新標準，Alveo MA35D為微軟提供理想解決方案，能持續調適來因應不斷演進的影片處理需求。

第4代AMD EPYC™處理器現已廣泛用在Azure的通用型、記憶體密集型、運算最佳化型與加速運算型VM。這些VM展現AMD EPYC處理器在雲端的成長與需求，在Azure除為通用型與記憶體密集型VM提供高達20%的效能提升以及更好的性價比，也為運算最佳化型VM帶來相較配備前一代AMD EPYC處理器的VM高達2倍的CPU效能提升。現開放預覽的Dalsv6、Dasv6、Easv6、Falsv6與Famsv6 VM系列將在未來數月全面上線。

相關資源

• 更多關於：AMD與微軟的合作

• 更多關於：微軟部落格與新聞中心

• LinkedIn：於AMD LinkedIn追蹤AMD新訊

• X：於@AMD追蹤AMD新訊

關於AMD

50多年來，AMD（NASDAQ：AMD）推動創新高效能運算、繪圖及視覺技術。全球數十億的消費者、世界500強企業以及尖端科學研究機構皆仰賴AMD的技術來改善生活、工作及娛樂。AMD員工致力於研發領先的高效能與自行調適產品，不斷突破技術的極限。欲瞭解AMD如何成就今天，啟發未來，請瀏覽AMD網站、部落格、LinkedIn及X。