AMD EPYC 處理器強勁機密運算效能 力助業界打造安全快速的 AI/ML 創新路徑

現今AI/ML遍地開花，在各行各業掀起巨大風潮，無論製造、服務、零售、醫療、金融、政府…等垂直領域，都迫切需要倚賴AI來驅動業務的創新轉型。但許多企業或機構基於合規或商業機密保護，對於分享機敏資料以推動跨單位創新協作一事，往往多所顧忌，導致許多開發者無法取得通用性、透明性且能減少偏差的大型資料集，因而造成一些重要研究計畫無法成形、著實可惜。

所幸隨著AMD領先業界提倡機密運算概念，推出創新的AMD安全加密虛擬化（SEV）技術，讓企業或機構得以運用AMD EPYC處理器組建機密運算虛擬機器（VM），確保所有機敏工作負載都能在基於硬體的信任執行環境運作、且整個系統記憶體及個別VM記憶體都被加密；如此資料擁有者無法窺視AI演算法模型，模型開發者也無法窺視資料，負責提供平台服務的業者，更無法看見資料與模型。

AMD SEV打造超前機密運算環境，無需共享資料及演算法亦可訓練模型

換言之，透過AMD SEV機密運算輔助，用戶得以打造零信任環境，參與者完全不需分享各自的機密（資料或演算法），就能順利完成模型訓練，即便如醫療等高度機密資料，一旦放入此運作環境，也毫無遭到竊取或破壞之虞，有助催生更多福國利民或深具經濟價值的AI/ML應用。

顯見透過AMD悉心形塑的「AI運算+機密運算」黃金組合，可望加速破除開發者無力獲取關鍵訓練素材的盲點，從而在絕對安全的態勢下，加快AI模型發展、部署與治理的節奏。

第4代AMD EPYC處理器為AI/ML運算帶來倍增的DLRM與穩定擴散效能

回歸基本面，除讚嘆SEV機密運算架構的奧妙外，AMD EPYC處理器更是帶來卓越的AI/ML運算平台。

綜觀最新一代第4代AMD EPYC處理器家族，其中代號為「Bergamo」的系列產品，正是為了AI應用所設計；搭載「Zen 4c」核心架構的AMD EPYC 97X4雲端原生最佳化資料中心處理器，進一步擴大EPYC 9004系列處理器陣容，能夠同時支援1P與2P配置，且每個處理器最多支援128個核心、256個執行緒及高達256MB的L3快取記憶體，各項規格均為x86處理器的翹楚，足以提供雲端原生運算所需領先的執行緒密度和規模。

除此之外，AMD EPYC 97X4處理器提供多達4個Gen 3 Infinity Fabric鏈路，速度高達32 Gbps，明顯突破x86處理器在於效率、效能、安全性功能與系統輸送量等諸多邊界，可謂新世代高效能運算標竿。

談到其餘規格，舉凡提供12個記憶體通道、至多支持6TB的DDR5-4800記憶體，及支持高達32Gbps的PCIe Gen 5等出色條件外，另有兩項對AI/ML運算有所助益的功能，一是支援AVX-512指令，顯著增強HPC與ML運算效率；另一為支援AMD Infinity Guard技術，可望加強數據保護。

放眼當今AI工作負載，舉凡用於圖像生成的穩定擴散（Stable Diffusion），以及用於推薦系統的深度學習建議模型（DLRM），都稱得上是十分流行的模型。而第4代AMD EPYC處理器不管用來執行Stable Diffusion或DLRM等主流的模型開發工作，都可望展現不俗效能。

接下來，我們將以搭載1P 96核心AMD EPYC 9654處理器以及1P 128核心AMD EPYC 9754處理器的系統，展現它們執行Stable Diffusion與DLRM兩項模型運算的效能表現。

以下所有測試，都使用相同的BF16數據格式，並預設採用PyTorch框架；至於系統的比較標準，DLRM部份係以「每秒查詢量」（QPS）為單位，Stable Diffusion部份以「每秒幀數秒」（FPS）為單位。

經過實測，搭載128核心AMD EPYC 9754處理器的系統，執行BF16數據的QPS吞吐量，相當於96核心AMD EPYC 9654系統的1.11倍。至於在Stable Diffusion圖片生成方面的FPS吞吐量，128核心第4代AMD EPYC 9754系統則帶來1.12倍的提升。

綜上所述，AMD EPYC 97X4處理器運行當今熱門的圖像生成、推薦系統兩項AI應用情境，實際的效能表現都呈現倍增態勢，完全符合多數AI開發者最急欲提升效率的關鍵環節。

AMD釋出SEV原始碼，促進安全技術持續進化

最後回到機密運算主題，眾所矚目的焦點，便是近期AMD宣布釋出AMD SEV原始碼。

深究AMD釋出原始碼的主要動機，在於發揮拋磚引玉作用，促進安全產業邁向更高的資訊透明度，使客戶有機會徹底審閱AMD EPYC處理器組建機密運算虛擬機器的背後技術。

如同AMD執行副總裁暨技術長Mark Papermaster所言，身為機密運算領導者，AMD需要持續追求創新，開創各種現代化安全功能，以協助產業體系的夥伴推出最先進雲端方案。因此AMD透過分享SEV技術，實現機密運算透明化並支持開源理念，盼能引入開源社群助力，讓AMD的合作夥伴與客戶共同發展、進一步強化此項關鍵技術，為寶貴資產提供最大的保護。

截至目前，AMD機密運算技術已廣泛獲得四大公有雲業者的青睞採用，藉此孕育多樣性服務，例如：

AWS的EC2 M6a、C6a及R6a等執行個體皆支援AMD EPYC處理器與SEV-SNP安全加密虛擬化技術。Google Cloud透過許多方式支援以AMD EPYC處理器執行的機密運算，比方說Confidential Spaces支援於隱私使用情境，包括聯合資料分析、ML模型訓練、機密虛擬機器的全面上線與機密GKE節點即IaaS服務、以及機密Dataflow暨相關分析方案。

微軟Azure啟用AMD EPYC處理器執行多項SEV-SNP機密運算服務，包含機密虛擬機器、Azure容器執行個體、Azure Kubernetes Service專屬的機密VM節點池、Azure VM上執行SQL資料庫的機密VM、Azure Databricks和Azure Data Explorer專屬的機密VM叢集節點，以及Windows 11 Azure虛擬桌面專屬的機密VM。至於Oracle Compute Infrastructure（OCI），則為用戶提供資料控管的高度保證，以保護用戶將工作負載遷移上雲，同時結合各項現代化安全功能、以及由EPYC處理器組建的OCI E3與E4機密VM。

總括來說，AMD EPYC處理器不僅提供優異的AI/ML運算效能，還結合現代化安全功能，幫助企業實踐創新與資安完美平衡，可說是最佳的運算架構選擇。