持續推動AI整合應用設備產品發展的Nvidia,在雲端與資料中心領域提供DGX平臺的伺服器系統,目前有DGX H200、DGX B200、DGX B300、DGX GB200、DGX GB300,以及搭配多臺上述設備而成的整櫃型與多櫃型系統DGX BasePOD、DGX SuperPOD,用於公有雲服務領域的解決方案主要是DGX Cloud,而在個人端環境,原本只有直立型工作站DGX Station,今年Nvidia增設體型更小的DGX Spark。

提供運算效能足以抗衡DGX-1系統的桌上型伺服器

這款內部代號為Project DIGITS的產品,在今年1月CES大展期間亮相,預計5月開始供貨,售價為3,000美元起。

Nvidia共同創辦人暨執行長黃仁勳在該場活動的主題演講,介紹它是深度學習GPU智慧型訓練系統,強調能與既有的RTX、AGX、OVX等產品相容,如同2016年推出的DGX-1,Nvidia希望為研究人員和新創公司打造開箱即用的AI超級電腦,用於AI研發,然而,現在AI已然成為工程師執行運算、開發軟體,以及藝術工作者內容創作的新方法,每個人都需要一臺AI超級電腦作為工具,Nvidia希望能提供更小尺寸的DGX系統。

黃仁勳在演講現場拿出一臺Project DIGITS,強調它能執行整個Nvidia AI軟體技術堆疊,可放置在任何地方,並且能透過無線網路連接到用戶的個人電腦,用戶可以將它當作工作站、雲端超級電腦使用。

他強調,這臺設備採用Nvidia與聯發科(MediaTek)合作設計的系統單晶片(SoC)GB10,而這顆Nvidia最小型的Grace Blackwell融合式晶片,內建Nvidia設計的Arm架構處理器Grace,提供20顆節能核心,以及Blackwell架構GPU,整合最新CUDA核心、第五代Tensor核心,能在FP4的精度下,提供1 Petaflop的AI運算效能;至於CPU與GPU之間,GB10透過NVLink-C2C技術進行晶片對晶片的連接。

    

Nvidia在GB10晶片周圍也設置128 GB容量的LPDDR5記憶體,統一提供處理器與GPU存取使用,並搭配4 TB容量NVMe固態硬碟儲存空間,足以執行2千億個參數的大型語言模型。除此之外,這臺設備還搭配ConnectX網路介面,能連接另一臺Project DIGITS使用,可處理4千零50億個參數的AI模型。

  

3月GTC大會期間,Project DIGITS正式定名為DGX Spark,黃仁勳再次強調它與DGX-1的對比,同樣搭配20顆核心的處理器、128 GB記憶體,可提供1 Petaflop運算效能,但DGX-1要價約150,000美元、耗電量為3,500瓦(而且採用3U尺寸機箱),相較之下,具有相同運算資源與能力的DGX Spark,體型卻輕薄到只需要一隻手捧著即可。

此時,他也宣布,華碩、Dell、HP、聯想這4家系統廠商將推出這類型產品。Nvidia強調這是全世界最小型的AI超級電腦,可提供強大的運算效能,協助數百萬名研究人員、資料科學家、機器人研發人員、學生,發展創新的生成式AI與物理AI應用。

5月台北國際電腦展期間,Nvidia預告有更多廠商加入供應DGX Spark的行列,除了上述4家,還有宏碁、技嘉、微星,預計7月開始供貨。黃仁勳表示,各家廠商都會推出他們的DGX Spark版本,他重申這是專為AI原生開發者而設計的產品,對於開發者、研究人員、學生而言,都希望擁有自己的AI雲端環境,並且設置在自己身邊,可持續運作、隨時能夠使用,以此進行原型設計與初步開發,而非每次要使用時,須連上雲端服務、準備環境,做完之後還必須花時間和心力整理作業環境。

而在軟體平臺的部分,Nvidia表示,DGX Spark搭配DGX OS,當中預先設置Nvidia AI軟體堆疊,也能存取AI模型部署的加速器套件Nvidia NIM,以及AI應用設計範本Nvidia Blueprints,開發者在此可運用PyTorch、Jupyter、Ollama等常見工具,操作AI推論的原型設計、微調、執行作業,後續可部署至DGX Cloud雲端服務,或設置大量AI加速運算資源的資料中心、雲端基礎架構。

  

    

GB10細部規格下半年公開

8月底Hot Chips大會期間,Nvidia資深傑出工程師Andi Skende揭露更詳細的DGX Spark技術規格,例如,網路介面是ConnectX-7,GB10晶片會經由PCIe 5.0 x8介面連接這個硬體裝置,使用者可藉此對接兩臺DGX Spark,並在搭配NCCL框架的狀況下,大幅強化多GPU的平行運算效率,進而擴展執行AI工作負載的運算吞吐量、頻寬、記憶體容量,支援更大、更繁複的AI模型;而且,DGX Spark也支援Wi-Fi、藍牙、USB等連接方式,作業系統採用基於Ubuntu的Nvidia DGX OS。DGX Spark搭配的系統單晶片GB10,熱設計功耗為140瓦,採用進階2.5D封裝技術,裡面結合系統小晶粒(S-dielet)與圖形處理小晶粒(G-dielet),兩者均導入台積電3奈米製程,S-dielet整合CPU、記憶體子系統等元件,G-dielet則是GPU核心。

單就CPU而言,Nvidia在此採用Arm 9.2架構,提供的20顆核心分為兩個叢集,各自包含10顆核心,每顆核心都有自己專屬的L2快取,每個叢集共用16 MB的L3快取。而針對整顆CPU的部分,Nvidia提供16MB的L4快取,促進不同執行引擎的高能效資料共享。

GPU的部分,GB10搭配基於Blackwell架構的iGPU,iGPU組成方式與GB100這批GPU相同,當中具有第五代Tensor Core,以及第四代RT Core(Nvidia未公開這兩種核心的數量配置),可處理2千億個參數的大型AI模型,以及700億個參數的AI模型微調。

iGPU支援Nvidia自家的DLSS-4與光線追蹤技術,CUDA核心可提供31 TFLOPS的FP32浮點運算效能,在AI應用上,支援NVFP4運算格式、能達到1,000 TOPS的運算效能。

而在GPU存取整個系統單晶片時,這裡設置的NVLink-C2C可提供600 GB/s的匯聚頻寬。針對GPU內含的多個運算單元,Nvidia搭配24MB的L2快取,增加內部存取頻寬,也能促進CPU與GPU的一致性。GB10整合的iGPU,也支援PCIe介面裝置的I/O虛擬化技術SR-IOV,提供1個實體功能,以及255個虛擬功能(virtual functions)。

至於高速存取介面(HSIO),GB10除了C2C,也支援PCIe 5.0、USB、Ethernet over PCIe,以及4個顯示器的同時連接,3個DisplayPort(4k @ 120Hz)與1個HDMI 2.1a(8K @ 120Hz SDR/HDR)。在多媒體的處理上,這款融合式晶片也整合視訊的編碼與解碼引擎。

關於記憶體的配置,GB10如同Grace Hopper、Grace Blackwell架構晶片,導入支援快取一致性(Cache Coherence)的共享記憶體架構,Nvidia稱為統一一致性系統記憶體(Coherent Unified System Memory),GB10目前配置128 GB容量的256位元LPDDR5x記憶體,原始頻寬可達9,400 Mbs,甚至是301 GB/s。

記憶體管理的部分,GB10針對CPU與GPU雙向存取的一致性,採用多種硬體機制,例如,GPU的L2快取採用實體標記的方式,這些快取資料會放置在系統實體位址(System Physical Address,SPA)的空間,而且,能經由GPU與系統各自的記憶體管理單元(MMU),以便支援記憶體位址轉換服務(Address Translation Services,ATS)。

GB10的安全性配置倒是令人意外地縝密,支援兩種信任根:一是SROOT處理器,用於系統的安全啟動與憑證管理,一是OSROOT處理器,提供UEFI、作業系統與其他系統軟體元件的身分認證。而且,它們可同時支援基於韌體的信任平臺模組(fTPM),以及獨立的信任平臺模組。

到了10月中,Nvidia終於宣布DGX Spark正式開始出貨,這款產品的細部技術規格也全部公開。例如,網路介面有兩種,一是ConnectX-7提供2個QSFP接頭的200GbE埠,一是RJ-45接頭的10GbE埠,無線網路的部分,也明確列出支援Wi-Fi 7與低功耗藍牙5.4;

GB10的CPU,提供的20顆Arm架構核心,其中10顆均為Cortex-X925,這個Arm智財平臺主打高效能、以往多用於智慧型手機與筆電,另外10顆均為Cortex-A725,該平臺主打高能源效率、以往多用於智慧型手機。

  

多家系統廠商採用DGX Spark概念的產品,也紛紛宣布上市,像是:

華碩推出迷你桌上型AI超級電腦Ascent GX10,機箱背部額外配置Kensington安全鎖槽,用戶可選購搭配1 TB、2 TB、4 TB這三種容量的固態硬碟機型,建議售價為97,900元(搭配1 TB固態硬碟)。接下來,他們還會推出2TB與4TB的版本,公布相對應的售價。

    

Dell提供高效能AI桌上型電腦系統Pro Max with GB10,如同Precision或Pro Max桌上型電腦,內建TPM 2.0,用戶可選購搭配2 TB或4 TB容量的固態硬碟機型,隨附意外損壞服務ProSupport Plus,建議售價為120,999元(搭配2 TB固態硬碟)。而且,這兩款產品的Wi-Fi網路模組,都採用AzureWave AW-EM637。

        

      

HP宣布推出ZGX Nano G1n AI Station,同樣內建TPM 2.0,用戶可選購搭配1 TB或4 TB容量的固態硬碟機型,Wi-Fi網路模組採用聯發科MT7925。

    

聯想推出AI開發小型工作站ThinkStation PGX,內建TPM 2.0,用戶可選購搭配1 TB或4 TB容量的固態硬碟機型,建議售價為135,499元起(搭配1 TB固態硬碟),企業用戶為139,900元(搭配4 TB固態硬碟)享3年Lenovo Premium Support服務,在產品差異上,聯想表示,針對企業用戶,其他競品為1年保固,Lenovo提供三年保固,確保AI工程師在維修上能獲得完整支援。

    

微星提供個人AI超級電腦EdgeXpert,用戶可選購搭配1 TB或4 TB容量的固態硬碟機型,分別為93,238元、128,100元,均是未稅價。相較於其他廠商的DGX Spark,微星表示,這款產品具有三大差異化特色首先是散熱,機箱內部採用均溫板(Vapor Chamber)與熱導管架構Hyper heatpipe,提供與新款筆電與手機同等級的冷卻技術,風扇採用五段式智慧控制曲線,能根據負載即時調整風速,兼顧靜音與效能,而且整個氣流是經由機箱前方開口進氣,主要從後方排出(其他側也有開孔),孔徑大小的配置經過多次模擬,兼顧安規、防塵與外觀需求。
第二是機箱構造,MSI EdgeXpert外殼使用「塑包鐵結構」,表面溫度可控制在攝氏51度以下,噪音控制在40dB以內,符合微星筆電等級的標準。整機框架採用ㄇ形金屬結構設計,能承受100公斤的壓力;另外也配有 Kensington防盜鎖孔,考慮到企業辦公室安全需求。
第三是電磁相容(EMC)與無線網路效能,由於MSI EdgeXpert採用高密度、高頻設計,要在桌面環境通過嚴格的EMC測試並不容易,微星特別針對天線位置避開金屬干擾區,重新調整RF布局,讓Wi-Fi模組能在小機構中仍保持穩定效能,在焊錫量控制上也更嚴謹,確保訊號強度與穩定度。

    

技嘉供應個人AI超級電腦AI TOP ATOM,機箱前側額外配置Kensington安全鎖槽,建議售價為169,000元。技嘉科技表示,他們特別為此打造AI開發部署的專用軟體 AI TOP Utility,提供一站式流程,舉凡下載模型、推論、多模態 RAG、機器學習範本等工作,可在本機完成。

    

宏碁提供AI迷你工作站Veriton GN100,機箱額外配置Kensington安全鎖槽,北美的建議售價為3,999美元起,歐洲、中東和非洲的建議售價為3,999歐元,澳洲的建議售價為6,499澳元11月10日補充說明:我們從該廠商得知建議售價為159,000元(含稅),特色是在實體安全上配備Kensington防盜鎖孔,並享有3年到府維修服務。
宏碁子公司安圖斯科技(Altos Computing)也在10月下半,宣布推出AI 工作站Altos BrainSphere GB10 F1,這款產品也內建安圖斯科技自行研發的開發平臺Altos aiGeni AI,可簡化開發環境設定流程,同時提供硬體資源監控與自動備份功能。

    

產品資訊

Nvidia DGX Spark
●原廠:Nvidia
●建議售價:3,999美元
●機箱尺寸:150 x 150 x 50.5公釐
●系統單晶片:Nvidia GB10 Grace Blackwell Superchip
●CPU:Nvidia Grace CPU,20顆Arm架構核心,10顆Cortex-X925核心與10顆Cortex-A725核心
●GPU:Nvidia Blackwell iGPU(第五代Tensor Cores、第四代RT Cores)
●記憶體:128 GB LPDDR5x,4266 MHz,頻寬為273 GB/s
●儲存:1臺M.2外形4 TB NVMe SSD
●網路介面:2個QSFP埠,Nvidia ConnectX-7,200Gb/s Ethernet;1個RJ-45埠,10 Gb/s Ethernet;Wi-Fi 7;Bluetooth 5.4
●連接埠:4個USB Type-C埠(其中1個可供電)、1個HDMI 2.1a埠
●軟體:Linux作業系統(DGX OS)
●耗電量:240瓦
●重量:1.2公斤

【註:規格與價格由廠商提供,因時有異動,正確資訊請洽廠商】

熱門新聞

Advertisement