NVIDIA  GB10 Grace Blackwell 晶片問世第一時間,Dell Technologies 同步推出 Dell Pro Max with GB10,以 約 1.2L 機身(150×150×50.5 mm)搭配統一記憶體架構和內建 NVIDIA AI SW Stack(CUDA、TensorRT 等),協助企業快速取得接近資料中心級的推理效能,加速啟動 AI 計畫。


隨著生成式 AI 技術蓬勃發展,帶動各類開源AI模型如雨後春筍般大量湧現,成為企業最想引進的創新科技。為讓開發者在「桌面端」也能取得資料中心等級的模型推理能力,NVIDIA 推出整合 Blackwell GPU 與整合 Blackwell GPU 與 Arm 架構 CPU 的 GB10 Grace Blackwell 晶片。在 INT4 精度下提供高達 1000 AI TOPS 推理效能,最高可支援約 2000 億參數級模型推理,可充分滿足資料科學、高效能運算與加速 AI 工作負載等多元需求。

戴爾科技集團身為全球工作站市場連續八年的領導者,亦是 NVIDIA 長年緊密合作夥伴,在第一時間同步推出 Dell Pro Max with GB10 方案,以高度靈活的模組化設計,提供企業三種不同的部署方式,打造更彈性的 AI 算力使用模式。這款產品能在桌面或邊緣場景中,提供高效、低功耗且易於部署的 AI 推理能力,成為企業啟動 AI 專案的理想選擇。

Dell Technologies 區域產品行銷顧問林佩儀博士指出,Dell Pro Max with GB10方案是 Dell AI Factory 戰略中,連接桌面端與資料中心的重要拼圖之一。

企業可將此方案作為「AI 算力擴充模組」,直接連接筆記型電腦、桌上型電腦或既有工作站,可同時提升模型推理與微調效能。另外,Dell Pro Max with GB10 方案也能接上顯示器與鍵盤滑鼠,即可成為研發人員的本機 AI 開發環境。最後,此方案亦能被部署於各式工業設備、醫療儀器或智慧零售系統中,在現場直接執行 AI 推理任務。

融合多項黑科技 發揮最大 AI 算力

Dell Pro Max with GB10 方案在研發之初,即是專為研發AI原型、邊緣運算、AI 開發、大模型推理、資料科學、教育研究等六大應用場景設計,透過整合高效能運算與靈活擴充能力,能為不同使用情境提供所需的 AI 算力,成為各類場域可立即部署的運算工具。

此方案最大特色之一,在於產品機身尺寸僅有 1.2L公升(150×150×50.5 mm),內建 128GB LPDDR5X 統一記憶體,讓 CPU 與 GPU 能共享完整記憶體空間,可提升大語言模型的推理效率,而整體耗電量卻僅有 240W。在儲存部分則支援兩組 M.2 NVMe SSD,最高資料容量可達 6TB;網路方面則內建 ConnectX-7 模組,提供雙 200GbE QSFP 介面與 10GbE RJ-45、 Wi-Fi 7 與藍牙 5.1,具備強大高速互聯能力。至於作業系統則是採用 DGX OS 7,內建 CUDA、TensorRT 與深度學習加速庫的 NVIDIA AI SW Stack 開發框架,為開發者提供一個開箱即用的 Linux 原生開發環境,且省去繁瑣的設定與優化流程,有助於縮短 AI 專案推動時程。

林佩儀說,Dell Pro Max with GB10 方案是一款專為特定 AI 工作負載打造的緊湊型運算設備,擁有令人驚艷的多項黑科技。第一點,考量到在 AI 推理階段,並不需要模型訓練時的 FP32 等高精度,所以 GB10 Blackwell 架構原生支援 FP4精度,記憶體佔用量需僅為 FP16 的四分之一,載入 GPT-OSS-120B(1200 億參數)模型僅需約 60GB 記憶體,對推理服務的準確度幾乎沒有影響。第二項黑科技是混合專家模型 (Mixture of Experts, MoE) ,即將大模型拆解為多個「專家」,針對不同問題僅喚醒相關的部分參數,可發揮寶貴AI算力的最大效益,真正讓「桌面級設備具備接近資料中心的推理效能」成為可能。

值得一提,當兩台Dell Pro Max with GB10 透過 ConnectX-7 互連後,可共同執行高達 4050 億參數級別的 AI 模型開發與微調。這代表過去只能在雲端與資料中心完成AI模型訓練工作,也能在桌上型裝置中輕鬆執行,讓開發者以最簡單方式,即可取得具備接近超級電腦級的 AI 運算效能。

填補 AI 算真空 縮短 AI 概念驗證時間

Dell Pro Max with GB10 方案並非要取代雲端平台,而是填補目前「雲端」與「一般 PC」之間的算力真空帶,讓更多產業與用戶享受到生成式 AI 帶來的多項優點。首先,開發團隊可透過此方案縮短 AI 概念開發時間,如先在本地端進行快速試錯,進行模型架構的驗證與對比,免去等待公司的伺服器資源,也無需支付雲端費用,可大幅縮短開發週期。

其次,在醫療影像、智慧工廠或零售分析中,由於資料往往涉及隱私或需要毫秒級的低延遲,Dell Pro Max with GB10 小巧體積能輕鬆嵌入設備或機櫃中,直接在地端處理資料,確保資料安全與即時性。第三點,企業可在方案上部署經過微調的私有大語言模型,結合 RAG(檢索增強生成)技術,建立內部的 AI 知識庫助手。最後,Dell Pro Max with GB10 的統一記憶體架構,特別適合處理金融、保險業龐大的結構化資料,能加速資料預處理流程。

林佩儀指出,Dell Pro Max with GB10 方案並非要取代 Dell Precision 工作站,而適合四大族群與情境使用,第一類是專注於 Python、PyTorch、Hugging Face 模型開發AI 工程師/資料科學家。第二類則是習慣在 Ubuntu 環境下工作的Linux 使用者。第三類則可透過網路連接筆電、桌機作為「外掛算力大腦」,甚至嵌入邊緣設備。最後,對於需執行 70B~200B 參數的 AI 模型微調或推理服務,相較於傳統需使用 3 張 NVIDIA L20 GPU 卡的伺服器而言,一台 Dell Pro Max with GB10 設備僅需 240W,且可放置於一般辦公環境中,無需機房與精密空調,每年可省下非常可觀的電力支出與機房維護費用。

Dell Pro Max with GB10 重新定義企業取得 AI 算力的方式,讓微調大模型、部署私有 AI 助手等工作,從中大型公司的專利變成中小企業也能啟動的轉型之旅,使 AI 能力真正走入日常業務流程,加速企業運用AI勾勒數位轉型藍圖的願景。

 

熱門新聞

Advertisement