Nvidia公布Nemotron 3系列、Nano版先問世

Nvidia昨（15）日宣布最新一代Nemotron 3開放模型家族，包含Nano、Super和Ultra三個版本，以及相關工具和資料集，強調採用新混合專家(MoE)架構準確率更高，協助開發代理式AI應用程式。

Nvidia強調Nemotron 3家族為開發特化型代理式AI應用而設計。新一代模型主打整合了雜糅式Mamba-Transformer混合專家（hybrid mixture-of-experts，MoE）架構、互動環境中的強化式學習（reinforcement learning，RL）及原生100萬token脈絡長度的能力，可支援多代理人應用程式執行高傳輸率、長視野（long-horizon）推理。Nvidia也開放了模型權重、資料集、訓練方法及框架。

Nvidia指出，使用創新的雜糅式Mamba-Transformer架構，使Nemotron 3具備100萬token的脈絡長度，得以支援大型程式庫、超長文件、長對話以及整合各處擷取而來的內容，使模型第一次能像人類專家一樣，在完整資料的狀態下，持續、連貫推理，而不再像以前靠切碎、拼湊、反覆遺忘來完成。

技術特性而言，Mamba層擅長追蹤長程相依性，但只有很少的記憶使用量，在處理數十萬token仍具有高效能，適合長文本推理與序列建模。Transformer模型層則輔之以詳細注意力機制，可捕捉程式操作、數學推理和複雜模等任務需要的結構及邏輯關係。而MoE則可在不增加密集運算成本的情況下有效計算參數，有助提升大規模運算效率。

Nemotron 3在後訓練階段，於NeMo Gym使用強化式學習，以評估及強化其執行包含一系列行為的真實代理人行為時，如呼叫正確工具、撰寫功能程式碼及生成多部份規劃的能力。

Nemotron 3家族中，Nano為300億參數小模型，可一次啟動最多30億參數高效執行特定任務，強調低運算成本且高效。Super為近1000億參數的高準確率推理模型，一個token可啟動最多100億參數，適合多代理人應用。Ultra則為約5000億參數的大型推理引擎，單一token可啟動500億參數，能支援需要深度研究和策略規劃的高複雜性AI應用。

最小的Nemotron 3 Nano今天已經在Hugging Face問世，是為軟體除錯、內容摘錄重點、AI助理工作流程及資訊擷取等任務最佳化。Nemotron 3 Nano每秒執行token傳輸量是前代Nano模型的4倍，而推理token生成數減少最高60%，大幅降低推論成本。100萬token的脈絡長度，使其更準確串連多步驟任務的資訊。

Nvidia聲稱其Nemotron 3 Nano版本在多項測試中，優於Qwen3-30B及GPT-OSS-20B。