英偉達在人工智能領域再次投下重磅炸彈,正式推出專為大規模AI智能體設計的新一代開源模型——Nemotron 3 Super。這款擁有1200億參數的模型,在性能上直逼行業頂尖水平,其推理速度較前代提升3倍,吞吐量更是暴漲5倍,成為OpenClaw領域的又一強力競爭者。
Nemotron 3 Super采用創新的Mamba-MoE混合架構,有效解決了多智能體協同中的性能瓶頸問題。作為Nemotron 3家族的最新成員,該模型實現了三大技術突破:原生采用NVFP4精度進行預訓練,引入全新的LatentMoE混合專家架構,以及加入多Token預測(MTP)層。這些創新使得模型在單位算力和單位參數的準確率上達到極致優化。
在基準測試中,Nemotron 3 Super表現出色。在Pinchbench測試中穩居開源模型榜首,在OpenClaw任務成功率上達到85.6%,性能與Claude Opus 4.6、GPT-5.4等頂尖模型不相上下。更令人矚目的是,英偉達決定將超過10萬億Token的預訓練和后訓練數據集、完整訓練方法論,以及15個強化學習環境全部開源,供全球開發者使用。
針對多智能體應用面臨的兩大挑戰——上下文爆炸和"思考稅",Nemotron 3 Super提供了有效解決方案。該模型支持100萬token的上下文窗口,在OpenClaw環境下可完整保留工作流狀態,確保邏輯一致性。同時,通過創新的架構設計,大幅降低了多智能體應用的成本和延遲,使其更具實際部署價值。
在架構設計上,Nemotron 3 Super的88層網絡采用周期性交替排列,Mamba-2層與少量Transformer注意力層相結合,既保證了高效的序列建模,又實現了跨位置的長距離信息路由。這種設計使其吞吐量較前代提升5倍,準確率提升2倍,在輸入輸出序列較長時表現尤為突出。
LatentMoE架構的引入是該模型的另一大亮點。通過將Token從高維隱藏空間投射到低維潛在空間進行路由和計算,顯著減少了專家參數加載量和跨卡通信量。這種設計使得模型能夠在不增加推理成本的情況下,激活更多專家,從而提升準確率。英偉達官方表示,這種設計相當于"花1個專家的成本,激活4個專家"。
多Token預測(MTP)技術的加入,進一步提升了模型性能。與傳統單token預測不同,MTP要求模型在每個位置預測多個未來token,迫使其理解更復雜的因果關系和文本結構。這不僅提高了模型質量,還通過原生投機解碼大幅降低了生成延遲,且額外算力開銷極小。
預訓練階段,Nemotron 3 Super采用兩階段策略:第一階段使用20萬億token的多樣化數據,覆蓋網頁、代碼、數學、學術等多個領域;第二階段使用5萬億token的高質量數據,重點提升準確率。這種訓練方式使基礎模型在MMLU等基準測試中取得優異成績,超越同等規模的其他模型。
在后訓練方面,英偉達將重點放在提升AI智能體能力上。SFT階段使用超過700萬樣本、800億token的數據,其中Agent相關任務占比高達36%。RL階段則通過多環境訓練、軟件工程專項訓練、RLHF和MTP恢復四步走策略,顯著提升了模型在數學推理、長上下文處理和軟件工程等任務上的表現。
Nemotron 3 Super的高精度工具調用能力,為OpenClaw智能體在多個領域的應用開辟了新可能。在軟件開發中,AI可一次性加載整個代碼庫,實現端到端的代碼生成和調試;在財務分析領域,模型可直接處理數千頁報告,大幅提升工作效率。這種能力也使自主Agent在網絡安全等高風險環境中能夠更可靠地執行任務。
據悉,多家科技公司已開始將Nemotron 3 Super集成到自家產品中。Perplexity將其用于搜索服務,CodeRabbit等公司將其應用于軟件開發智能體,生命科學領域的Edison Scientific等機構則利用其進行深度文獻檢索和分子結構分析。有消息稱英偉達正在開發名為NemoClaw的開源AI智能體平臺,旨在為企業市場提供安全可靠的解決方案。











