英伟达开源 Nemotron 3 Ultra:MoE+Mamba-2 混合架构,5500 亿参数

智东西 / NVIDIA Blog · 28天前

2026 年 7 月 9 日,英伟达开源 Nemotron 3 Ultra,定位企业级高性能基础模型。该模型采用 MoE 与 Mamba-2 状态空间模型混合架构,总参数 5500 亿,在保持长序列建模能力的同时显著降低注意力机制的计算开销,最高支持 100 万 token 上下文。

Nemotron 3 Ultra 面向推理、编程与 Agent 任务优化,开放权重可在自建算力上微调与部署。英伟达称,混合架构让模型在超长文档、代码库与多轮工具调用场景中兼顾吞吐与成本,并可作为专用小模型的教师模型进行蒸馏,帮助企业在数据合规前提下构建私有化 AI 能力。

分享:

📰 相关资讯