nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16

NVIDIA 开源 120B-A12B 视觉语言模型 BF16 版，支持 1M tokens 上下文，可商用定制

NVIDIA 发布 Nemotron 3.5 Super VL 的 BF16 全精度版，面向推理、编码、工具调用与文档视频理解，总参数 120B、激活 12B，混合 MoE 加 C-RADIO 视觉编码器，上下文最长 1M token，MTP 支持原生投机解码。训练经 MTP 预训练与蒸馏、长上下文和代码 mid-training、视觉语言训练、两阶段 SFT、RLHF 蒸馏及 MTP boosting 六阶段。官方报告 GPQA-Diamond 89.52、LiveCodeBench v6 88.22，对比 Qwen、DeepSeek 等基线，覆盖推理、编码、工具与视觉任务。输入文本、jpeg/png 图像和 mp4 视频，输出文本；部署用 vLLM 或 SGLang 于 H100/GB200，OpenAI 兼容接口，推理强度可调。BF16 面向定制与全精度评估，OpenMDW-1.1 许可允许商用或非商用。

1. 1120B 总参仅 12B 激活，支持 1M 上下文
2. 2部署需 4×H100 或 2×GB200，原生 MTP 投机解码
3. 3官方称 GPQA 领先，但 HLE/SWE-bench 落后竞品

为什么重要　适合做全精度评估、领域适配和量化变体开发；部署门槛为 H100/GB200，部分基准落后直接竞品适合　视觉语言模型全精度评估、领域微调或量化变体团队（有 H100/GB200）

来源

huggingface.co

发布

2026/10/12

作者

nvidia