多模态 / 模型
nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4
- 量化格式
- NVFP4；W4A4 Blackwell / W4A16 非Blackwell
- 模态
- 文本、图像、视频输入；文本输出
- 发布方
- NVIDIA
之前 / 基线现在 / 本方案
GPQA-Diamond官方称；量化后略升
BF16 89.52
NVFP4 89.90
LiveCodeBench v6官方称；降 0.81
BF16 88.22
NVFP4 87.41
SWE-bench Verified官方称；几乎持平
BF16 71.10
NVFP4 71.07
WebVoyager offline官方称；降 11.41
BF16 77.72
NVFP4 66.31
DeepSWE offline官方称；降 6.45
BF16 24.65
NVFP4 18.20
- 1设置模型与草稿模型变量$ export MODEL=nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4export DRAFT_MODEL=nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr
- 2启动 vLLM 服务（DGX Spark GB10）$ vllm serve $MODEL \--served-model-name nemotron-3.5-super-vl \--max-num-seqs 1 \--trust-remote-code \--gpu-memory-utilization 0.75 \--max-num-batched-tokens 8192 \--speculative_config.model $DRAFT_MODEL\--speculative_config.num_speculative_tokens 7 \--speculative_config.method dflash \--mamba-backend flashinfer \--mamba-ssm-cache-dtype float16 \--enable-mamba-cache
- 3验证服务端点$ curl --fail http://localhost:8000/v1/models
方法、结果与局限
1 / 5
要点
模型定位
120B 总参数、12B 激活参数的视觉语言模型，术语解释NVIDIA 的 4 位浮点量化精度，减少推理内存占用 量化版
- 120B 总参数、12B 激活参数的视觉语言模型，NVFP4 量化版
- 面向推理、编程、工具调用、文档与视频理解
- 输入文本、图像、视频，输出文本；可用于商业或非商业用途
- 许可证 OpenMDW-1.1