developer.nvidia.com·2026/10/16·Tanya Lenz
Meta发布面向智能体编码的Muse Spark Open，针对单次补全模型难以处理的规划、工具调用、子代理协调与自我纠错等场景，总参数816B、每token激活42B、1M token上下文窗口可容纳整个项目，靠稀疏混合专家路由压低成本，并通过多模态感知编码器原生统一处理文本、图像、视频、音频。它基于NVIDIA GB300 NVL72训练，官方称运行智能体负载时每GPU最高50K tokens/s、每用户最高600 tokens/s；NVFP4检查点利用Blackwell Ultra原生FP4张量核缩减全部参数显存，为长上下文并发会话保留更大KV缓存。部署可用SGLang、vLLM、TensorRT LLM，Dynamo做预填充/解码分离与KV缓存路由；也可用NeMo AutoModel做SFT或LoRA微调，或经Megatron Bridge转换检查点，再从Hugging Face下载权重或经NIM单命令部署生产。
为什么重要 长周期 agentic coding 团队需重新评估部署方案：1M 上下文可省去分块管线，NVFP4 与 Dynamo 决定单卡吞吐和单 token 成本适合 做推理部署、微调数据管线与 agent 平台的工程团队
| 对比项 | 之前 / 基线 | 现在 / 本方案 | |
|---|---|---|---|
| 单次生成 | 稠密模型端到端补全 | 稀疏 MoE 42B/816B 激活官方称服务成本低于同规模稠密模型 | |
| 上下文处理 | 拆分任务分块喂入 | 1M tokens 整仓输入 | |
| 后训练 | 需先转换 HF 权重 | NeMo AutoModel 零转换生产规模再转 Megatron | |
| 显存 | 816B 参数原始精度 | NVFP4 checkpoint释放显存用于更大 KV cache |
Meta 推出 Muse Spark Open，这是一个面向代码优化的 816B 混合专家（MoE）模型，具有 42B 激活参数和 1M token 上下文窗口。在……上进行了训练。
Meta launches Muse Spark Open, a coding-optimized 816B mixture-of-experts (MoE) model with 42B active parameters and a 1M token context window. Trained on...
EVIDENCE / METHODS
要点
Meta 发布面向 agentic coding 的 Muse Spark Open，总参 816B，每 token 激活 42B。