论文具身智能VLAMoE机器人操作开源

SmolVLA-MoE: Sparse Mixture-of-Experts for Efficient Multi-Task Robotic Manipulation

AI 解读已生成 · AI 生成，数字以原文为准

AI 全文总结值得深入基于论文全文 3.8 万字 · 完整阅读

SmolVLA-MoE 用 500M 激活参数在 LIBERO 四套件平均 84.25%，超过 SmolVLA 与 OpenVLA-7B

针对轻量VLA模型SmolVLA单一dense action expert限制多任务能力的问题，作者提出SmolVLA-MoE：将action expert的dense FFN替换为MoE-FFN，token经router做稀疏选择、由多个并行expert FFN处理，并加入shared expert以可调权重继承预训练能力；用Sparse Upcycling初始化并施加负载均衡损失。在LIBERO的Spatial、Object、Goal与组合套件上与SmolVLA、OpenVLA-7B等对比，推理总激活参数约500M（存储约800M）。实验平均成功率达84.25%，超过SmolVLA的82.75%和OpenVLA-7B的76.5%；提升主要来自目标与组合套件，空间和物体套件持平，仅更大规模的 $π 0$ 更高。消融表明较少专家激活优于较多专家，提高共享专家权重更优；去掉共享专家或负载均衡损失使目标套件成绩明显下降。结论是在不增加推理成本下扩展多任务容量，代码已公开，局限为仅在LIBERO仿真评估。

1Action Expert 密集 FFN 换成 MoE-FFN，激活约 100M
2四套件平均 84.25%，比 SmolVLA 高 1.5 点
3Top-1 路由 + $α = 0.3$ 最优，负载均衡提升 Goal

为什么重要　给出在轻量 VLA 上以稀疏 MoE 扩容量而不增推理预算的具体做法，含完整超参和消融，便于小模型具身策略工程化复用。适合　做 VLA、多任务机器人策略、轻量模型部署与 MoE 工程化的人

来源: arxiv.org
发布: 2026/10/23

中文（AI 翻译）

视觉-语言-动作（VLA）模型通过利用视觉和语言理解来生成动作，在多任务机器人操作中已显示出有前景的结果。然而，现有的轻量级 VLA 模型采用单一的稠密动作专家来处理所有任务，这在受限的计算预算下限制了其多任务能力。为解决这一问题，我们提出 SmolVLA-MoE，一种新颖的框架，将稀疏 Mixture-of-Experts（MoE）引入 VLA 模型中动作专家的 FFN 层。

SmolVLA-MoE 用多个并行的专家 FFN 和一个 token 级路由器替换稠密 FFN 层，使每个 token 能够自适应地选择最合适的专家来生成动作。我们进一步引入一个带有可调权重参数的共享专家，以平衡预训练能力的继承和任务特定的专家专业化。通过稀疏激活，SmolVLA-MoE 在推理过程中仅激活单个专家 FFN，包括冻结的 VLM 主干在内的总激活参数约为 500M，同时受益于约 800M 的总存储参数。

我们在 LIBERO 基准的四个任务套件上评估了我们的方法。SmolVLA-MoE 实现了 84.25% 的平均成功率，优于 SmolVLA 的 82.75% 和 OpenVLA-7B 的 76.5%，同时保持相当的推理效率。我们的代码在 https://github.com/dudu435/smolvla-moe 公开可用。

原文

Vision-Language-Action (VLA) models have shown promising results in multi-task robotic manipulation by leveraging visual and language understanding for action generation.

However, existing lightweight VLA models employ a single dense action expert to handle all tasks, which limits their multi-task capability under constrained computational budgets.

To address this issue, we propose SmolVLA-MoE, a novel framework that introduces sparse Mixture-of-Experts (MoE) into the FFN layers of the action expert in VLA models.

SmolVLA-MoE replaces dense FFN layers with multiple parallel expert FFNs and a token-level router, enabling each token to adaptively select the most suitable expert for action generation.

We further introduce a shared expert with a tunable weight parameter to balance the inheritance of pre-trained capabilities and task-specific expert specialization.

Through sparse activation, SmolVLA-MoE activates only a single expert FFN during inference, with a total activated parameter count of approximately 500M including the frozen VLM backbone, while benefiting from approximately 800M total stored parameters.

We evaluate our method on four task suites of the LIBERO benchmark.

SmolVLA-MoE achieves an average success rate of 84.25%, outperforming SmolVLA (82.75%) and OpenVLA-7B (76.5%), while maintaining comparable inference efficiency.

Our code is publicly available at https://github.com/dudu435/smolvla-moe.

Diffusion
72.4%
Octo
75.1%
OpenVLA-7B
76.5%
$π 0$ Pali 3B
71.8%
$π 0$ 3.3B
86.0%
SmolVLA
82.75%
SmolVLA-MoE
84.25%

注释 · 成功率是相同评测协议下 10 rollouts 平均； $π 0$ 3.3B 仍以 86.0 领先但激活参数约 6.6 倍。出自 §4.2 Table 1

93%

有共享专家

88%

无共享专家

93%

有负载均衡

90%

无负载均衡

注释 · 两个机制分别在目标推理上验证，均为单机仿真结果。出自 Tables 3-4

展示输入经冻结 VLM 编码后，Action Expert 每层用 MoE-FFN（共享专家+路由专家+router+scaling adapter）替代 dense FFN，每 token 只激活 K 个专家。

各方法四个 suite 成功率柱状图，黑框标 SmolVLA-MoE；Spatial 87、Object 93、Goal 93、LIBERO-10 65，Goal 比 SmolVLA 高 5 点。

$Top - K \times α$ 热力图，粗体为各 suite 最优； $Top - 1 + α = 0.3$ 总体最佳，Goal 93、LIBERO-10 65。

路由专家数: 4 routed + 1 shared
VLM骨干: SmolVLM2-500M 冻结
评估基准: LIBERO 4 套件
代码: github.com/dudu435/smolvla-moe

深度总结

1 / 6

88%

四套件关键对比· 表格

Goal 从 SmolVLA 的 88% 增至 93%，LIBERO-10 增 2 点

方法	Spatial	Object	Goal	LIBERO-10
SmolVLA-MoE (Ours)	87	93	93	65
SmolVLA	87	93	88	63
OpenVLA 7B	84.7	88.4	79.2	53.7
$π 0$ 3.3B	90	86	95	73
Diffusion Policy 321M	78.3	92.5	68.3	50.5

注释 · Spatial/Object 与 SmolVLA 持平； $π 0$ 3.3B 在 LIBERO-10 为 73，本方法 65，差距最大。出自 Table 1

SmolVLA-MoE 用 500M 激活参数在 LIBERO 四套件平均 84.25%，超过 SmolVLA 与 OpenVLA-7B

π 0

更高。消融表明较少专家激活优于较多专家，提高共享专家权重更优；去掉共享专家或负载均衡损失使目标套件成绩明显下降。结论是在不增加推理成本下扩展多任务容量，代码已公开，局限为仅在LIBERO仿真评估。

1Action Expert 密集 FFN 换成 MoE-FFN，激活约 100M

2四套件平均 84.25%，比 SmolVLA 高 1.5 点

3Top-1 路由 +

α = 0.3

最优，负载均衡提升 Goal

来源

arxiv.org

发布

2026/10/23

中文（AI 翻译）

原文

Vision-Language-Action (VLA) models have shown promising results in multi-task robotic manipulation by leveraging visual and language understanding for action generation.

However, existing lightweight VLA models employ a single dense action expert to handle all tasks, which limits their multi-task capability under constrained computational budgets.

To address this issue, we propose SmolVLA-MoE, a novel framework that introduces sparse Mixture-of-Experts (MoE) into the FFN layers of the action expert in VLA models.

SmolVLA-MoE replaces dense FFN layers with multiple parallel expert FFNs and a token-level router, enabling each token to adaptively select the most suitable expert for action generation.

We further introduce a shared expert with a tunable weight parameter to balance the inheritance of pre-trained capabilities and task-specific expert specialization.

We evaluate our method on four task suites of the LIBERO benchmark.

SmolVLA-MoE achieves an average success rate of 84.25%, outperforming SmolVLA (82.75%) and OpenVLA-7B (76.5%), while maintaining comparable inference efficiency.

Our code is publicly available at https://github.com/dudu435/smolvla-moe.

方法

Spatial

Object

Goal

LIBERO-10

SmolVLA-MoE (Ours)

SmolVLA

OpenVLA 7B

84.7

88.4

79.2

53.7

π 0

3.3B

Diffusion Policy 321M

78.3

92.5

68.3

50.5

SmolVLA-MoE: Sparse Mixture-of-Experts for Efficient Multi-Task Robotic Manipulation

SmolVLA-MoE 用 500M 激活参数在 LIBERO 四套件平均 84.25%，超过 SmolVLA 与 OpenVLA-7B

摘要

中文（AI 翻译）

原文

各方法平均成功率

共享专家与负载均衡取舍

核心图文

SmolVLA-MoE 系统架构

关键规格

深度总结

SmolVLA-MoE: Sparse Mixture-of-Experts for Efficient Multi-Task Robotic Manipulation

SmolVLA-MoE 用 500M 激活参数在 LIBERO 四套件平均 84.25%，超过 SmolVLA 与 OpenVLA-7B

摘要

中文（AI 翻译）

原文

各方法平均成功率

共享专家与负载均衡取舍

核心图文

SmolVLA-MoE 系统架构

关键规格

深度总结