数据源与状态仍在导航菜单中
arxiv.org·2026/10/19
针对flow-matching VLA(如 π0.5)迭代去噪中动作专家被反复评估而成为延迟瓶颈的问题,MambaAct保留 π0.5 预训练视觉语言前缀,仅用四块Mamba动作专家替换Transformer动作专家,并引入Context Compressor把VLM前缀压缩成门控FiLM条件,避免每步token级交叉注意力,动作专家参数量约缩小10×。在LIBERO四套件、LIBERO-Plus与两个真实UR5任务上评估,并做消融、VLM深度减少组合及SmolVLA迁移。相较 π0.5 基线,LIBERO平均成功率提高1.08个百分点,去噪延迟降低64.8%;真实世界去噪降低58.8%且OOD成功率提升,LIBERO-Plus总体略超基线;迁移到SmolVLA同样有效。代码与权重已公开,局限是真实任务仅两个UR5场景,与视觉token修剪、去噪步压缩的兼容性未评估,门控条件与状态动态分析留待未来。
为什么重要 对做流匹配 VLA 实时控制的人:动作专家在 10 步去噪中反复执行,压缩它能直接降低 E2E 延迟,且不牺牲甚至提升成功率。适合 做 VLA / flow-matching 实时控制、机器人动作生成与推理延迟优化的工程师和研究者
视觉-语言-动作 (VLA) 模型在通用机器人操作方面展现出强大的前景,但其推理成本仍然是实时控制的主要瓶颈。这一限制在诸如 π0.5 这样的流匹配 VLA 中尤为明显,因为在迭代去噪过程中,动作专家会被反复评估。我们提出了 MambaAct,一个面向流匹配 VLA 策略的高效 Mamba 动作专家。
MambaAct 保留了 π0.5 的预训练视觉-语言前缀编码器,同时将其基于 transformer 的动作专家替换为一个紧凑的基于 Mamba 的动作专家。在该专家内部,Mamba 作为动作混合器,对含噪声的连续动作序列中的依赖关系进行建模。
为了在不进行重复的 token 级交叉注意力的情况下保持视觉-语言条件化,MambaAct 使用一个轻量级的 Context Compressor 将视觉-语言模型 (VLM) 前缀 token 映射为一个紧凑的条件信号,该信号对每个 Mamba 动作块进行门控和调制。
MambaAct 使用的动作专家小 10×,在 LIBERO 上将流匹配去噪延迟降低 64.8%,在真实世界部署中降低 58.8%,同时在三个独立的微调种子上将 LIBERO 平均成功率提高 1.08 个百分点,并在 LIBERO-Plus 和真实世界基准上保持增益。我们的代码和模型权重已在 https://github.com/giakhuyendihoc/MambaAct 公开提供。
Vision-language-action (VLA) models have shown strong promise for generalist robotic manipulation, but their inference cost remains a major bottleneck for real-time control.
This limitation is especially pronounced in flow-matching VLAs such as π0.5, where the action expert is evaluated repeatedly during iterative denoising.
We introduce MambaAct, an efficient Mamba action expert for flow-matching VLA policies.
MambaAct retains the pretrained visual-language prefix encoder of π0.5, while replacing its transformer-based action expert with a compact Mamba-based action expert.
Within this expert, Mamba serves as the action mixer that models dependencies across the noisy continuous-action sequence.
To preserve visual-language conditioning without repeated token-level cross-attention, MambaAct uses a lightweight Context Compressor to map Vision-language model (VLM) prefix tokens into a compact conditioning signal that gates and modulates each Mamba action block.
MambaAct uses a 10× smaller action expert and reduces flow-matching denoising latency by 64.8% on LIBERO and 58.8% in real-world deployment, while improving mean LIBERO success by 1.08 percentage points across three independent fine-tuning seeds and maintaining gains on LIBERO-Plus and real-world benchmarks.
Our code and model weights are publicly available at https://github.com/giakhuyendihoc/MambaAct.
π0.5去噪占比
SmolVLA去噪占比
MambaAct Plus
π0.5 Plus
注释 ·


EVIDENCE / METHODS
表格
MambaAct 平均成功 97.80%,去噪延迟从 160.26ms 降到 56.40ms
| 指标 | π0.5 | MambaAct |
|---|---|---|
| Spatial | 98.00±0.43 | 98.73±0.34 |
| Object | 98.33±0.66 | 99.60±0.43 |
| Goal | 97.73±0.84 | 98.60±0.28 |
| L-10 | 92.80±0.43 | 94.27±1.52 |
| 平均成功率 | 96.72±0.14 | 97.80±0.43 |
| 去噪延迟 (ms) | 160.26 | 56.40 |
| E2E 延迟 (ms) | 228.6 | 107.6 |
注释 · 成功率是 3 个 fine-tuning seed 的均值±标准差;延迟为 seed 42 在 H100 上测得。出自 表 I
原版排版与图表 · 手机无法内嵌时可在浏览器打开。PDF 插件内选文不能传给网页助手。