arxiv.org·2026/10/23
针对多视角VLA静态融合导致的阶段-视图错位(策略在任务阶段间持续依赖腕部局部视图),FocusVLA在π0.5骨干上加入Future Intent Bridge与Action-Side Dynamic Routing:用多模态观测与动作历史预测未来交互意图,生成chunk级意图token及逐步routing权重,在动作生成侧动态融合全局/局部上下文,不改骨干。RoboTwin 2.0全任务评测平均成功率达76.92%,较最强基线π0.5提升10.10个百分点;真实世界操作任务成功率为85.0%,较π0.5高13.3个百分点。消融显示显式未来意图监督、逐步路由与chunk级意图条件互补,随机视图dropout不能替代。局限是未来意图仅为一种任务进展表示,后续可探索显式子目标与跨具身扩展。
为什么重要 为多视图 VLA 提供不改骨干的动作侧重路由;显式意图监督与意图 token 经消融证明缺一不可。适合 多视图 VLA、机器人操作的工程与数据人员。
视觉-语言-动作(VLA)模型通过统一视觉感知、语言理解和动作生成,已成为机器人操作的重要范式。由于可靠的操作需要充分观察物体、末端执行器及其空间关系,多视图输入被广泛用于提供互补的空间信息。
然而,我们的实验表明现有 VLA 模型并未充分利用这种多视图互补性。策略倾向于持续依赖腕部视图,缺乏在操作阶段之间动态调整全局-局部视图依赖的能力,这限制了阶段适应性和鲁棒性。
为了解决这一问题,我们提出 FocusVLA,一个阶段感知的多视图路由框架。FocusVLA 从历史动作中预测未来交互意图,并用其指导动作生成过程中的动态视图路由。通过在不同任务阶段自适应地协调全局和局部观测,FocusVLA 提高了多视图利用率。
在 RoboTwin 2.0 上,FocusVLA 相比最强基线 π0.5 将平均成功率提高了 10.10 pp。在真实世界评估中,FocusVLA 将成功率从 71.7% 提高到 85.0%,相比 π0.5 实现了 13.3% 的提升。此外,FocusVLA 的意图预测和动态路由模块可以在不修改其核心架构的情况下集成到现有 VLA 框架中。
Vision-language-action (VLA) models have become an important paradigm for robotic manipulation by unifying visual perception, language understanding, and action generation.
Since reliable manipulation requires sufficient observation of objects, end-effectors, and their spatial relationships, multi-view inputs are widely used to provide complementary spatial information.
However, our experiments show that existing VLA models do not fully exploit such multi-view complementarity.
The policy tends to persistently rely on the wrist view, lacking the ability to dynamically adjust global-local view dependency across manipulation stages, which limits stage adaptability and robustness.
To address this issue, we propose FocusVLA, a stage-aware multi-view routing framework.
FocusVLA predicts future interaction intent from historical actions and uses it to guide dynamic view routing during action generation.
By adaptively coordinating global and local observations across different task stages, FocusVLA improves multi-view utilization.
On RoboTwin 2.0, FocusVLA improves the average success rate over the strongest baseline π0.5 by 10.10 pp.
In real-world evaluation, FocusVLA improves the success rate from 71.7% to 85.0%, achieving a 13.3% gain over π0.5.
Moreover, the intent prediction and dynamic routing modules of FocusVLA can be integrated into existing VLA frameworks without modifying their core architectures.
仿真平均
FocusVLA 全 50 任务
最强基线
π0.5 全 50 任务
真机平均
FocusVLA 6 任务
消融 Full
9 任务×2 seeds
注释 · 原文报告的仿真与真机主结果,真机共 6 个任务。出自 Table 2 / §4.2
注释 · 9 任务、2 seeds、每任务每 seed 100 trials、20K steps;数值为原文报告。出自 Table 3


EVIDENCE / METHODS
表格
规划阶段 遮蔽局部视图 让成功率从 85.0% 跌至 20.0%。
| 模型 | 遮蔽方式 | 成功率 | ΔSR |
|---|---|---|---|
| Baseline | No Mask | 85.0% | – |
| Baseline | Mask Global @Planning | 65.0% | -20.0 pp |
| Baseline | Mask Local @Planning | 20.0% | -65.0 pp |
注释 · 在 Stack Blocks Three 上使用 π0.5 多视图基线,每设置 20 次 rollout。出自 Table 1 / §3.1
原版排版与图表 · 手机无法内嵌时可在浏览器打开。PDF 插件内选文不能传给网页助手。