arxiv.org·2026/10/21
为使开放模型的空间感知连接高层推理与物理动作,作者以 GPT-6 Astra 为参照:其具身操作虽强但精细定位与空间约束仍出错,于是构建统一数据管线,汇集三十余个机器人操作数据集及自视、物体中心和空间数据,自动标注机器人帧并转为可验证问答监督,用约150万样本微调 Qwen3.5-9B 单 epoch 得到 ACE-Brain-0.6。在公开 grounding 基准中作者报告四项超过 Astra,基准平均分 75.41 对 73.68,在自建 RobotGrounding 上也领先所有模型;固定配方下随覆盖扩展平均分近似对数线性上升,而仅增加既有源样本的控制运行提升不足一点,说明覆盖比重复规模更关键。剩余短板是枚举全部实例与空间约束放置,因2D自由空间监督不含三维可行性,下一步需补多实例目标与可行性感知放置数据。
为什么重要 给具身数据闭环一个完整范本:开源机器人录制自动转可验证监督,并用控制实验证明补覆盖优于加量。适合 具身智能数据闭环、机器人 VLM 微调方向的工程师与研究员
通用多模态模型(包括 GPT-6 Astra 和 Claude Opus 5.5)在具身操作中展现出广泛能力。我们的分析表明,这种通用性伴随着强空间感知,因为 Astra 能够在视觉干扰物中确定与任务相关实体的交互位置。由于空间感知将高层推理与物理场景连接起来,我们研究扩展视觉定位以增强通用具身操作的感知基础。
我们开发了一个统一的数据管线,将机器人操作记录与来自多样来源的互补视觉数据结合起来。在自动标注机器人记录后,该管线将收集的数据转换为可验证的定位监督。使用该管线产生的约 1.5 million 样本对 Qwen3.5-9B 进行微调,得到 ACE-Brain-0.6。
该模型在七个公开定位基准中的四个上优于 GPT-6 Astra,总体平均分为 75.41,而 Astra 为 73.68。在固定的 Qwen3.5-9B 微调设置下,随着连续数据发布扩大训练集合以覆盖更广泛的定位场景,聚合定位性能稳步提升。这些结果表明,从多样来源扩展可验证定位监督可以增强开放 9B 模型的空间感知,以支持通用具身操作。
General-purpose multimodal models, including GPT-6 Astra and Claude Opus 5.5, demonstrate broad capabilities in embodied manipulation.
Our analysis indicates that this generality is accompanied by strong spatial perception, as Astra can determine where to interact with task-relevant entities amid visual distractors.
Because spatial perception connects high-level reasoning to the physical scene, we investigate scaling visual grounding to strengthen the perceptual foundation of general embodied operation.
We develop a unified data pipeline that combines robot manipulation recordings with complementary visual data from diverse sources.
After automatically annotating the robot recordings, the pipeline converts the collected data into verifiable grounding supervision.
Fine-tuning Qwen3.5-9B on approximately 1.5 million samples produced by this pipeline yields ACE-Brain-0.6.
The model outperforms GPT-6 Astra on four of seven public grounding benchmarks, with an overall average score of 75.41 compared with Astra's 73.68.
Under a fixed Qwen3.5-9B fine-tuning setup, aggregate grounding performance improves steadily as successive data releases expand the training collection to cover a broader range of grounding scenarios.
These results show that scaling verifiable grounding supervision from diverse sources can strengthen the spatial perception of an open 9B model for general embodied operation.
术语解释Where2Place/PixMo-Count/RoboSpatial/RefSpatial/PointArena/RoboAfford/ShareRobot 七个公开基准的均分
Astra 73.68
自建基准
术语解释本文自建机器人场景基准:2,591 题、14 类型、held-out 真机帧人工标注框,按题型宏平均计分,Astra 91.10
对数斜率
每数据翻倍,r=0.99
QA 对
1.39M 独立图片
注释 · 术语解释Where2Place/PixMo-Count/RoboSpatial/RefSpatial/PointArena/RoboAfford/ShareRobot 七个公开基准的均分 为七公开基准官方指标均值;自建基准不并入出自 摘要 + Table 1
注释 · Embodied-R1.5 与 PhysBrain 为 8B 具身模型;闭源 Claude Opus 5.5 67.30、Gemini 4 Argon 65.55 更低出自 Table 1



EVIDENCE / METHODS
表格
7 项中 4 项胜 Astra;最大缺口 RefSpatial 71.84 对 80.14
| 基准 | ACE-Brain-0.6 | GPT-6 Astra | Qwen3.5-9B 基座 |
|---|---|---|---|
| Where2Place | 81.44 | 71.10 | 72.00 |
| PixMo-Count | 86.96 | 88.10 | 90.35 |
| RoboSpatial | 76.56 | 69.55 | 53.46 |
| RefSpatial | 71.84 | 80.14 | 57.76 |
| PointArena | 74.13 | 75.36 | 68.33 |
| RoboAfford | 88.14 | 84.94 | 78.65 |
| ShareRobot | 48.82 | 46.60 | 39.47 |
| 术语解释Where2Place/PixMo-Count/RoboSpatial/RefSpatial/PointArena/RoboAfford/ShareRobot 七个公开基准的均分 | 75.41 | 73.68 | 65.72 |
注释 · PixMo-Count 上基座 90.35 最高、微调无增益;RoboSpatial 全场最高是 Gemini 4 Argon 80.94出自 Table 1
原版排版与图表 · 手机无法内嵌时可在浏览器打开。PDF 插件内选文不能传给网页助手。