arxiv.org·2026/09/30·Qize Yu / Lianrui Fan 等
GroundingPI针对VLA与世界动作模型依赖通用视觉语言骨干、在密集场景和小目标上难以精确定位的问题,提出4B级grounding基础模型。它把点、框等视觉原语量化成共享词表中的坐标,通过多模态与空间预训练、监督微调及GRPO强化学习,并结合公开数据与多教师数据引擎训练。评测覆盖检测、指代、点选、OCR、GUI、文档版式与空间任务,作者报告在多项基准上的平均得分73.68%,超过更大的Astra;固定Action DiT、动作数据与训练预算后,它作为视觉骨干迁移到nuScenes轨迹预测和机器人操作,相较最强对比基线最高提升24.8%,开环平均误差0.296 m,并在分布外设置全部领先。消融显示预训练规模、密集grounding和OCR监督对下游驾驶与操作有益,但论文未验证闭环控制与真实部署。
为什么重要 为 VLA/WAM 提供感知更强的轻量 backbone,在准确度与数据效率上超越更大模型,可直接替换视觉骨干。适合 做 VLA/WAM 感知与下游动作学习、关注数据效率的机器人/自驾工程研究员。
精确定位(grounding)至关重要。它指明哪个物体是目标以及该物体位于何处,即使在杂乱场景中以及对于微小物体也是如此,并且它必须足够快以支持闭环控制。然而,视觉-语言-动作(VLA)模型和世界-动作模型(WAM)的感知取自通用的视觉-语言和视频生成骨干网络,而这些骨干网络在这些场景下仍然会失败。
我们引入了 GroundingPI,一个 4B 的定位基础模型,它以共享词表中的量化坐标形式生成点和框。训练结合了多模态与空间预训练、监督微调以及使用 GRPO 的强化学习,并利用来自公开数据集和专用数据引擎的监督。
面对横跨 34 个定位基准、涵盖 11 种感知能力的 44 个基线,GroundingPI 确立了新的最先进水平,平均达到 73.68%,高于规模更大的 GPT-6 Astra(71.54%)。作为下游的视觉骨干网络,GroundingPI 提升了机器人操作和自动驾驶上的性能。
在 RoboTwin 2.0 上,它在全部四个分布外设置中都优于我们评估的每一个主流骨干网络,相对于最强的骨干网络最多高出 24.8%。在 RoboCasa-GR1 上,使用 50% 演示数据训练的 GroundingPI 优于那些使用 75% 演示数据训练的基线。
在 nuScenes 上,作为视觉骨干网络使用的 GroundingPI 取得了 0.296 m 的平均开环 L2 误差。我们系统地从规模和数据构成两个角度分析了 GroundingPI 的预训练。随着预训练规模的扩大,下游的自动驾驶和机器人操作性能随之提升。在这 11 种感知能力上对数据配方的分析表明,密集定位对两者都有显著的益处,而 OCR 则具有作为感知学习催化剂的潜力。
这些结果支持将定位作为感知基础,并将专门的感知预训练作为物理智能基础模型的一个有前景的方向。
Precise grounding matters. It specifies which object is the target and where that object is, even in clutter and for tiny objects, and it has to be fast enough for closed-loop control.
Yet vision-language-action (VLA) and world-action models (WAMs) take perception from general-purpose vision-language and video-generation backbones, which still fail in these settings.
We introduce GroundingPI, a 4B grounding foundation model that generates points and boxes as quantized coordinates in a shared vocabulary.
Training combines multimodal and spatial pretraining, supervised fine-tuning, and reinforcement learning with GRPO, using supervision from public datasets and dedicated data engines.
Against 44 baselines across 34 grounding benchmarks spanning 11 perceptual capabilities, GroundingPI establishes a new state of the art, averaging 73.68%, above the larger GPT-6 Astra (71.54%).
As a downstream visual backbone, GroundingPI improves performance on robotic manipulation and autonomous driving.
On RoboTwin 2.0, it outperforms every mainstream backbone we evaluate in all four out-of-distribution settings, by up to 24.8% relative to the strongest backbone.
On RoboCasa-GR1, GroundingPI trained with 50% of the demonstrations outperforms those baselines trained with 75%.
On nuScenes, used as the visual backbone, GroundingPI attains an average open-loop L2 error of 0.296 m. We systematically analyze GroundingPI's pretraining in scale and data composition.
Downstream autonomous driving and robotic manipulation improve as the pretraining is scaled.
Analyzing the data recipe across these 11 perceptual capabilities shows dense grounding's substantial benefits for both, and OCR's potential as a catalyst for perceptual learning.
These results support grounding as a perceptual foundation, and dedicated perceptual pretraining as a promising direction for foundation models of physical intelligence.



EVIDENCE / METHODS
要点
通用 VL 骨干在稠密场景、微小目标上缺乏精确 grounding,感知成瓶颈
原版排版与图表 · 手机无法内嵌时可在浏览器打开。PDF 插件内选文不能传给网页助手。