数据源与状态仍在导航菜单中
arxiv.org·2026/10/23
机器人基础模型评测依赖昂贵闭环 rollout,现有 VQA 或视频质量等离线代理只看感知或像素、不衡量动作;作者受 Platonic Representation Hypothesis 启发,提出训练无关离线指标 Sensorimotor Alignment (S2):在 DROID 与 BridgeDataV2 中,对每个 episode 取图像-文本特征为感觉表征、末端执行器未来 h 步位姿与夹爪为运动表征,以余弦距离和 DTW 构造 k 近邻并计算平均重叠 mNN,重叠越大表示感觉与运动几何越一致。在 VLA、原始 VLM、WAM 和真实机器人策略上,将 S2 与 SimplerEnv、RoboTwin 及实机成功率做皮尔逊相关,分别得到 r=+0.717、r=+0.681、r=+0.718 和 r=+0.831,且优于 VQA、FID/SSIM/PSNR 等指标;负控制中把双臂 WAM 放到单臂 DROID 会使相关大幅下降,说明指标对形态匹配敏感。S2 还解释既有闭环现象:精调 VLA 主要靠视觉而非文本特征驱动,冻结视觉编码器会削弱对齐并降低成功率,WAM 最早去噪步特征已与轨迹对齐且中深度块对齐最强。因此 S2 可作为闭环评测前的低成本模型筛选和诊断工具;局限是关系仅相关性、同值模型成功率仍可能不同,且覆盖家族与实机场景有限。
为什么重要 对具身模型选型/数据闭环工程:可在闭环保评测前用 DROID/BridgeDataV2 离线计算 S2 筛掉低潜模型,并提前识别 VLM 主干。适合 机器人基础模型评测、模型选型与表示学习工程读者,关注离线代理指标
机器人基础模型通常通过昂贵的闭环 rollout 进行评估,这促使人们寻找廉价的模型能力离线代理指标。Platonic Representation Hypothesis(PRH)提出,随着表征质量提升,视觉和语言等不同模态会向一个共享的现实统计模型收敛。我们探究运动轨迹是否构成另一种这样的模态:随着具身模型变得更强,它们的感觉表征是否应当收敛到物理运动的结构?
为此,我们提出 Sensorimotor Alignment(S2),这是一个无需训练的离线度量,用于衡量模型的感觉表征与物理运动几何学之间的对齐程度。我们发现 S2 与下游机器人任务成功率在多个具身模型家族中呈正相关,使其成为一个低成本离线代理指标,可用于在闭环评估前对模型进行优先级排序。
S2 还能在昂贵的微调成 vision-language-action models(VLA)之前识别出有潜力的 vision-language model(VLM)骨干。除这种相关性之外,S2 还为 VLA 和 world action models(WAM)中观察到的现象提供表示级解释。借助 S2,我们将 PRH 扩展到具身模型,并使感觉运动对齐可以被经验测量,为理解具身模型成功的原因提供了超越闭环成功率的洞察。
Robotic foundation models are typically evaluated through costly closed-loop rollouts, which motivates cheap offline proxies for model capability.
The Platonic Representation Hypothesis (PRH) suggests that as representations improve, different modalities such as vision and language converge toward a shared statistical model of reality.
We ask whether motion trajectories form another such modality: as embodied models become more capable, should their sensory representations converge toward the structure of physical motion?
To examine this, we propose Sensorimotor Alignment (S2), a training-free offline metric that measures how well a model's sensory representation aligns with the geometry of physical motion.
We find that S2 correlates positively with downstream robot task success across embodied model families, making it a low-cost offline proxy for prioritizing models before closed-loop evaluation. S2 can also identify promising vision-language model (VLM) backbones even before costly fine-tuning into vision-language-action models (VLAs).
Beyond this correlation, S2 offers representation-level explanations for phenomena observed in VLAs and world action models (WAMs).
With S2, we extend PRH to embodied models and make sensorimotor alignment empirically measurable, offering insight into why an embodied model succeeds beyond its closed-loop success rate.
12 个模型,CI [0.436,0.912]
raw VLM
8 个主干,p=0.031
6 个模型,p=0.054
真机策略
5 策略 40 任务,p=0.041
注释 · Pearson r;真机为 5 策略 40 任务。出自 §3.1 图3
注释 · FID 正相关但原文称质量越低成功率越高;VQA 几乎不相关。出自 §3.2 图4/图5


EVIDENCE / METHODS
表格
冻结视觉编码器同时拉低 S2 41% 与成功率 40%。
| 现象 | S2 证据 | 关键数字 |
|---|---|---|
| 成功主要与视觉特征相关,文本弱 | 视觉 r=+0.694,文本 r=+0.237 | |
| 冻结视觉编码器 | 端到端微调被阻断对齐 | S2 降 41%,成功率降 40% |
| 跳过迭代去噪 | 早期去噪特征已接近对齐 | 跨 3 模型最多变 6% |
| 中深层语义 | Block 14 对齐最强 | 30 块主干中最高 |
注释 · 每个现象有对应图:图8 模态、图9 冻结、图10 去噪与深度。出自 §4.1-4.4 图8-10
原版排版与图表 · 手机无法内嵌时可在浏览器打开。PDF 插件内选文不能传给网页助手。