AI 研究助理

基于站内最新资料,回答 AI 前沿问题

回答带出处引用,支持多轮追问,当前页面内容会作为上下文

快速响应
AI 前沿跟踪
今日首页重点内容GitHub 趋势榜
领域
学术研究
大模型
具身智能
AI 基础设施
智能体 · Skill · MCP
机器人
多模态
自动驾驶
数据 / MLOps
AI 硬件
安全对齐
综述与报告
论文具身智能重点具身智能世界模型跨本体数据集

Ropedia W0: Scaling Loco-Manipulation World Models across Embodiments with Human Experience

查看原文(PDF)
AI 解读已生成 · AI 生成,数字以原文为准
AI 全文总结值得深入基于论文全文 5.7 万字 · 完整阅读

发布Ropedia W0:首个跨本体运动-操作世界模型,10k h 人类+3k h 机器人数据

Ropedia W0 是作者报告的首个跨人类与机器人具身的自我中心世界模型,以统一条件接口预测移动与操作:相机位姿编码为 Plücker 射线图,操作编码为投影运动学骨架,机器人骨骼融合 URDF 正向运动学与人工关键点标注校正。训练语料 Xp-Data 整合多源人类与机器人数据,含约 10k 小时自我中心人类视频和 3k 小时机器人视频,并统一几何、运动学、语义标注与质量检查;另发布人形机器人长时程遥操作基准 Xp-Teleop。模型基于 Wan2.2 视频扩散主干构建稠密与 MoE 规模,先人类预训练再人机混合中训,在 DreamDojo、Ψ0​、ω-HOME、Xp-Teleop、AgiBot 等基准的零样本、少样本与全数据后训练中均优于 DreamDojo 与 Cosmos3 等基线,扩展人类预训练数据会改善人类视频和机器人迁移。蒸馏后学生以 21.3fps 实时生成分钟级交互;下游还用于策略评估、基于模型的规划与世界-动作建模,初始化 FastWAM 使 LIBERO-Plus 成功率从 50.06% 提高到 56.82%。

  1. 1首个统一 ego 世界模型,相机位姿+投影骨架跨人/机器人
  2. 2人类预训练可迁移:1% 数据即超官方 base 100% PSNR
  3. 3蒸馏 4 步学生 21.3fps,支持 Quest3 实时遥操作

为什么重要 对关注具身数据闭环的团队,它给出人机统一相机位姿+骨架接口、数据QC、蒸馏实时化的完整配方适合 关注世界模型、跨本体迁移与具身数据管线的研究员/工程师

来源
arxiv.org
发布
2026/10/20

中文(AI 翻译)

世界模型使具身智能体能够预判行动的后果,然而由于异构的动作空间和有限的多模态监督,跨多样具身形态对移动与操作进行联合建模仍然具有挑战性。我们提出 Ropedia W0,这是首个以自我为中心的移动-操作(loco-manipulation)世界基础模型,涵盖人类和具有多样具身形态的机器人。

我们精心整理了 Xp-Data,其中包含 10k 小时的以自我为中心的人类数据和 3k 小时的机器人数据,并配有统一的多模态标注和系统化的质量控制。一种统一的运动学表示通过相机位姿编码移动,通过投影骨架编码操作,其中机器人骨架将特定具身形态的正向运动学与大量人工关键点标注和校正相结合。

我们还引入了 Xp-Teleop,一个基于高质量灵巧人形机器人遥操作数据的长时程移动-操作基准。评估结果表明,该模型在五个跨具身形态基准(DreamDojo、Ψ0​、ω-HOME、Xp-Teleop 和 AgiBot)以及留出的以自我为中心的人类视频上均取得了最先进的性能,涵盖从零样本推理到少样本和全数据后训练。扩展人类预训练数据可同时提升在人类和机器人评估上的性能。

经过蒸馏后,我们的模型支持实时、分钟级的 rollout,从而实现实时 VR 交互。在策略评估、基于模型的规划和世界-行动建模中的应用进一步展示了该模型对具身决策的实用性。

原文

World models enable embodied agents to anticipate action consequences, yet jointly modeling locomotion and manipulation across diverse embodiments remains challenging due to heterogeneous action spaces and limited multimodal supervision.

We present Ropedia W0, the first egocentric loco-manipulation world foundation model spanning humans and robots with diverse embodiments.

We curate Xp-Data, comprising 10k hours of egocentric human data and 3k hours of robot data with unified multimodal annotations and systematic quality control.

A unified kinematic representation encodes locomotion through camera poses and manipulation through projected skeletons, with robot skeletons combining embodiment-specific forward kinematics with extensive manual keypoint annotation and correction.

We also introduce Xp-Teleop, a long-horizon loco-manipulation benchmark based on high-quality dexterous humanoid teleoperation data.

Evaluations demonstrate state-of-the-art performance across five cross-embodiment benchmarks (DreamDojo, Ψ0​, ω-HOME, Xp-Teleop, and AgiBot) and on held-out human egocentric video, from zero-shot inference to few-shot and full-data post-training.

Scaling human pre-training data improves performance on both human and robot evaluations. After distillation, our model supports real-time, minute-long rollouts, enabling live VR interaction.

Applications in policy evaluation, model-based planning, and world-action modeling further demonstrate the model's utility for embodied decision-making.

  • 跨本体单检查点
    2.2 dB
  • AgiBot 分布内
    2.3 dB
  • Ψ0 零样本
    2.1 dB
  • ω-HOME 零样本
    1.7 dB
  • 术语解释27 段约 1 小时 G1+Inspire 灵巧手遥操作基准,含深度/IMU/触觉/语言同步模态。 零样本
    1.4 dB

注释 · 单位 dB;增量逐字来自 §6.3 模型缩放段。出自 §6.3 模型缩放

-3.8dB

去骨架 A14B

-1.8dB

去骨架 5B

-0.3dB

去相机 A14B均

-0.1dB

去相机 5B均

-1.3dB

去相机移动视角

注释 · 去相机在六类无视角变化本体上影响小,移动视角掉 1.3 dB。出自 §6.3, Table S6

Figure 2 呈现五阶段构建:14 个人类公开集、13 个机器人公开集与 6,000 h 自采四相机,经 VLM 过滤与三层标注后切成统一 81 帧 640×480@16fps clip。
Figure 4 呈现模型:相机轨迹编码为 Plücker-ray 图、手/灵巧手用投影骨架,均以加性投影注入视频扩散 Transformer 输出未来帧。
Figure 10 展示 world-action 真机四个时序关键帧对,并报 G1 任务进度 Ropedia 初始化 56.7% vs FastWAM 33.3%。
人类数据
10k h
机器人数据
3k h
训练片段
81帧 640×480 16fps
模型规模
5B / A14B(≈27B总)
蒸馏帧率
21.3fps 单GPU

深度总结

1 / 6
数据闭环启示· 判断

统一相机位姿+投影骨架接口让人类与机器人数据进入同一条预测流,人工修正 FK 是数据质量命门

判断

Xp-Data 把 14 个人类公开集、6,000 h 自采四相机和 13 个机器人公开集统一成相机轨迹+投影骨架+三层 caption;直接 URDF FK 会 misalign,靠手工图像空间关键点标注/纠偏,双检测器交叉验证。评测 术语解释27 段约 1 小时 G1+Inspire 灵巧手遥操作基准,含深度/IMU/触觉/语言同步模态。 保留失败 grasp/recovery,27 takes/约1h/543 片段/30 技能。部署侧蒸馏到 4 步学生 21.3fps 才上 Quest 3 实时 VR 与真机规划。启示:跨本体数据可用性取决于统一 schema,而非终端动作格式。

注释 · 具身数据闭环关注采集-标注-训练-评测-部署;本工作把五阶段都显式化。出自 §3, §6.4