论文机器人重点双手操作灵巧手PPO机器人

DONIC: Generalist Dexterous Bimanual Tracking Control from Human Demonstrations

AI 解读已生成 · AI 生成，数字以原文为准

AI 全文总结值得深入基于论文全文 3.2 万字 · 完整阅读

DONIC 单 checkpoint 零微调，未知物体成功率 57.32%，超过基线 45.73 pp

针对现有灵巧跟踪多限单手、接触丰富的双手数据稀缺，作者提出 DONIC，首个跨操作类别与人体运动源联合训练的通用双手跟踪器，并配套 BiHOI 多视角双手交互数据集以强调持续双手接触。DONIC 在 PPO 与行为克隆的迭代反馈中复用经验证成功的执行，用 object-centered per-hand reward 在维持物体运动反馈时按参考接触角色监督每只手，并用 Clip-Centered Advantages 去除参考依赖优势偏移。单个 checkpoint 无需微调即在训练物体未见轨迹上取得 86.79% 成功率、在留出物体上取得 57.32%，分别比双手中最强基线 Dexplore-bi 高 77.36 和 45.73 个百分点；消融证实 CCA、接触门和 BiHOI 数据均带来增益。局限是评测限于仿真单物体交互、依赖重建与重定向参考，未来拟扩展长时程多物体和实物迁移。

1BiHOI：1,575 序列、229 物体，接触率 65.91%
2零微调：未知轨迹 86.79%、未知物体 57.32%
3unseen-traj 比 Dexplore-bi 高 77.36 pp

为什么重要　首个跨操作类别与人类数据源联合训练的双臂跟踪器，数据构建、奖励与优势设计可直接用于双臂灵巧操作工程。适合　做灵巧操作、双臂策略、人类演示数据重建与 RL 训练的工程师。

采集相机32 路 RGB

采集分辨率1920×1232

帧率30 fps

BiHOI 帧数≈1.60M

数据时长14.77 hours

来源: arxiv.org
发布: 2026/10/21
作者: Mingze Sun、Ziang Cao、Yuan Fei、Qiankuan Tao 等
社区投票: 132

中文（AI 翻译）

尽管近期在灵巧参考跟踪方面取得进展，现有模型主要关注单手操作和有限的交互范围，忽略了现实生活中常见的双手灵巧行为。接触丰富的双手操作数据稀缺，以及协调接触的复杂性增加，使得开发通才双手跟踪器尤为困难。因此，我们提出：1) DONIC，首个跨操作类别和人体运动源联合训练的通才双手跟踪器，以及 2) BiHOI，一个多视图数据集，包含 1,575 个序列，涵盖 229 个物体，并强调持续双手交互，其中重建的交互被重定向成机器人参考。DONIC 将近端策略优化与行为克隆结合在一个反馈循环中，将验证成功的执行回收到训练演示中。以物体为中心的每手奖励在根据每只手的参考接触角色进行监督的同时，保持物体运动反馈。Clip-Centered Advantages 移除了依赖参考的优势偏移，同时保留轨迹内的差异。这些设计共同使单一策略能够学习跨异构参考的协调操作。无需微调，单一检查点在训练物体的未见轨迹上实现 86.79% 成功率，在留出物体上实现 57.32%，超过最先进的双手跟踪基线 77.36 和 45.73 个百分点。

原文

Despite recent progress in dexterous reference tracking, existing models focus primarily on single-hand manipulation and a limited range of interactions, leaving the bimanual dexterous behaviors common in real life unaddressed.

The scarcity of contact-rich bimanual manipulation data and the increased complexity of coordinating contacts make developing a generalist bimanual tracker particularly challenging.

Therefore, we present 1) DONIC, the first generalist bimanual tracker jointly trained across operation categories and human-motion sources, together with 2) BiHOI, a multi-view dataset of 1,575 sequences spanning 229 objects and emphasizing sustained bimanual interaction, where reconstructed interactions are retargeted into robot references.

DONIC combines proximal policy optimization with behavioral cloning in a feedback loop that recycles verified successful executions into training demonstrations.

An object-centered per-hand reward maintains object-motion feedback while supervising each hand according to its reference contact role.

Clip-Centered Advantages remove reference-dependent advantage offsets while preserving within-trajectory differences.

Together, these designs enable one single policy to learn coordinated manipulation across heterogeneous references.

Without finetuning, a single checkpoint achieves 86.79% success on unseen trajectories of training objects and 57.32% on held-out objects, surpassing the state-of-the-art bimanual tracking baselines by 77.36 and 45.73 percentage points.

DexTrack-bi
0.00%
Dexplore-bi
9.43%
w/o
81.13%
w/o contact gate
81.13%
DONIC
86.79%
DONIC+
88.68%

注释 · 单一 checkpoint 跨两个 split 无需微调；同 split Comp 为 67.62%。出自表 2

双手同时接触率 65.91%，比最高公共子集 H2O 高 27.34 pp。

65.91%
H2O
38.57%
GigaHands
34.74%
GRAB
32.21%
OakInk2
24.97%
TACO
15.69%

注释 · 接触定义为双手同时接触帧除以至少一只手接触帧；HOI4D、HO-Cap 无数据。出自表 1

Overview：顶部 BiHOI 重建+重定向后与公开参考合并，中部共享双臂策略做 PPO+BC 迭代，底部奖励/CCA/BC 三种信号。

两条 held-out 物体轨迹定性对比：DONIC 双手协调贴近参考；Dexplore-bi 手有动作但物体移动少；DexTrack-bi 失去手-物对齐。

重建注释管线：SAM3 掩码、Depth Anything 3 深度、MV-SAM3D mesh、FoundationPose 6D、WiLoR+MANO 手部重建到联合细化。

深度总结

1 / 7

3.96 cm

DONIC 两 split 误差与完成率· 表格

unseen-traj 腕部平移误差 3.96 cm，unseen-obj 为 4.58 cm，均低于 Dexplore-bi。

指标	unseen-traj	unseen-obj
$T_{o}$ (cm)	10.27	15.74
$R_{o}$ (rad)	0.9277	1.1310
$T_{h}$ (cm)	3.96	4.58
$R_{h}$ (rad)	0.2905	0.3226
E_finger (rad)	0.0372	0.0373
Comp (%)	67.62	54.69

注释 · 旋转用 rad，平移用 cm；手指误差平均 20 个关节。出自表 2

DONIC 单 checkpoint 零微调，未知物体成功率 57.32%，超过基线 45.73 pp

1BiHOI：1,575 序列、229 物体，接触率 65.91%

2零微调：未知轨迹 86.79%、未知物体 57.32%

3unseen-traj 比 Dexplore-bi 高 77.36 pp

采集相机32 路 RGB

采集分辨率1920×1232

帧率30 fps

BiHOI 帧数≈1.60M

数据时长14.77 hours

来源

arxiv.org

发布

2026/10/21

作者

Mingze Sun、Ziang Cao、Yuan Fei、Qiankuan Tao 等

社区投票

132

中文（AI 翻译）

原文

The scarcity of contact-rich bimanual manipulation data and the increased complexity of coordinating contacts make developing a generalist bimanual tracker particularly challenging.

DONIC combines proximal policy optimization with behavioral cloning in a feedback loop that recycles verified successful executions into training demonstrations.

An object-centered per-hand reward maintains object-motion feedback while supervising each hand according to its reference contact role.

Clip-Centered Advantages remove reference-dependent advantage offsets while preserving within-trajectory differences.

Together, these designs enable one single policy to learn coordinated manipulation across heterogeneous references.

指标

unseen-traj

unseen-obj

T_{o}

(cm)

10.27

15.74

R_{o}

(rad)

0.9277

1.1310

T_{h}

(cm)

3.96

4.58

R_{h}

(rad)

0.2905

0.3226

E_finger (rad)

0.0372

0.0373

Comp (%)

67.62

54.69

DONIC: Generalist Dexterous Bimanual Tracking Control from Human Demonstrations

DONIC 单 checkpoint 零微调，未知物体成功率 57.32%，超过基线 45.73 pp

摘要

中文（AI 翻译）

原文

未知轨迹成功率对比

双手同时接触率对比

核心图文

数据构建与训练流程

深度总结

DONIC: Generalist Dexterous Bimanual Tracking Control from Human Demonstrations

DONIC 单 checkpoint 零微调，未知物体成功率 57.32%，超过基线 45.73 pp

摘要

中文（AI 翻译）

原文

未知轨迹成功率对比

双手同时接触率对比

核心图文

数据构建与训练流程

深度总结