arxiv.org·2026/10/26
针对高质量灵巧操作演示的瓶颈,DexPort 用同一 20-DoF Wuji 手-相机模块作为手持采集端和部署端,记录腕部轨迹、命令关节目标与测量状态,并通过拇指、power/pinch/two-finger 抓取及仿真 PPO 学到的掌内旋转等参数化技能,使操作者不必逐关节控制。在实验室和野外无机械臂或外部跟踪设施采集 2,500+ 条演示后,用行为克隆训练扩散策略直接预测腕部姿态和手关节目标,不依赖技能标签。在抓放、旋拧、开抽屉收纳、双臂扫码任务中验证了不同灵巧行为;以命令目标为标签的策略平均成功率从状态标签基线的 11% 提升到 64%,野外数据协同训练进一步改善未见物体和干扰场景。采集吞吐约为遥操作的 1.4 倍。局限是设备重量限制长时间和旋转动作,技能库只覆盖部分灵巧行为。
为什么重要 对具身数据闭环:采集既不依赖机械臂,又记录手的命令目标而非状态反推,直接消除 retargeting 与接触期动作真值偏差,适合规模化野外采集。适合 适合做具身数据采集、模仿学习与灵巧手策略落地的工程师。
收集高质量演示仍然是学习灵巧操作的核心瓶颈。遥操作记录可执行的机器人动作,但它需要完整的机器人设置,并将协调许多手指关节的负担放在操作员身上。人类演示更容易收集,但它们的运动必须被估计并重定向到机器人,并且它们不直接提供机器人动作。本文介绍了 DexPort,一种用于高 DoF 机器人手的便携式数据采集接口。它在采集和部署中使用相同的手部硬件,避免了手部 embodiment gap,并记录命令关节目标和测量关节状态。
我们的关键观察是,一小套技能可以支持广泛的灵巧任务。在采集过程中,操作员移动手持接口以指定机器人手腕运动,并选择或调整协调手指运动的技能。这消除了独立控制每个关节的需要,同时保留了精确抓取和手中操作等行为。我们在多个真实世界任务和非结构化环境中收集演示,无需机器人臂。
然后我们使用行为克隆直接在记录的手腕运动和手部指令上训练视觉运动策略,不使用技能标签。我们在 4 个任务上进行评估:多样化物体的 pick-and-place、带手中工具使用的 screwing、需要同时抓取和拉动的 drawer stowage,以及一个 bimanual scanning task。我们使用便携设备收集超过 2,500 次演示,包括实验室和野外环境。在我们的任务中,我们观察到使用记录机器人命令而非状态时从 11% 提高到 64%,使用野外数据时任务成功率从 36% 提高到 78%。
Collecting high-quality demonstrations remains a central bottleneck for learning dexterous manipulation.
Teleoperation records executable robot actions, but it requires a complete robot setup and places the burden of coordinating many finger joints on the operator.
Human demonstrations are easier to collect, but their motions must be estimated and retargeted to the robot, and they do not directly provide robot actions.
In this paper, we introduce DexPort, a portable data-collection interface for high-DoF robot hands.
It uses the same hand hardware for collection and deployment, avoiding a hand embodiment gap, and records both commanded joint targets and measured joint states.
Our key observation is that a small set of skills can support a wide range of dexterous tasks.
During collection, the operator moves the hand-held interface to specify the robot wrist motion and selects or adjusts skills that coordinate the finger motion.
This removes the need to control each joint independently while retaining behaviors such as precise grasping and in-hand manipulation.
We collect demonstrations across several real-world tasks and in unstructured environments without a robot arm.
We then use behavior cloning to train visuomotor policies directly on the recorded wrist motions and hand commands, without skill labels.
We evaluate across 4 tasks: pick-and-place with diverse objects, screwing with in-hand tool use, drawer stowage which requires simultaneous grasp and pulling, and a bimanual scanning task.
We collect over 2,500 demonstrations with our portable device, in both laboratory and in-the-wild settings.
Across our tasks, we see an improvement from 11% to 64% when using recorded robot commands instead of states, and an improvement from 36% to 78% for task success when using in-the-wild data.
三任务平均
干扰物完整
未见物体完整
已见物体完整
注释 · 完整成功 vs 部分成功按任务阶段累计;前阶段失败则后续阶段不计成功。出自 §I / §IV-C
注释 · 同一单臂 Pick-and-Place 任务下连续操作 30 分钟;每种方式操作者均为专家级。出自 表 II / §IV-D



EVIDENCE / METHODS
表格
DexPort 是表中唯一同时具备 20-DoF、同手硬件与命令数据的便携接口
| 系统 | DoF | 重量 | 同手硬件 | 命令数据 |
|---|---|---|---|---|
| UMI | 1 | 780 g | ✓ | ✗ |
| DexUMI | 12/6 | 850 g | ✓ | ✗ |
| DEXOP | 12/9/7 | 1000 g | ✓ | ✗ |
| RealDexUMI | 6 | 680 g | ✓ | ✓ |
| DexPort | 20 | 955 g | ✓ | ✓ |
注释 · Same Emb. 表示采集与部署用同一手硬件;术语解释记录实际发送给机器人的命令目标,而非从未来状态反推的动作。 表示记录发送给手的命令目标。出自 表 I
原版排版与图表 · 手机无法内嵌时可在浏览器打开。PDF 插件内选文不能传给网页助手。