论文机器人触觉传感视觉-触觉融合指尖传感器多模态

GelSlim 5.0: Unifying Vision and Touch with a Single Fingertip Camera

AI 解读已生成 · AI 生成，数字以原文为准

AI 全文总结值得深入基于论文全文 3.8 万字 · 完整阅读

单指尖相机用 UV 切换统一视觉与触觉，配对输入深度 MSE 降至 0.0066 $mm^{2}$

密歇根大学的 GelSlim 5.0 沿用 GelSlim 4.0 机身，以单相机和连续 UV 响应层切换照明，在同一视点顺序采得视觉与触觉图像，省去外参标定。其 VisTacFusion 以冻结 SITR 与 MAE 编码，视觉瓶颈条件化触觉查询预测平面位姿，另一路径保留触觉空间特征解码接触深度与法线，模态 dropout 支持单模态推理。在 12 个已知物体的真实数据上，双模态深度 MSE 降至 0.0066 $mm^{2}$ ，较该模型仅触觉下降 61.2%、较仅视觉下降 93.7%，角度误差 0.652°，五项指标均低于对比模型。消融选 SITR+MAE，真实-仿真共训练优于纯真实，耐久测试未见开裂或分层；局限是仅覆盖已知物体同会话，未量化滑动磨损与污染，后续需跨会话与膜形测量。

1单相机通过 UV 开关在同一视点获取视觉与触觉图像。
2配对输入比纯触觉角度误差降低 72.3%。
3模态 dropout 让同一模型支持 Vis/Tac/Both 输入。

为什么重要　省去多相机外参标定，并提供可单模态或配对推理的融合模型与共训配方，直接对应接触点被遮挡时的位姿与几何估计。适合　做视触觉传感器、灵巧操作与多模态数据闭环的机器人工程师和研究员。

来源: arxiv.org
发布: 2026/10/23

中文（AI 翻译）

视觉与触觉为物体位姿和局部接触几何提供互补线索，但外部相机经常在接触位置被遮挡。我们提出 GelSlim 5.0，一种指尖传感器，使用一个固定相机和一个连续 UV 响应接触层获取视觉与触觉观测。

通过切换照明，该相机从共享视角依次获取透膜视觉图像和接触敏感触觉图像，避免相机间外参标定。为融合这些观测，我们引入 VisTacFusion，一种多模态 transformer，为平面物体位姿和接触几何设置独立预测路径。非对称瓶颈融合纳入视觉上下文，同时保留触觉空间特征以用于深度和表面法向估计。

Modality dropout 支持使用成对输入或任一模态单独进行推理。在来自 12 个已知物体的真实验证数据上，成对输入相对同一模型的仅触觉推理，将深度 MSE、角度误差和位移 $L_{1}$ 分别降低 61.2%、72.3% 和 61.3%。相对仅视觉推理，相应降低分别为 93.7%、6.1% 和 8.6%。

原文

Vision and touch provide complementary cues for object pose and local contact geometry, but external cameras are often occluded at the contact site.

We present GelSlim 5.0, a fingertip sensor that acquires visual and tactile observations with one fixed camera and a continuous UV-responsive contact layer.

By switching illumination, the camera sequentially acquires through-membrane visual images and contact-sensitive tactile images from a shared viewpoint, avoiding inter-camera extrinsic calibration.

To combine these observations, we introduce VisTacFusion, a multimodal transformer with separate prediction paths for planar object pose and contact geometry.

Asymmetric bottleneck fusion incorporates visual context while preserving tactile spatial features for depth and surface-normal estimation.

Modality dropout enables inference with paired inputs or either modality alone.

On real validation data from 12 known objects, paired inputs reduce depth MSE, angular error, and translation $L_{1}$ by 61.2%, 72.3%, and 61.3%, respectively, relative to tactile-only inference with the same model.

Relative to visual-only inference, the corresponding reductions are 93.7%, 6.1%, and 8.6%.

在 Both 模式的最低值。

0.0066mm²

深度 MSE

0.0074

法向 MSE

0.0129

旋转 L1

0.652°

角误差

0.0053

平移 L1

注释 · 所有数值来自真实验证数据，模型权重在同一 checkpoint 下评估三种输入。出自表 II

深度 MSE 降幅
61.2%
角度误差降幅
72.3%
平移 L1 降幅
61.3%

注释 · 三个百分比均出自摘要并与表 II 的绝对值一致，仅配对与纯触觉对比。出自摘要/§V-B

爆炸装配显示 UV 响应膜位于接触界面；光照控制切换近距/触觉模式，原型比例尺 30mm。

VisTacFusion 架构：16 个视觉瓶颈 token 条件化姿态查询；几何路径保留 block 3/6/9/12 触觉图并用 DPT 解码。

真实验证预测：Vis-only 丢失 V 形与角点接触区，触觉恢复边界，配对输入还改善 Tac 的杆状深度轮廓。

外形尺寸: 83.6×22.1×35.1 mm
感应区直径: 30 mm
透明基底层: 5 mm
相机: Raspberry Pi 相机
触觉编码器: SITR-B/16
视觉编码器: MAE-L/16
输入分辨率: 224×224
膜材: 两层 Solaris 硅胶

深度总结

1 / 8

实验设置与训练配方· 参数清单

12 个物体、每个约 400 次接触，验证为每第 10 个样本留出且已知物体/同 session。

数据规模: 12 物体 × 约400 接触
机械臂: KUKA LBR Med R820
验证划分: 每第10样本留出
图像处理: crop 0.816 → 224×224；sim 1.15× zoom
优化器: AdamW 150 epochs, batch 32
学习率: $2 \times 1 0^{- 4}$ ；weight decay 0.05
预热/裁剪: 1000 warmup；grad clip 1.0
模态概率: Vis 0.05/Tac 0.25/Both 0.70
注入概率: =0.75
混合比: real:sim 1:1.27

注释 · 训练主 run 使用真-仿真共训与任务独立 checkpoint 选择。出自 §V-A

单指尖相机用 UV 切换统一视觉与触觉，配对输入深度 MSE 降至 0.0066 $mm^{2}$

1单相机通过 UV 开关在同一视点获取视觉与触觉图像。

2配对输入比纯触觉角度误差降低 72.3%。

3模态 dropout 让同一模型支持 Vis/Tac/Both 输入。

来源

arxiv.org

发布

2026/10/23

中文（AI 翻译）

原文

Vision and touch provide complementary cues for object pose and local contact geometry, but external cameras are often occluded at the contact site.

We present GelSlim 5.0, a fingertip sensor that acquires visual and tactile observations with one fixed camera and a continuous UV-responsive contact layer.

By switching illumination, the camera sequentially acquires through-membrane visual images and contact-sensitive tactile images from a shared viewpoint, avoiding inter-camera extrinsic calibration.

To combine these observations, we introduce VisTacFusion, a multimodal transformer with separate prediction paths for planar object pose and contact geometry.

Asymmetric bottleneck fusion incorporates visual context while preserving tactile spatial features for depth and surface-normal estimation.

Modality dropout enables inference with paired inputs or either modality alone.

Relative to visual-only inference, the corresponding reductions are 93.7%, 6.1%, and 8.6%.

GelSlim 5.0: Unifying Vision and Touch with a Single Fingertip Camera

单指尖相机用 UV 切换统一视觉与触觉，配对输入深度 MSE 降至 0.0066 $mm^{2}$

摘要

中文（AI 翻译）

原文

主结果：配对输入五项指标

配对相对纯触觉的误差降幅

核心图文

单相机视触觉采集与 VisTac

关键规格

深度总结

GelSlim 5.0: Unifying Vision and Touch with a Single Fingertip Camera

单指尖相机用 UV 切换统一视觉与触觉，配对输入深度 MSE 降至 0.0066 $mm^{2}$

摘要

中文（AI 翻译）

原文

主结果：配对输入五项指标

配对相对纯触觉的误差降幅

核心图文

单相机视触觉采集与 VisTac

关键规格

深度总结

单指尖相机用 UV 切换统一视觉与触觉，配对输入深度 MSE 降至 0.0066 mm2

摘要

中文（AI 翻译）

原文

主结果：配对输入五项指标

配对相对纯触觉的误差降幅

核心图文

单相机视触觉采集与 VisTac

关键规格

深度总结

单指尖相机用 UV 切换统一视觉与触觉，配对输入深度 MSE 降至 0.0066 mm2

摘要

中文（AI 翻译）

原文

主结果：配对输入五项指标

配对相对纯触觉的误差降幅

核心图文

单相机视触觉采集与 VisTac

关键规格

深度总结

单指尖相机用 UV 切换统一视觉与触觉，配对输入深度 MSE 降至 0.0066 $mm^{2}$

单指尖相机用 UV 切换统一视觉与触觉，配对输入深度 MSE 降至 0.0066 $mm^{2}$