RA-L：动态抓握场景下视觉-触觉结合的物体6D位姿跟踪

在机器人操作任务中，精准的物体6D位姿跟踪至关重要，尤其是在复杂的组装场景中，比如插销装配。然而，传统的视觉跟踪方法往往因遮挡和视觉信息噪声而受限，特别是在机器人手部操作的场景中。

清华大学交叉信息研究院弋力老师团队在RA-L发表了一篇题为《Enhancing Generalizable 6D Pose Tracking of an In-Hand Object With Tactile Sensing》的文章，提出一种结合视觉与触觉信号的新型方法——TEG-Track，通过触觉增强显著提升通用物体6D位姿跟踪的性能，且构建了首个在真实场景下具有完整标注的视觉-触觉结合的手中物体位姿跟踪数据集。数据采集系统包含NOKOV度量动作捕捉系统。

代码和数据集：https://github.com/leolyliu/TEG-Track

文章链接：https://ieeexplore.ieee.org/document/10333330/ 

引用格式

Y. Liu et al., "Enhancing Generalizable 6D Pose Tracking of an In-Hand Object With Tactile Sensing," in IEEE Robotics and Automation Letters, vol. 9, no. 2, pp. 1106-1113, Feb. 2024, doi: 10.1109/LRA.2023.3337690.

研究背景 

机器人操作的可靠性依赖对手中物体运动状态的精准感知。现有的6D位姿跟踪方法通常依赖于RGB-D视觉数据，在面对遮挡、环境碰撞等场景时性能下降。相比之下，触觉传感器可以直接感知接触区域的几何和运动信息，为跟踪带来额外的辅助信号。

系统框架

 TEG-Track的核心在于利用触觉运动学线索，通过几何运动优化策略增强视觉姿态跟踪器。

数据集

合成数据集包含了从ShapeNet数据集中选择的不同几何形状的物体实例，而真实世界数据集则包含了200个视频，涵盖了5类17个不同物体。数据采集系统由机械臂、触觉传感器、RGB-D传感器、NOKOV度量动作捕捉系统及物体构成。

实验结果

实验比较了TEG-Track在基于关键点（BundleTrack）、基于回归（CAPTRA）和基于模板（ShapeAlign）三种视觉跟踪器上的性能提升。结果表明，在真实数据中，TEG-Track将平均旋转误差降低21.4%，平移误差降低30.9%。

真实数据长距离轨迹的定性结果。红框和绿框分别表示手中物体的预测姿态和真实姿态。

通过对触觉噪声模式的模拟，验证了TEG-Track在不同质量触觉信号下的表现，结果显示其比仅依赖触觉或视觉的基线方法更为稳定，有较好的鲁棒性。

TEG-Track在多帧优化情况下达到了20帧/秒的处理速度，额外计算成本较低，适合实时应用。

NOKOV度量动作捕捉系统用于获取物体的真实位姿信息，用于与预测位姿进行比较。