清华叉院RA-L：动态抓握场景下视觉-触觉结合的物体6D位姿跟踪

在机器人操作任务中，精准的物体6D位姿跟踪至关重要，尤其是在复杂的组装场景中，比如插销装配。然而，传统的视觉跟踪方法往往因遮挡和视觉信息噪声而受限，特别是在机器人手部操作的场景中。

清华大学交叉信息研究院弋力老师团队在RA-L发表了一篇题为《Enhancing Generalizable 6D Pose Tracking of an In-Hand Object With Tactile Sensing》的文章，提出一种结合视觉与触觉信号的新型方法——TEG-Track，通过触觉增强显著提升通用物体6D位姿跟踪的性能，且构建了首个在真实场景下具有完整标注的视觉-触觉结合的手中物体位姿跟踪数据集。数据采集系统包含NOKOV度量动作捕捉系统。

代码和数据集：https://github.com/leolyliu/TEG-Track

文章链接：https://ieeexplore.ieee.org/document/10333330/

引用格式

Y. Liu et al., "Enhancing Generalizable 6D Pose Tracking of an In-Hand Object With Tactile Sensing," in IEEE Robotics and Automation Letters, vol. 9, no. 2, pp. 1106-1113, Feb. 2024, doi: 10.1109/LRA.2023.3337690.

研究背景

机器人操作的可靠性依赖对手中物体运动状态的精准感知。现有的6D位姿跟踪方法通常依赖于RGB-D视觉数据，在面对遮挡、环境碰撞等场景时性能下降。相比之下，触觉传感器可以直接感知接触区域的几何和运动信息，为跟踪带来额外的辅助信号。

系统框架

TEG-Track的核心在于利用触觉运动学线索，通过几何运动优化策略增强视觉姿态跟踪器。

数据集

合成数据集包含了从ShapeNet数据集中选择的不同几何形状的物体实例，而真实世界数据集则包含了200个视频，涵盖了5类17个不同物体。数据采集系统由机械臂、触觉传感器、RGB-D传感器、NOKOV度量动作捕捉系统及物体构成。

实验结果

实验比较了TEG-Track在基于关键点（BundleTrack）、基于回归（CAPTRA）和基于模板（ShapeAlign）三种视觉跟踪器上的性能提升。结果表明，在真实数据中，TEG-Track将平均旋转误差降低21.4%，平移误差降低30.9%。

真实数据长距离轨迹的定性结果。红框和绿框分别表示手中物体的预测姿态和真实姿态。

通过对触觉噪声模式的模拟，验证了TEG-Track在不同质量触觉信号下的表现，结果显示其比仅依赖触觉或视觉的基线方法更为稳定，有较好的鲁棒性。

TEG-Track在多帧优化情况下达到了20帧/秒的处理速度，额外计算成本较低，适合实时应用。

NOKOV度量动作捕捉系统用于获取物体的真实位姿信息，用于与预测位姿进行比较。

AAV 集群如何在复杂环境中自适应围捕多个目标？

国防科技大学 IEEE RA-L 论文案例：DB-PGM 让 AAV 集群无需预定义编队和显式通信，即可在障碍物环境中自适应围捕多个目标，多架无人机在目标运动、障碍物和个体故障同时存在时，仍能保持协同，并通过NOKOV度量动作捕捉系统进行位姿跟踪完成真实飞行闭环验证。

IEEE RA-L | 机载RGB实现水下目标主动跟踪，动捕支持AUV闭环验证

哈工深国际人工智能研究院胡靓教授团队在IEEE RA-L上提出 UTracker 水下目标主动跟踪框架，仅凭机载 RGB 图像生成局部航点。NOKOV度量水下动作捕捉系统实时提供 AUV 位姿，用于将局部航点转换至全局坐标，并通过 MAVROS 转化为控制指令发送至 AUV 自动驾驶仪执行，支持真实水池闭环运行与 Sim-to-Real 验证。

叠衣服过程中的手部精细操作数据采集，NOKOV度量动作捕捉系统实时追踪

通过NOKOV度量动作捕捉系统实时追踪叠衣服过程中双手的手部精细动作。操作者佩戴设置反光标记点的手套，在布置光学动作捕捉相机的场地中采集高精度手部动作数据，为精细操作、机器人操作研究及动作数据采集提供支持。

6mm可变长度仿蚯蚓连续体机器人：动捕记录末端三维坐标与书写轨迹

中国地质大学（武汉）人工智能与自动化学院孟庆鑫教授团队提出一种直径为6 mm、具有柔顺驱动力的三节段可变长度仿蚯蚓连续体机器人。实验平台部署NOKOV度量动作捕捉系统，反光标记点粘贴于机器人末端，用于实时输出末端高精度三维坐标数据，验证和评估机器人性能，并记录书写任务中的末端运动轨迹。