IEEE T-RO 软体机器人手指状态估计实现两栖触觉传感

南方科技大学戴建生院士和林间院士团队近期在IEEE T-RO上发表了关于软体机器人手指在两栖环境中本体感知方法的论文。

近日，南方科技大学戴建生院士和林间院士团队在机器人顶刊IEEE T-RO上以《Proprioceptive State Estimation for Amphibious Tactile Sensing》为题发表论文，该论文被EI收录。研究提出了一种基于视觉的本体感知方法，通过结合内置的高帧率相机和软手指的体积离散化模型，能够实时且高保真地估计软体机器人手指的状态。NOKOV度量动作捕捉系统及外部触觉设备验证了本文方法的精度，结果表明该精度目前处于行业领先。此外，本文方法在陆地和水下两栖环境中均展现出鲁棒性。

引用格式：

N. Guo et al., "Proprioceptive State Estimation for Amphibious Tactile Sensing," in IEEE Transactions on Robotics, vol. 40, pp. 4684-4698, 2024, doi: 10.1109/TRO.2024.3463509.

研究背景： 

软体机器人本体感知状态估计（PropSE）的主要方式包括：点式传感、生物启发式稀疏传感阵列和视觉触觉密集图像传感。视觉触觉传感是一种新兴的方法，利用现代成像技术追踪软介质的变形，以提高感测分辨率。然而，这种方法面临诸多挑战，包括在水下环境中的视觉传感困难、软体机器人的高计算成本限制实时感知、以及在两栖环境中的传感器适应性和校准问题。此外，软体机器人的柔性和可变形性使得传统的位置和姿态传感技术难以应用，特别是在动态交互和不同介质间过渡时。因此，开发适应两栖应用的触觉传感方法是一项挑战。

本文贡献：

本文提出了一种新型的基于视觉的本体感知方法，用于软体机器人手指在陆地和水下环境中的触觉交互估计与重建。该系统利用独特的超材料结构和高帧率相机，实时捕获手指变形，通过体积离散化模型和几何约束优化估计变形形状，在陆地和水下环境中均具有高精度和鲁棒性。

实验及结果：

1、实验准备：构建软体机器人手指，集成高帧率相机，并采用体积离散化模型来模拟手指的变形。

2、基准测试及精度验证：使用NOKOV度量动作捕捉系统和触觉设备对本文方法进行了基准测试，结果显示本文方法精度处于行业领先，手指整体变形估计的中值误差为1.96毫米，占手指长度的2.1%。

3.浊度基准测试：在不同浊度条件下测试了视觉系统的识别能力，结果表明在0至40 NTU浊度范围内，系统能够实现100%的标记识别成功率，通过图像增强技术可将识别阈值提高至100 NTU。

4、形状重建：利用软手指进行水下物体形状重建实验，展示了该方法在局部表面形状重建上的有效性。

5、水下ROV抓取实验：将软手指安装在水下遥控机器人上，验证了该方法在实际水下操作中的有效性。

实验结果证实本文方法的准确性和鲁棒性，并展示了其在两栖环境中的应用潜力。 

NOKOV度量动作捕捉系统助力验证了本文提出的本体感知状态估计方法的精度，最终结果表明该精度目前处于行业领先。