人机协同装配遮挡下的人体姿态估计-度量科技

浙江大学机械工程学院研究团队在中科院一区期刊Robotics and Computer-Integrated Manufacturing发表论文 “A deep learning-enabled visual-inertial fusion method for human pose estimation in occluded human-robot collaborative assembly scenarios”。

图1.png

该研究聚焦以人为核心的智能制造场景，提出了一种基于视觉-惯性融合的人体姿态估计方法，以降低工业环境中遮挡对人体姿态估计的影响。NOKOV度量动作捕捉系统为研究提供人体姿态真值，助力验证本文方法。

图8.png

与最新方法相比，本文提出的人体姿态估计（HPE）方法在公共数据集和自定义数据集上均展现出更高的准确性，并在遮挡场景中表现出鲁棒性。本文贡献总结如下：

1、提出了一种新型的基于视觉-惯性融合的 HPE 方法，适用于遮挡人机协作（HRC）场景，使用一个 RGB 相机和稀疏 IMUs 作为输入，平衡了算法性能和操作人员舒适度。
2、设计了一种基于特定部位的跨模态变换器融合块，整合不同模态的空间特征，促进数据融合。
3、a. 在两个公共数据集和一个合成遮挡数据集上进行的实验，证明了本文方法的竞争力和遮挡鲁棒性。b. 开发了一个包含视频、IMU 和 3D 真值标注的 HRC 装配过程 HPE 数据集，用于验证应用性能。

本文通过一系列实验验证了基于视觉-惯性融合的人体姿态估计（HPE）方法在不同场景下的性能和鲁棒性。在构建自定义数据集时，利用NOKOV度量光学动作捕捉系统获取高精度的真值数据，以评估本文方法的准确性（图9、10、11）。

图10.png

NOKOV度量动作捕捉系统提供高精度人体姿态真值，助力验证本文方法。

作者简介：
王柏村（通讯作者），浙江大学机械工程学院副院长、百人计划研究员、博士生导师；
宋词，浙江大学机械工程学院博士研究生；

李兴宇，普渡大学工程技术学院助理教授；
周慧颖，浙江大学机械工程学院博士研究生；
杨华勇，中国工程院院士、浙江大学工学部主任、机械工程学院教授、博士生导师；
王力翚，加拿大工程院院士、瑞典皇家理工学院可持续制造学教授及系主任。

Science Robotics丨人形机器人踢足球：依靠机载视觉学习反应式足球技能

清华大学赵明国研究员团队团队在Science Robotics发表人形机器人视觉踢球研究，通过强化学习实现反应式足球技能。NOKOV度量动作捕捉系统采集人体踢球动作及机器人、足球位置真值，为AMP参考运动数据和虚拟感知系统建模提供数据支持。

山东大学T-ASE研究：动作捕捉系统采集人类示范数据，DM-KMP与多智能体强化学习实现五指灵巧手协同抓取

山东大学控制科学与工程学院李可教授团队提出了面向仿人五指灵巧手抓取的统一学习框架。该研究将人类示范轨迹生成与多智能体强化学习相结合：NOKOV度量动作捕捉系统用于采集自然五指抓取运动，DM-KMP从有限示范中生成期望关节轨迹，PWS-MADDPG进一步学习多指协同抓取策略。研究结果显示PWS-MADDPG 在 11 类物体上的平均抓取成功率为 85.48%。

仿生五自由度折纸脊柱外骨骼：三维运动数据验证运动透明性

合肥工业大学、西安电子科技大学、英国提赛德大学和香港理工大学研究团队提出仿生五自由度折纸机构，并据此开发主动式折纸脊柱辅助外骨骼OSAE，用于在对称和非对称举升中适应人体脊柱运动并提供辅助。研究团队使用NOKOV度量动作捕捉系统采集受试者上半身三维运动数据，比较穿戴与未穿戴OSAE时前屈、侧屈和轴向旋转的躯干活动范围，验证OSAE系统的运动透明性。

珠宝VR交互教学：动作捕捉支持3D模型旋转、缩放与场景切换

NOKOV度量动捕助力深圳市含道映物科技有限公司为深圳技师学院珠宝学院打造定制化VR教学系统。动作捕捉系统实时追踪操作手柄的运动，为大屏中的3D珠宝模型提供交互输入，支持模型旋转、缩放、视角查看和场景切换。

人机协同装配 遮挡下的人体姿态估计