人机协同装配遮挡下的人体姿态估计-度量科技

浙江大学机械工程学院研究团队在中科院一区期刊Robotics and Computer-Integrated Manufacturing发表论文 “A deep learning-enabled visual-inertial fusion method for human pose estimation in occluded human-robot collaborative assembly scenarios”。

图1.png

该研究聚焦以人为核心的智能制造场景，提出了一种基于视觉-惯性融合的人体姿态估计方法，以降低工业环境中遮挡对人体姿态估计的影响。NOKOV度量动作捕捉系统为研究提供人体姿态真值，助力验证本文方法。

图8.png

与最新方法相比，本文提出的人体姿态估计（HPE）方法在公共数据集和自定义数据集上均展现出更高的准确性，并在遮挡场景中表现出鲁棒性。本文贡献总结如下：

1、提出了一种新型的基于视觉-惯性融合的 HPE 方法，适用于遮挡人机协作（HRC）场景，使用一个 RGB 相机和稀疏 IMUs 作为输入，平衡了算法性能和操作人员舒适度。
2、设计了一种基于特定部位的跨模态变换器融合块，整合不同模态的空间特征，促进数据融合。
3、a. 在两个公共数据集和一个合成遮挡数据集上进行的实验，证明了本文方法的竞争力和遮挡鲁棒性。b. 开发了一个包含视频、IMU 和 3D 真值标注的 HRC 装配过程 HPE 数据集，用于验证应用性能。

本文通过一系列实验验证了基于视觉-惯性融合的人体姿态估计（HPE）方法在不同场景下的性能和鲁棒性。在构建自定义数据集时，利用NOKOV度量光学动作捕捉系统获取高精度的真值数据，以评估本文方法的准确性（图9、10、11）。

图10.png

NOKOV度量动作捕捉系统提供高精度人体姿态真值，助力验证本文方法。

作者简介：
王柏村（通讯作者），浙江大学机械工程学院副院长、百人计划研究员、博士生导师；
宋词，浙江大学机械工程学院博士研究生；

李兴宇，普渡大学工程技术学院助理教授；
周慧颖，浙江大学机械工程学院博士研究生；
杨华勇，中国工程院院士、浙江大学工学部主任、机械工程学院教授、博士生导师；
王力翚，加拿大工程院院士、瑞典皇家理工学院可持续制造学教授及系主任。

微创手术如何让连续体机器人"全身跟着路径走"？东南大学团队TASE 同心管机器人曲率域连续转向方法研究

东南大学宋爱国、朱利丰教授团队TASE 2025 论文提出同心管机器人曲率域连续转向方法，让刚度主导型同心管机器人沿复杂自由曲线持续逼近目标路径。物理实验中 NOKOV 度量动作捕捉完成机械臂与支气管解剖模型的相对位姿标定，把仿真规划和真实世界数据对齐。

AAV 集群如何在复杂环境中自适应围捕多个目标？

国防科技大学 IEEE RA-L 论文案例：DB-PGM 让 AAV 集群无需预定义编队和显式通信，即可在障碍物环境中自适应围捕多个目标，多架无人机在目标运动、障碍物和个体故障同时存在时，仍能保持协同，并通过NOKOV度量动作捕捉系统进行位姿跟踪完成真实飞行闭环验证。

IEEE RA-L | 机载RGB实现水下目标主动跟踪，动捕支持AUV闭环验证

哈工深国际人工智能研究院胡靓教授团队在IEEE RA-L上提出 UTracker 水下目标主动跟踪框架，仅凭机载 RGB 图像生成局部航点。NOKOV度量水下动作捕捉系统实时提供 AUV 位姿，用于将局部航点转换至全局坐标，并通过 MAVROS 转化为控制指令发送至 AUV 自动驾驶仪执行，支持真实水池闭环运行与 Sim-to-Real 验证。

叠衣服过程中的手部精细操作数据采集，NOKOV度量动作捕捉系统实时追踪

通过NOKOV度量动作捕捉系统实时追踪叠衣服过程中双手的手部精细动作。操作者佩戴设置反光标记点的手套，在布置光学动作捕捉相机的场地中采集高精度手部动作数据，为精细操作、机器人操作研究及动作数据采集提供支持。

人机协同装配 遮挡下的人体姿态估计