宁波职业大学人形机器人 MuJoCo 仿真训练与遥操作｜NOKOV度量动作捕捉数据支持仿真训练与宇树G1遥操作

项目简介

宁波职业技术大学利用 NOKOV 度量动作捕捉系统与宇树 G1 人形机器人，开展 MuJoCo 仿真训练及真机遥操作实验。通过实时采集人体动作数据，实现人体动作向机器人动作的同步映射，可为人形机器人遥操作、模仿学习及控制算法验证提供实验支撑。

实验过程中，操作者穿戴带有反光标记点的动捕服，在实验空间内完成抬臂、展臂、挥手等动作。

部署于实验空间内的 NOKOV 度量动作捕捉系统实时采集人体运动数据，并输出高精度人体位姿信息，为机器人控制系统提供连续、稳定的运动输入。

在仿真训练阶段，NOKOV 度量动作捕捉系统输出的人体动作数据实时同步至 MuJoCo 仿真环境，驱动宇树 G1 人形机器人模型完成对应动作。

通过人体动作与机器人模型的实时映射，可对机器人控制策略进行快速验证，为后续算法训练与优化提供可靠的数据基础。

完成仿真验证后，同一套人体动作数据继续驱动真实宇树 G1 人形机器人。

操作者在实验空间内完成连续动作，机器人同步执行抬臂、挥手等动作，直观展示人体动作输入与机器人动作响应之间的实时交互效果。

本案例展示了 NOKOV 度量动作捕捉系统在人形机器人研究中的典型应用，包括：

相关技术可广泛应用于人形机器人遥操作、模仿学习、强化学习、机器人控制及实验验证等研究方向。

A3：NOKOV 度量动作捕捉系统实时采集人体动作数据，并将人体关节运动映射到机器人控制系统，实现机器人同步执行人体动作，可用于遥操作、动作复现及实验验证。

A2：动作捕捉能够提供高精度、低延迟的人体运动数据，为 MuJoCo 仿真环境中的机器人模型提供真实动作输入，用于控制算法开发、模仿学习和策略验证。

动作捕捉系统可高精度记录人体运动轨迹，为模仿学习提供高质量训练数据，帮助机器人学习人体动作，提高运动控制和任务执行能力。

南京大学LAMDA团队与星源智在协同跳绳展示中使用NOKOV度量动作捕捉系统，获取绳索标记点位置、人形机器人基座位姿及机器狗关键位置数据，为多机器人闭环协同提供实时状态反馈。

上海大学新闻传播学院采用NOKOV度量动作捕捉系统，结合面部捕捉设备，同步采集演员全身动作与面部表情数据，实现数字人动作与表情生动自然。

新加坡科技设计大学研究团队采用NOKOV度量户外动作捕捉镜头搭配防水罩，在真实环境测试中实现雨天与阳光条件下稳定采集高精度物体位姿数据。

在Davide Scaramuzza教授领导的苏黎世大学Robotics and Perception Group，NOKOV度量动作捕捉系统实时提供无人机位姿数据，用于无人机状态反馈。