基于关系图深度强化学习的机器人多目标包围问题新算法——中科院自动化所蒲志强教授团队

在多机器人系统的研究领域中，包围控制是一个重要的课题。其在民用和军事领域都有广泛的应用场景，包括协同护航、捕获敌方目标、侦察监视、无人水面舰艇巡逻狩猎等。

这些应用的核心问题是如何控制一个多机器人系统，涉及多目标分配，同时解决目标包围和避碰子问题。这是一个巨大的挑战，特别是对于分散的多机器人系统。

中国科学院自动化所蒲志强教授团队在2022年ICRA大会发表论文，提出了一种基于关系图的深度强化学习方法，对各种条件下的多目标避碰包围(MECA)问题具有良好的适应性。

论文检索页面

定义任务

该研究定义了一个MECA任务，即在具有L个静态障碍物(黑色圆圈)的环境中，由N个机器人(绿色圆圈)组成的多机器人系统，协同包围K (1 < K < N)个静止或运动的目标(红色圆圈)。

所有机器人需要自动形成多组，包围所有目标，每组需要形成圆形队形，包围一个独立的目标，同时避免碰撞。这涉及到以下三个子问题：

1) 动态多目标分配与分组

2) 每组分别包围目标

3) 相互之间避免碰撞

分散式多机器人系统的MECA图解

方法框架

在MECA问题中，存在三种类型的实体，即机器人、目标和障碍物。不同的实体对机器人有不同的影响关系，例如避障、包围目标、与其他机器人合作等。

研究提出了一种基于机器人级和目标级关系图(RGs)的DRL分散方法，命名为MECA-DRL-RG方法。

具体而言：

1. 利用图注意网络(GATs)对机器人级RGs进行建模和学习，该RGs由每个机器人与其他机器人、目标和障碍物之间的三个异构关系图组成。

2. 利用GAT构建目标级RG，构建机器人与各目标之间的空间关系。目标的运动由目标级RG建模，并通过监督学习进行学习，以预测目标的轨迹。

3. 此外，定义了一个知识嵌入式复合奖励函数，解决MECA中的多目标问题。采用基于集中式训练和去中心化执行框架的演员-评论家训练算法对策略网络进行训练。

MECA-DRL-RG方法的整体结构

实验验证

研究团队分别进行了仿真实验和真实环境实验。在真实实验中，情景设置为：6个机器人在有2个障碍物的环境中包围2个移动的目标。机器人的位置和速度数据由NOKOV度量动作捕捉系统提供。

6个机器人在有2个障碍物的环境中包围2个移动目标

仿真实验和真实实验都验证了，相比于其他方法，MECA-DRL-RG方法使机器人能够从周围环境中，学习异构空间关系图，并预测目标的轨迹，从而促进每个机器人对其周围环境的理解和预测。证实了MECA-DRL-RG方法的有效性。

并且，无论机器人、障碍物或目标的数量增加，抑或是目标的移动速度加快，MECA-DRL-RG方法都表现出良好的性能，具有广泛的适应性。

MECA-DRL-RG方法训练曲线

参考文献：

NOKOV度量动捕助力深圳市含道映物科技有限公司为深圳技师学院珠宝学院打造定制化VR教学系统。动作捕捉系统实时追踪操作手柄的运动，为大屏中的3D珠宝模型提供交互输入，支持模型旋转、缩放、视角查看和场景切换。

南方科技大学郭书祥院士团队提出 PIRNet框架，实现胶囊内镜5自由度实时磁定位，并将真实标定配置降至20%以下。NOKOV度量动作捕捉系统在体外、离体等可见实验条件下中提供环形磁体/微型胶囊目标的6自由度高精度位姿真值，助力评估 PIRNet 磁定位算法的精度与鲁棒性。

东南大学宋爱国、朱利丰教授团队TASE 2025 论文提出同心管机器人曲率域连续转向方法，让刚度主导型同心管机器人沿复杂自由曲线持续逼近目标路径。物理实验中 NOKOV 度量动作捕捉完成机械臂与支气管解剖模型的相对位姿标定，把仿真规划和真实世界数据对齐。

国防科技大学 IEEE RA-L 论文案例：DB-PGM 让 AAV 集群无需预定义编队和显式通信，即可在障碍物环境中自适应围捕多个目标，多架无人机在目标运动、障碍物和个体故障同时存在时，仍能保持协同，并通过NOKOV度量动作捕捉系统进行位姿跟踪完成真实飞行闭环验证。