Science Robotics 仅凭机载传感器 无人机以精准高机动穿越倾斜狭缝

6月11日，浙江大学控制科学与工程学院长聘副教授高飞研究团队在机器人顶刊 Science Robotics 上发表题为“Precise aggressive aerial maneuvers with sensorimotor policies” 的论文，论文共同第一作者为浙江大学控制科学与工程学院巫天越、浙江大学湖州研究院徐广通。

工作原理与系统实现

本文训练了一个端到端的“感觉—运动”策略（sensorimotor policy），将高维视觉信号和惯性数据直接映射为底层控制指令，从而呈现出类似鸟类飞行中感知与运动无缝融合的机制。

NOKOV度量动作捕捉系统的实验支持作用

在本研究的实验验证过程中，NOKOV度量光学动作捕捉系统提供关键高精度状态支持，包括：

（1）HIL测试中的无人机位姿估计与虚拟狭缝生成

（2）基线闭环控制实验中的全状态反馈

（3）飞行轨迹Ground Truth记录与算法性能评估

研究背景

现有无人机狭缝穿越方法通常依赖状态估计、轨迹优化等人为划分的功能模块。各模块独立调参与优化，人工定义的模块接口容易造成信息损失和级联误差。在容错空间极小的狭缝高机动飞行中，这类误差可能造成灾难性后果。

这引出了一个根本性的设计问题：为了实现无人机精准高机动穿越狭缝，是否必须继续沿用模块化架构，并在模块之间设置人为定义的接口？

生物系统中，感知与行动直接闭环的机制提供了另一种思路：鸟类无需显式依赖狭缝位姿估计、里程计积分或轨迹规划，也能灵活地完成穿越狭窄开口的高机动飞行。

本文贡献

通过端到端策略，在严格的 SE(3) 约束下实现了基于感知—运动策略的精准高机动飞行，并证明了该系统在这一经典机器人基准任务上取得了先进性能。

本文所提出的策略学习框架，将现有策略蒸馏方法与针对狭窄解空间探索而改进的强化学习流程进行了有机融合；同时，通过对sim-to-real迁移环节的系统设计及真实环境消融实验，所获得的策略在多种真实窄缝穿越任务中均表现出较高的重复成功率。

现实实验

本文旨在验证四旋翼无人机能否仅依靠机载感知，在四周余量很小的狭窄空间中，精准完成高机动穿越。

研究搭建了一套定制四旋翼无人机平台，配备单目相机、PX4飞控和NVIDIA Jetson Orin NX。相机采集的缝隙图像经下采样后输入神经网络策略，由策略直接输出总推力和机体角速度指令，飞控同时提供横滚、俯仰等姿态信息。

为减少碰撞造成的硬件损坏，部分实验采用硬件在环（HIL）测试。测试中由真实无人机执行策略控制，但不设置实体缝隙，而是融合NOKOV度量光学动作捕捉系统与机载IMU数据获得无人机状态，据此生成虚拟狭缝图像，并根据状态记录判断无人机是否成功完成无碰撞穿越。

本研究视频包含：1）现实实验中穿越朝向未知的倾斜狭缝；2）动态缝隙反应式穿越；3）连续穿越紧密排布的多道狭缝；4）拓展至多种几何形状的开口；5）在多样化视觉背景下穿越狭缝

无人机HIL测试方法说明

在本研究中，HIL（Hardware-in-the-Loop）测试方法用于无人机高机动飞行验证。HIL测试通过融合机载IMU与NOKOV动作捕捉数据，实现虚拟环境生成与飞行验证，从而提升实验安全性与数据可靠性。

策略学习与sim-to-real迁移

本文采用信息引导式重置（Informed reset）提高强化学习探索效率，并通过扰动力、控制响应和延迟随机化缩小仿真与现实差距。IR使智能体更容易进入可行解区域，在单缝隙任务中将平均成功率由约70%提升至96%，并帮助策略在连续穿隙任务中摆脱局部最优。随机化则显著提升了蒸馏视觉策略对动力学误差和观测噪声的适应能力。

与参考基线系统的性能比较

基线1 [1] 依赖已知的狭缝位姿，并通过NOKOV度量光学动作捕捉系统实时提供无人机全状态反馈，用于无人机闭环控制；

基线2 [2] 则通过视觉—惯性融合、位姿估计和在线重规划完成狭缝穿越。

实验表明，本文提出的视觉策略无需外部定位，其成功率仍可与采用特权状态的方法相当，并能减轻模块间误差传播和模型失配带来的影响。

NOKOV度量动作捕捉系统在研究中的应用

NOKOV度量动作捕捉系统在本研究的硬件在环（HIL）测试中，为虚拟狭缝视觉生成提供无人机状态数据支持，并用于测量无人机的真实飞行轨迹；在基线对比实验中，则为基线1提供全状态反馈，支持参考轨迹的闭环跟踪。

FAQ

Q1：无人机高机动实验如何获取Ground Truth？
 通过NOKOV光学动作捕捉系统获取高精度位姿与轨迹数据。

Q2：HIL测试在无人机实验中解决什么问题？
 在真实飞控参与下，通过虚拟环境降低碰撞风险，提高实验可重复性。

Q3：为什么高机动飞行必须使用动作捕捉系统？
 用于提供低延迟、高精度状态反馈，支撑闭环控制与算法验证。

Q4：该系统主要支持哪些研究场景？
 无人机自主飞行、强化学习训练、轨迹优化与具身智能实验。

参考文献：

[1] Z. Wang, X. Zhou, C. Xu, F. Gao, Geometrically constrained trajectory optimization for multicopters. IEEE Trans. Robot. 38, 3259–3278 (2022).

[2] D. Falanga, E. Mueggler, M. Faessler, D. Scaramuzza, “Aggressive quadrotor flight through narrow gaps with onboard sensing and computing using active vision” in Proceedings of the 2017 IEEE International Conference on Robotics and Automation (ICRA) (IEEE, 2017), pp. 5774–5781.

作者简介

巫天越（共同一作），即将前往香港大学攻读博士学位，浙江大学本硕。研究兴趣为机器手以及人形机器人的灵巧操作智能，飞行机器人运动智能。在Science Robotics，Robotics: Science and Systems等机器人领域权威期刊与会议上以第一作者发表文章。

徐广通（共同一作），杭州电子科技大学自动化学院副研究员。2015和2021年在北京理工大学分别获得学士和博士学位。2021-2023年在清华大学精密仪器系从事博士后研究。2023-2026年在浙江大学湖州研究院开展科研工作，此期间完成以上工作。主要研究领域为飞行机器人自主导航、运动规划、集群协同等。在TASE、RA-L、ICRA、IROS等机器人领域期刊/会议上发表论文数篇。

王子晗，华北电力大学工学硕士，进行此工作期间为浙江大学湖州研究院交流生，研究方向为机器人自主系统、决策规划。现有 1 篇研究工作录用于机器人国际顶会 IROS。

林俊晓，浙江大学硕士，即将前往香港大学攻读博士学位。研究方向为机器人系统设计、运动控制以及灵巧操作。在RA-L，IROS等机器人权威期刊/会议上发表论文数篇。

陈天洋，浙江大学控制科学与工程学院在读硕士。研究方向为飞行机器人与视觉-语言-动作模型。

吴钰泽，浙江大学博士，微分智飞青年科学家，发表包括Nature Communications、Science Robotics、T-RO等在内论文近20篇，主要研究方向为VLA/VLN具身导航模型、无人机世界模型和机器人多智能体。

韩志超，浙江大学控制科学与工程学院博士，主要从事移动机器人运动规划、非线性优化、深度学习、强化学习等领域研究。

刘志洋，浙江大学博士，微分智飞公司COO。

高飞（通讯作者），浙江大学控制科学与工程学院长聘副教授、博士生导师，微分智飞创始人。主要研究方向：空中机器人、自主导航、运动规划、环境感知、集群机器人。