Notice: Undefined index: HTTP_ACCEPT_LANGUAGE in /mnt/wwwroot/nokov.new/public/public_base.php on line 14
IEEE TRO 双无人机协同远距离稠密建图-度量科技 | NOKOV度量动作捕捉
English 日本語 Русский

IEEE TRO 双无人机协同远距离稠密建图

IEEE TRO 双无人机协同远距离稠密建图

客      户
上海交通大学董伟老师团队联合阿联酋MBZUAI左星星老师团队

近日,上海交通大学董伟老师团队联合阿联酋MBZUAI左星星老师团队在机器人顶刊IEEE T-RO发表题为《Flying Co-Stereo: Enabling Long-Range Aerial Dense Mapping via Collaborative Stereo Vision of Dynamic-Baseline》的论文。该论文提出了飞行协同立体视觉系统,通过两架无人机的宽基线协同配置,实现了最远70米的稠密三维建图,相对误差为2.3%至9.7%。NOKOV度量动作捕捉系统提供无人机高精度位姿数据,助力验证本文提出的相对位姿估计算法精度。

引用格式

Z. Wang, X. Zuo and W. Dong, "Flying Co-Stereo: Enabling Long-Range Aerial Dense Mapping via Collaborative Stereo Vision of Dynamic-Baseline," in IEEE Transactions on Robotics, vol. 42, pp. 951-970, 2026, doi: 10.1109/TRO.2026.3658293.

研究背景

无人机在大规模未知环境中安全导航需要远距离感知能力。与激光雷达相比,立体相机具有高性价比、轻量化的优势,但传统立体相机受限于短固定基线,感知范围通常不超过20米。现有宽基线系统体积过大,无法适配小型无人机;而将立体相机分布在两架动态飞行的无人机上,又面临基线动态变化、特征关联困难等挑战。

 

本文提出的CDBSM框架下的飞行协同立体视觉系统架构

本文提出的CDBSM框架下的飞行协同立体视觉系统架构

本文贡献

1) 提出飞行协同立体视觉系统,通过两架协同无人机在统一的协同动态基线立体建图框架下构建宽基线跨无人机立体视觉系统,实现大规模未知环境中的远距离稠密建图;

2) 开发双光谱视觉惯性-测距估计器,在复杂室外环境下实现无人机之间动态基线稳健、精确的在线估计;

3) 设计混合视觉特征关联策略,融合跨无人机深度特征匹配与无人机内部特征跟踪,确保在视角变化时实现实时、连续的共视特征对应;

4) 提出一种从稀疏到稠密的深度恢复方案,通过对远距离三角化稀疏特征点的指数拟合,优化单目深度网络的稠密深度预测结果,实现精确的度量级建图。

实验验证

1、动态基线估计

实验评估了飞行协同立体视觉系统对两架无人机之间相对位姿的估计精度。两架无人机在东-北-天坐标系中自主飞行同步的圆形轨迹,基线长度设为3米。将双光谱视觉惯性-测距估计器的相对位姿估计结果与两种基准方法进行对比:(1)仅基于机间观测的视觉透视n点算法;(2)通过相减两架无人机的单机视觉惯性里程计位姿得到的视觉惯性里程计差分法。实验中使用NOKOV度量动作捕捉系统提供相对位姿真值作为评估基准。

NOKOV度量动作捕捉系统下飞行协同立体视觉系统相对位姿估计实验

NOKOV度量动作捕捉系统下飞行协同立体视觉系统相对位姿估计实验

实验表明,双光谱视觉惯性-测距估计器的相对位置估计总平均绝对误差为0.013米,显著优于视觉透视n点算法(0.018米)和视觉惯性里程计差分法(0.024米)。相对姿态估计中,偏航角的平均绝对误差为0.214°。

同时,研究人员还通过室外真实环境(强光、复杂背景干扰、严重的红外噪声和远距离观测)测试评估了动态基线估计的鲁棒性。结果显示,基于双光谱标记的视觉检测与跟踪算法在所有环境中的跟踪成功率均超过96%,显著优于对比方法(YOLOv4-tiny+MOSSE)的17%~70%。

强光、杂乱背景、光噪声及远距离观测挑战下的实验

强光、杂乱背景、光噪声及远距离观测挑战下的实验

2、跨相机特征关联性能评估

实验对比了GP-SS算法与三种基准方法(原始SuperPoint-SuperGlue、ORB、SURF)的实时性能。结果显示,GP-SS算法实现了近30Hz的特征关联频率,性能显著优于SS算法(13Hz)。

3、稀疏特征点协同三角化精度评估

实验评估了不同深度段(0~10m、10~30m、30~50m、50~70m)下特征点重建的数量和精度。结果显示,系统在30m以外的远距离仍能实现有效的特征点三角化,而单无人机方法无法做到。

4、远距离稠密建图性能评估

在多个真实环境与仿真环境中开展稠密建图实验,对比指数拟合、二次拟合、线性拟合三种模型以及SimpleRecon、MVSAnywhere两种方法。结果显示,系统在最远70米的距离上实现稠密建图,相对误差2.3%~9.7%;相比传统立体相机,最大感知范围提升350%,覆盖面积增加450%。

室外环境与逼真仿真环境下的远距离稠密重建实验

室外环境与逼真仿真环境下的远距离稠密重建实验

通讯作者介绍

董伟 上海交通大学机械与动力工程学院 长聘副教授。主要研究方向:多机器人协同智能与主动感知。
左星星 穆罕默德·本·扎耶德人工智能大学(MBZUAI)机器人系 长聘助理教授。主要研究方向:机器人学、空间智能、状态估计与具身智能等。


在即将到来的ICRA 2026大会上,左星星老师联合多位海内外学者共同组织MM-SpatialAl Workshop: Multi-Modal Spatial Al for Robust Navigation and Open-World Understanding. NOKOV度量动作捕捉很荣幸赞助本次Workshop,欢迎相关领域学者投稿参与,共同探讨面向鲁棒导航与开放世界理解的多模态空间智能
Workshop主页:https://xingxingzuo.github.io/MM-SpatialAI/

workshop海报


6mm可变长度仿蚯蚓连续体机器人:动捕记录末端三维坐标与书写轨迹

中国地质大学(武汉)人工智能与自动化学院 孟庆鑫教授团队提出一种直径为6 mm、具有柔顺驱动力的三节段可变长度仿蚯蚓连续体机器人。实验平台部署NOKOV度量动作捕捉系统,反光标记点粘贴于机器人末端,用于实时输出末端高精度三维坐标数据,验证和评估机器人性能,并记录书写任务中的末端运动轨迹。

人形机器人如何实现 MuJoCo 仿真训练与遥操作?NOKOV度量动作捕捉助力宇树 G1实验验证

宁波职业技术大学利用 NOKOV 度量动作捕捉系统和宇树 G1 人形机器人,开展 MuJoCo 仿真训练与真机遥操作实验。实验中,操作者穿戴带有反光标记点的动捕服,NOKOV 度量动作捕捉系统实时采集人体运动数据,并同步驱动 MuJoCo 仿真环境中的宇树 G1 模型,同时实现真实机器人动作跟随。该案例展示了动作捕捉在人形机器人遥操作、动作映射、模仿学习及算法验证中的应用价值。

上海交通大学谢威老师团队:四旋翼无人机编队“8”字协同吊运|NOKOV度量动作捕捉系统参与控制闭环

上海交通大学电子信息与电气工程学院谢威老师团队展示了4架四旋翼无人机完成“8”字编队协同吊运实验。实验中,NOKOV度量动作捕捉系统参与无人机控制闭环,实时输出高精度位姿数据,为无人机编队控制、协同运输及飞行算法验证提供稳定的位置反馈。

IEEE RA-L | Aqua-Splat声呐—视觉水下三维重建,NOKOV度量动捕系统提供水下机器人六自由度位姿真值

哈工大(深圳)胡靓教授团队提出Aqua-Splat声呐—视觉水下三维重建方法,提升几何重建精度与图像保真度。NOKOV度量动作捕捉系统为搭载双目相机与前视声呐的BlueROV2水下机器人提供六自由度位姿真值,用于建立每帧视觉、声呐数据与机器人位姿之间的空间对应关系。
联系我们
如需更多应用、案例信息或产品报价,请致电 010-64922321,或在下方留言:
机器人/无人机 VR/AR/XR 运动康复 传媒娱乐
北京度量科技有限公司(总部)
Location 北京市朝阳区安慧里四区15号五矿大厦8层820室
Email info@nokov.com
Phone 010-64922321
提交成功!请您耐心等待!
欢迎关注公众号,获取更多信息
关闭