English 日本語 Русский

IROS 2026|CoLI连续体机器人平台:NOKOV度量动作捕捉验证主从遥操作性能

IROS 2026|CoLI连续体机器人平台:NOKOV度量动作捕捉验证主从遥操作性能

客      户
上海科技大学

在 IROS 2026 上,上海科技大学信息科学与技术学院肖晨曦老师团队发表了题为《CoLI: A Reproducible Platform for Continuum Robot Learning via Monolithic 3D Printing and Isomorphic Teleoperation》的论文。该论文提出可复现、学习就绪的开源连续体机器人平台 CoLI,研究中,NOKOV 度量动作捕捉系统测量主从两台连续体机器人的末端位置与运动轨迹,用于同构遥操作跟踪精度与动态响应的位置测量与验证;平台采集的遥操作示教数据则用于连续体机器人模仿学习实验。


研究速览

项目

结果

测量系统

NOKOV 度量光学动作捕捉(5 台 Mars 1.3H 相机)

NOKOV 度量光学动作捕捉测量对象与输出

主从两台机器人末端相对基座的空间位置及运动轨迹

平均位置跟踪误差

8.2 mm(127 组构型,约为 243 mm 臂长的 3.3%)

从端平均收敛延迟

158 ms(12 条轨迹)

动态可靠负载

1 kg(动态操作下的最大可靠末端负载)

自主任务成功率

12/12、10/12、10/12

 

研究背景:连续体机器人为什么需要可复现的学习平台

连续体机器人具有可连续弯曲的柔性结构,能在非结构化、狭窄环境中完成灵巧而安全的操作任务。但它尚未广泛进入数据驱动的机器人学习研究:硬件可获得性有限,现有设计多依赖定制部件,制造与组装复杂、成本高、难以复现;连续形变与高维驱动又带来驱动冗余和自由度耦合,基于运动学模型的控制难以准确建立与标定,任务空间遥操作还面临操作者与机器人工作空间不匹配的问题。因此,需要一套易制造、易控制、学习就绪的连续体机器人平台。


方法概述:一体化3D打印、同构遥操作与动作捕捉位置测量验证

针对制造难、控制难、示教数据难采集的问题,研究提出的CoLI 将一体化制造、同构遥操作和标准化学习管线整合为一个开源平台,核心贡献包括:

1) 单体多材料制造范式,实现连续体机器人单次运行、可复现制造。

2) 同构遥操作框架,促进执行器级遥操作和用于模仿学习的演示收集。

3) 与 LeRobot 框架集成的学习就绪平台,连接连续体机器人硬件和具身 AI 流程。

4) 跨结构功能、遥操作和自主操作的系统级验证,建立可复现基线。

CoLI 一体化 3D 打印连续体机器人平台总览:同构遥操作与基于模仿学习的自主控制

图1 本文提出的一体化 3D 打印连续体机器人平台总览,包含同构遥操作与基于模仿学习的自主控制

连续体机器人结构图:结构本体与绳索路径、关节结构、驱动机构、末端执行器与标定工具

图2 本文提出的连续体机器人结构:(A) 结构本体与绳索路径,(B) 相邻间隔盘之间的关节结构,(C) 驱动机构,(D) 末端执行器,(E) 标定工具

机器人本体由多材料 3D 打印一体成型:柔性骨架与刚性间隔盘单次打印完成,装配只剩绳索穿线和执行器安装。同构遥操作采用主从结构,两端具有相同的连续体结构和绳索传动布局,操作者直接用手弯曲主端,系统把主端电机编码器位置直接映射为从端命令,无须求解运动学模型,同时天然记录适合模仿学习的执行器级示教数据。平台接入 LeRobot 框架,为每个任务训练 ACT 策略实现自主操作。遥操作要求从端准确跟踪主端位置,研究因此使用 NOKOV 度量动作捕捉系统对跟踪精度与动态响应进行位置测量与验证。


实验验证

连续体机器人本体性能表征

论文通过力–形变测试、工作空间计算、负载吊挂与耐久性实验评估本体:柔性骨架的恢复力与形变近似线性(斜率约 3.2 N/mm);基于分段常曲率(PCC)模型计算得到约 430 mm 直径的可达工作空间;机器人在遥操作下可完全控制 1 kg 末端负载,负载达 1.2 kg 时出现明显控制退化,据此将动态可靠负载定义为 1 kg;同一对主从机器人累计运行超过 15 小时,未观察到结构损伤、绳索松弛或控制性能退化;机器人还可连续运行超过 90 分钟而不发生故障。

同构遥操作跟踪精度与动态响应:NOKOV 位置测量与验证

本研究使用 NOKOV 度量光学动作捕捉系统(5 台 Mars 1.3H 相机环绕工作空间布置),输出各末端相对其基座的空间位置:主从两台机器人的底座上各布置 3 个反光标记点以确定基座原点,机器人顶端布置 1 个标记点以确定末端位置。

1 kg 负载评估与主从端遥操作轨迹 

图3 (A) 1 kg 负载下的评估。(B) 连续体机器人主端与从端的遥操作轨迹。

在跟踪精度实验中,操作者手动弯曲主端驱使从端运动,两台机器人到达目标构型并静止后,同步记录各末端相对基座的位置并计算误差:127 组构型下平均位置跟踪误差为 8.2 mm,约为 243 mm 臂长的 3.3%。动态响应实验在同一动捕配置下记录主从端轨迹:12 条运动形态各异(末端峰值速度最高 5 cm/s)的轨迹上,从端平均收敛延迟为 158 ms,满足高保真示教采集的要求。

精度评估与模仿学习操作任务的实验设置及数据流 

图4 (A) 用于精度评估与模仿学习驱动操作任务的实验设置。(B) 学习驱动操作任务的数据流。

为评估灵巧性与遥操作可用性,操作者通过主从接口成功完成了拾取放置与狭窄空间取物两项操作任务,5 次试验的平均完成时间分别为 25.0 s 和 36.8 s。

连续体机器人模仿学习驱动的自主操作

利用同构遥操作采集的示教数据训练 ACT 策略后,论文在实体机器人上评估了物体放置、开关操作、平面推动三项自主任务,成功率分别为 12/12、10/12、10/12,均不低于 83%,验证了连续体机器人模仿学习的可行性。ACT 策略使用遥操作采集的执行器级示教数据训练。

连续体机器人遥操作灵巧性演示与自主操作能力演示

 图5 机器人遥操作灵巧性演示:(A) 挂取并转移重物,(B) 取出圆管内的物体。自主能力演示:(C) 放置重物,(D) 接触式开关按压,(E) 将物体非抓取推向目标位置。


常见问题 FAQ

Q1:如何测量连续体机器人末端的三维位置和运动轨迹?

A1:可以使用光学动作捕捉系统进行测量。在 CoLI 连续体机器人平台研究中,NOKOV 度量动作捕捉系统(5台Mars 1.3H 相机)通过底座 3个、末端1个反光标记点,测量主从两台机器人末端相对基座的空间位置,并记录运动轨迹,用于遥操作位置跟踪误差和动态响应的实验评估。

Q2:连续体机器人同构遥操作的位置跟踪误差是多少?

A2:该论文报告,在 127 组构型的评估中,主从机器人平均位置跟踪误差为 8.2 mm,约为 243 mm 臂长的 3.3%。实验中,操作者手动弯曲主端驱使从端运动,两台机器人到达目标构型并静止后,由 NOKOV 度量动作捕捉系统同步记录各末端相对基座的位置,并据此计算误差。

Q3:如何验证连续体机器人遥操作的动态响应?

A3:论文通过记录主从端运动轨迹来评估从端的收敛延迟:在同一 NOKOV 度量动作捕捉配置下,12 条轨迹上的从端平均收敛延迟为 158 ms,满足高保真示教采集的要求。

Q4:CoLI 连续体机器人平台如何实现自主操作?

A4:CoLI 利用同构遥操作采集的执行器级示教数据,接入 LeRobot 框架,训练 ACT(Action Chunking with Transformers)策略来实现自主操作。论文在物体放置、开关操作和平面推动三项任务中,分别报告了 12/12、10/12 和 10/12 的成功次数。NOKOV 度量动作捕捉系统用于验证遥操作的位置跟踪精度与动态响应。


论文信息

论文题目

CoLI: A Reproducible Platform for Continuum Robot Learning via Monolithic 3D Printing and Isomorphic Teleoperation

作者

肖晨曦老师团队

单位

上海科技大学信息科学与技术学院

会议

IROS 2026

项目主页

tangrobot.github.io/CoLI-website

GitHub开源仓库

github.com/TangRobot/CoLI

arXiv

https://arxiv.org/abs/2606.20389

DOI

10.48550/arXiv.2606.20389

 

通讯作者简介

肖晨曦,上海科技大学信息科学与技术学院助理教授、研究员、博士生导师,机器人交互与操作实验室(RIM Lab)负责人。主要研究方向:机器人、具身智能、遥操作、触觉交互、强化学习。


相关案例阅读:哈工大RAL研究:可伸缩连续体机器人实现稳定爬行,狭窄空间巡检新方案

清华iPingPong战队|人形机器人乒乓球训练实现高动态回球

第二届世界人形机器人运动会人形机器人打乒乓球项目中,清华 iPingPong 战队,团队以“物理原生智能”为技术路线,依托 NOKOV 度量动作捕捉与强化学习算法,实现人形机器人高动态乒乓球回球与自主对抗。

动作捕捉用于多智能体协同控制:人形机器人与机器狗跳绳案例

南京大学LAMDA团队与星源智在协同跳绳展示中使用NOKOV度量动作捕捉系统,获取绳索标记点位置、人形机器人基座位姿及机器狗关键位置数据,为多机器人闭环协同提供实时状态反馈。

全身动作捕捉与面捕同步,实现数字人动作自然表情生动

上海大学新闻传播学院采用NOKOV度量动作捕捉系统,结合面部捕捉设备,同步采集演员全身动作与面部表情数据,实现数字人动作与表情生动自然。

抗日光、防风雨,户外动作捕捉系统晴雨条件下稳定采集位姿数据

新加坡科技设计大学研究团队采用NOKOV度量户外动作捕捉镜头搭配防水罩,在真实环境测试中实现雨天与阳光条件下稳定采集高精度物体位姿数据。
联系我们
如需更多应用、案例信息或产品报价,请致电 010-64922321,或在下方留言:
机器人/无人机 VR/AR/XR 运动康复 传媒娱乐
北京度量科技有限公司(总部)
Location 北京市朝阳区安慧里四区15号五矿大厦8层820室
Email info@nokov.com
Phone 010-64922321
提交成功!请您耐心等待!
欢迎关注公众号,获取更多信息
关闭