English 日本語 Русский

一种双模式机器人辅助股骨干骨折钢板植入方法

一种双模式机器人辅助股骨干骨折钢板植入方法

客      户
山东大学机械工程学院
关  键 词
数字化手术、股骨骨折、机器人辅助手术、微创手术
被捕捉物
机械臂

股骨干骨折是一种常见的高能损伤,微创内固定是首选治疗方法。然而,钢板植入过程中存在不可见、不准确和不稳定等问题。山东大学研究团队提出了一种双模式机器人辅助钢板植入方法,通过神经网络模型规划钢板植入轨迹,然后利用机械臂的高稳定性和高精度优势进行钢板植入。该方法可行性高,有望解决微创内固定手术中难以实现高精度钢板植入的问题。

NOKOV度量动作捕捉系统实时采集钢板植入过程中的位姿数据,帮助训练相应的神经网络模型来预测钢板植入轨迹。

引用格式

Guo, Yanchao et al. “A Dual-Mode Robot-Assisted Plate Implantation Method for Femoral Shaft Fracture.” The international journal of medical robotics + computer assisted surgery : MRCAS 20 6 (2024): e70008 .

实验方法

钢板植入起点的确定模式

基于算法的自动模式:在CT重建软件中确定钢板植入终点后,沿垂直于钢板平面并通过钢板中心线的平面解剖股骨三维模型。然后,在剖面内的股骨髁上选择点 A 和点 B,在患肢软组织表面选择点C。最后,算法将根据这三个点的坐标确定植入的起点和钢板植入的终点。

术前规划流程

术前规划流程

基于医生判断的手动模式:对于复杂的临床情况,医生可以通过机械臂控制系统手动选择钢板植入起点。

轨迹获取实验

研究人员利用NOKOV度量动作捕捉系统采集钢板植入轨迹,作为训练神经网络模型的数据库。在植入钢板的过程中,每个动作捕捉镜头可获取到标记点的二维位置信息,然后通过数据融合和运动学分析,可获得采集对象的位置、姿势、速度和加速度。轨迹采集实验是在骨科医生的指导下进行的,以确保采集到的轨迹符合临床情况。

轨迹采集装置

轨迹采集装置


神经网络模型的构建

数据处理:将收集到的轨迹数据进行预处理,以起点坐标为参考,将每条轨迹分为前后两部分共10个姿态点,并将所有点的姿态减去起点姿态,转换为相对起点的相对姿态点,以减少数据获取和模型训练难度,并使模型能应用于不同环境。

选择超参数:对两种神经网络模型M和A,分别通过正交试验和自动机器学习框架AutoKeras确定超参数。

钢板植入实验

研究人员开发了一套手术机器人系统,该系统有三个机械臂,分别完成断骨截除、钢板植入和螺钉植入(用于固定钢板)三个步骤。

手术机器人系统示意图

手术机器人系统示意图


利用C臂扫描患肢和校准球,并通过CT重建软件进行三维重建。CT重建软件中的校准球坐标根据机械臂基础坐标系中的校准球坐标进行修改,从而实现机械臂基本坐标系和CT重建软件坐标系的统一。随后可在CT重建软件中对断骨进行虚拟缩减,再由缩减机械臂和牵引装置进行实际缩减和维护。然后将该操作中使用的钢板模型导入软件,并调整至理想姿势,以确定钢板植入的终点。最后,螺钉植入机械臂根据钢板的姿势完成螺钉植入。

研究人员通过实验测试该方法的有效性,结果表明神经网络模型预测的钢板植入轨迹与临床实践中的钢板植入模式一致。机械臂能准确地将钢板植入终点,且钢板在植入过程中不会与股骨模型发生碰撞。

NOKOV度量动作捕捉系统通过采集钢板植入轨迹将手术操作数字化,助力实现手术过程的自动化,为其他机器人辅助手术系统的开发提供参考。

作者介绍

郭延超,山东大学机械工程学院博士研究生,主要研究方向:机器人辅助钢板植入系统,数字化手术操作。

陈一淼,山东大学机械工程学院硕士研究生,主要研究方向:机器人辅助钢板固定系统,生物力学建模及仿真。

周宪政,山东大学机械工程学院博士研究生,主要研究方向:超声辅助螺钉植入装置,骨钻孔表面质量分析与螺钉稳定性研究。

毕建平,山东中医药大学附属医院骨科副主任医师,主要研究方向:四肢骨折高精度手术机器人系统,中医正骨可视化系统,机器人联合牵引协同骨折复位系统。

Jason Z. Moore,美国宾夕法尼亚州立大学机械工程系副教授,精密医疗仪器设计实验室主任。主要研究方向:医疗器械与人体组织之间的相互作用,利用机电一体化技术改进医疗培训和理疗设备。

张勤河(通讯作者),山东大学机械工程学院教授,博士生导师。主要研究方向:非传统加工技术与装备,产品数字化设计制造与虚拟样机技术,先进医疗器械与医疗机器人技术。



清华iPingPong战队|人形机器人乒乓球训练实现高动态回球

第二届世界人形机器人运动会人形机器人打乒乓球项目中,清华 iPingPong 战队,团队以“物理原生智能”为技术路线,依托 NOKOV 度量动作捕捉与强化学习算法,实现人形机器人高动态乒乓球回球与自主对抗。

动作捕捉用于多智能体协同控制:人形机器人与机器狗跳绳案例

南京大学LAMDA团队与星源智在协同跳绳展示中使用NOKOV度量动作捕捉系统,获取绳索标记点位置、人形机器人基座位姿及机器狗关键位置数据,为多机器人闭环协同提供实时状态反馈。

全身动作捕捉与面捕同步,实现数字人动作自然表情生动

上海大学新闻传播学院采用NOKOV度量动作捕捉系统,结合面部捕捉设备,同步采集演员全身动作与面部表情数据,实现数字人动作与表情生动自然。

抗日光、防风雨,户外动作捕捉系统晴雨条件下稳定采集位姿数据

新加坡科技设计大学研究团队采用NOKOV度量户外动作捕捉镜头搭配防水罩,在真实环境测试中实现雨天与阳光条件下稳定采集高精度物体位姿数据。
联系我们
如需更多应用、案例信息或产品报价,请致电 010-64922321,或在下方留言:
机器人/无人机 VR/AR/XR 运动康复 传媒娱乐
北京度量科技有限公司(总部)
Location 北京市朝阳区安慧里四区15号五矿大厦8层820室
Email info@nokov.com
Phone 010-64922321
提交成功!请您耐心等待!
欢迎关注公众号,获取更多信息
关闭