研究进展:手术机器人-算法 | Nature Machine Intelligence

文摘   2024-11-03 00:02   北京  
端到端机器人学习的主导范例,侧重于优化解决单个机器人问题的特定任务目标,例如拾取物体或到达目标位置。然而,最近机器人技术中的高容量模型工作,已经显示出了在视频演示的大量多样化和任务不可知数据集上进行训练前景。这些模型,对未知环境的泛化程度,令人印象深刻,特别是在数据量和模型复杂性规模方面。

从数据中学习的手术机器人,系统很难像其他机器人学习领域一样快速发展,原因如下:缺乏现有的大规模开源数据来训练模型;由于模拟无法与生物组织的物理和视觉复杂性相匹配,因此对这些手术机器人,在手术过程中,软体变形建模是极具挑战性的。在临床试验中,外科手术机器人有伤及病人的风险,需要更广泛的安全措施。

近日,美国 约翰斯·霍普金斯大学(Johns Hopkins University)Samuel Schmidgall等,在Nature Machine Intelligence上发文,旨在通过为手术机器人开发多模态、多任务、视觉-语言-动作模型,以提高机器人辅助手术中的机器人自主性提供新路径。最终,手术机器人具有独特的优势,可从通用模型中受益,并为机器人辅助手术中,以提高自主性,提供四个指导行动。

General-purpose foundation models for increased autonomy in robot-assisted surgery.

机器人辅助手术中,提高自主性的通用基础模型。


图1: 视觉-语言-动作机器人转换器的架构图。

图2: 自主机器大模型robot transformer,RT-机器人辅助手术robot-assisted surgery,RAS的建议控制回路。

图3: RT-RAS的两步预训练概要。

文献链接

Schmidgall, S., Kim, J.W., Kuntz, A. et al. General-purpose foundation models for increased autonomy in robot-assisted surgery. Nat Mach Intell (2024).

https://doi.org/10.1038/s42256-024-00917-4

https://www.nature.com/articles/s42256-024-00917-4

本文译自Nature。

来源:今日新材料

声明:仅代表译者观点,如有不科学之处,请在下方留言指正!


今日新材料
中国材料研究学会每日发布新材料最新动态。
 最新文章