"怀长期主义，聊医工科技"
不错过医工超人文章三部曲：1. 关注公众号 2. 经常点击“在看” 3. 点击公众号右上方设置“星标” 每篇文章都会按时推送不错过
| 今天的文章中，超哥为大家介绍一种基于深度学习的自动化超声追踪系统，用于在胃肠道中实时检测和跟踪胶囊机器人。传统内镜检查存在不适和局限性，而可摄入胶囊机器人作为非侵入性诊断工具具有巨大潜力，但在临床环境中实现精准跟踪是技术难题。本研究提出了一种结合注意力机制的分层深度学习模型，能够精确识别胶囊的状态（如关闭、打开或失去视野）和2D姿态。实验结果显示，模型在离体实验中状态分类准确度达到96.9%，中心定位误差为1.76毫米。此外，开发的自动超声追踪系统在90厘米范围内实现3D跟踪，并具备视野丢失时的自动恢复能力，为复杂胃肠道环境下的实时跟踪提供了技术支持。这一创新有望降低医师负担，提升胶囊机器人的临床应用价值。 |
科技前沿 | 可注射微型超声传感器 - 基于可生物吸收和无线超结构水凝胶metagel的微创颅内监测创新器械
随着医疗技术的进步，可摄入胶囊机器人在胃肠道诊断和治疗中的潜力逐渐显现。这些胶囊机器人具备移动能力，并能携带微型取样机制，为非侵入性诊断和介入治疗带来了希望。然而，要使这些机器人在临床环境中得到应用，必须实现胶囊的实时位置跟踪和操作状态检测，而这在充满复杂组织和气体的胃肠道环境中是一项技术挑战。
在纯琼脂凝胶中观察胶囊（图a）。在离体猪胃中获取的超声图像中，展示了微型胶囊的平面内二维姿态及其三种机械状态：闭合（closed）、打开（open）和超出视野（lost-in-the-FOV）（图b-d）。图b中显示了胶囊的质心位置和方向，其中红线表示相对于水平线的方向。小图展示了实际制作的闭合和打开状态的胶囊样本。
背景与动机
在传统的内镜检查中，插入式内镜存在不适、需麻醉等问题，且难以深入到小肠的最深处。相比之下，胶囊机器人具备避免麻醉、降低肠道损伤等优势，可以在无需插管的情况下对胃肠道进行影像采集或药物释放。然而，这类胶囊机器人在实时控制和精确定位方面面临诸多限制，尤其是在没有专业操作人员持续监控的情况下。这些限制促使本研究探讨如何在超声影像反馈下实现对胶囊机器人的自动化、实时跟踪。
实验装置如图 (a) 所示，其中定义的工作区为通道中嵌入的胃段，通道长度为
研究方法与创新
本论文提出了一种基于深度学习的胶囊机器人检测和跟踪系统，主要由注意力机制和分层深度学习模型组成。该系统首先利用超声B模式成像获取胶囊机器人在胃肠道内的实时图像，并通过神经网络进行状态分类（如胶囊关闭、打开或失去视野）。对于胶囊位置的2D姿态估计，模型能够精确确定其中心位置和方向。论文设计并测试的网络在离体实验中表现出色，状态分类准确度达到96.9%，中心定位和方向估计的平均误差分别为1.76毫米和3.5度。
数据生成与模型泛化
为解决胶囊机器人在不同组织环境和成像条件下的泛化问题，论文使用了不同域的图像数据（包括不同设计的胶囊、成像环境和协议）来测试模型表现，并分析影响模型泛化的关键因素。这项研究通过在离体猪胃中采集图像，并结合数据增强技术，生成了代表性的数据集以训练和测试模型。此举为后续的研究提供了数据和算法基准，确保深度学习模型在临床环境中的稳健性。
超声跟踪系统的自动化实现
传统的超声成像受到视野限制，难以跟踪移动的胶囊机器人。本研究开发了一种自动化超声跟踪系统，采用2D探头并结合机械臂，实现了胶囊机器人在90厘米范围内的3D追踪。同时，系统具备追踪丢失时的自动恢复能力，以应对视野丢失或超出成像平面的情况。在各种成像参数和伪影模式下，系统的状态检测准确率达90%，中心定位误差为1.5毫米，为胶囊在复杂胃肠道环境中的稳定追踪提供了保障。
技术优势与临床意义
本论文提出的自动化超声追踪系统显著减少了医师操作负担，使得胶囊机器人在胃肠道的移动可以得到实时监控，且无需专业超声操作人员的持续关注。与传统手动追踪方法不同，本系统具有更高的自动化和鲁棒性，适用于真实的临床组织环境。本研究首次实现了基于超声的胶囊机器人3D追踪系统，并在代表性的组织环境中验证了其临床潜力。
自动化机器人超声系统概览。(a) 所提出的机器人超声系统用于胶囊机器人的3D跟踪，插图显示了嵌入猪结肠及模拟肠腔气体的通道状工作区。黄色箭头表示平移台的移动方向，胶囊装置位于顶部角落。(b) 机器人手臂的控制方案，采用超声跟踪反馈的闭环控制，允许对工作区进行3D扫描，并利用B模式超声扫描仪实现实时超声反馈。
结论与未来展望
本研究的成果为超声引导的胶囊机器人提供了精确的检测和追踪方法，具有重要的临床应用价值。通过引入深度学习与自动化超声跟踪技术，胶囊机器人在胃肠道中的应用前景得以扩展。未来，进一步提高模型的泛化能力和数据集的多样性，将进一步增强该系统在真实临床场景中的适应性。
参考文献
Liu, Xiaoyun. "Deep Learning-based Detection and Tracking of Capsule Robots using Ultrasound Feedback in Gastrointestinal Tract." PhD diss., 2024.
"怀长期主义，聊医工科技"
我是超哥，超声行业17年老伙计，做过研发，搞过生产，趟过市场，开过（在开）公司；越野跑爱好者；工作狂；沟通粗暴直接；严苛完美主义者；起伏皆为过往；信奉长期主义和第一性原则；欢迎来聊来组局...
*医工超人·招聘求职群：定期发布超声招聘，求职信息
*免责声明*
本公众号注明原创的内容权利属于本服务或本服务权利人所有，未经本服务或本服务权利人授权，任何人不得擅自使用（包括但不限于复制、传播、展示、镜像、上载、下载、转载、摘编等）或许可他人使用上述知识产权的。已经本服务或本服务权利人授权使用作品的，应在授权范围内使用，并注明作者来源。否则，将依法追究其法律责任。
