"怀长期主义，聊医工科技"
不错过医工超人文章三部曲：1. 关注公众号 2. 经常点击“在看” 3. 点击公众号右上方设置“星标” 每篇文章都会按时推送不错过
| 今天的文章中，超哥为大家介绍一种基于深度与热成像融合的自动化超声成像方法，专注于腰部区域的诊断。该系统利用热成像相机区分人体与环境，提供清晰的轮廓信息，同时通过深度相机获取空间位置信息，从而实现探头的精确定位和操作。通过标定和模板匹配算法，系统能够自动定位ROI并调整探头的位置与方向。探头操作采用力矩反馈控制算法，确保探头与皮肤表面垂直，且施加适当的压力。系统通过Python脚本和ROS平台实现集成，能够高效地完成从图像采集到处理的自动化操作。实验验证结果表明，系统在ROI定位和探头操作方面具有较高的准确性和一致性，显示出其在临床中的潜力。 |
超声机器人产品关键技术解析：远程操作系统Tele-operation System和触觉技术Haptic Technology
机器人引领急救超声 - 超声机器人平台中的超声探头模组Probe Adapters设计与应用
超声成像作为一种广泛应用的医疗诊断技术，由于其无辐射、低成本和便捷性，已在临床上取得显著应用。然而，超声检查的准确性和操作效率高度依赖于操作者的经验，这限制了其普适性和稳定性。此外，重复的超声操作对操作员的健康有很大影响，导致大量超声技师患有肌肉骨骼疾病。为了克服这些问题，自动化超声检查系统被提出，并结合机器人技术，已逐渐成为研究的热点。但现有系统通常需要人工干预，尤其是在扫描区域（ROI）定位和探头操控方面。因此，本研究提出了一种基于深度和热成像融合的新型方法，旨在实现腰部区域的全自动超声成像。
方法
本研究提出了一种新型的自动化超声成像方法，利用深度成像和热成像技术的融合，来克服传统超声检查中的局限性。热成像相机能够通过捕捉人体发出的热辐射，准确地区分人体与背景，使得患者的轮廓清晰可见，而深度相机则提供了空间位置信息，有助于精确地控制超声探头的位置和方向。通过融合这两种成像数据，本研究的系统能够在定位、导航和操作探头方面提供更加精确和一致的结果。系统设计包括以下几个关键技术：基于热成像的ROI定位、深度成像数据的模板匹配、以及探头的动态力矩控制算法。
系统设计与成本分析
该系统的核心组件包括UR5e协作机器人（cobot）、Clarius C3HD3超声探头、FLIR A50热成像相机和Intel RealSense D415深度相机。UR5e机器人具有较高的灵活性和安全性，适合医疗应用，能够精确地操控超声探头并进行扫描操作。Clarius C3HD3超声探头支持无线实时成像，并能通过API与系统实时交互。FLIR A50热成像相机和Intel RealSense D415深度相机则分别提供热成像和深度数据，两个相机的数据通过预设的SDK进行同步。系统集成后，通过ROS（机器人操作系统）实现机器人与相机之间的实时数据通信和控制。系统的成本为44,894.54美元，预计未来通过批量采购和技术合作可以进一步降低生产成本，提升其临床可用性和普及性。
深度与热成像传感器融合
为了实现深度和热成像数据的有效融合，采用了基于标定的图像融合方法。这一方法通过对热成像相机和深度相机的标定，确保两者数据的空间一致性。具体而言，通过校准过程来估算两台相机的内外参数，从而精确对齐热成像与深度成像数据。此步骤确保深度和热成像数据可以有效结合，生成一个融合的深度-热成像图。这种方法相比于传统的特征匹配或深度学习融合方法，在不同会话中能保持一致性，避免了场景特征的变化带来的误差，保证了数据融合的稳定性和高效性。
区域定位与模板匹配
在深度-热成像融合后，ROI定位通过热成像数据的温度强度差异进行。人体的温度（约37°C）远高于环境，因此热成像能够清晰地从背景中提取出患者的轮廓。为了进一步优化ROI的定位，本文使用了模板匹配算法。该算法通过将一个预定义的背部模板与实际采集的点云数据进行对比，精准地识别出腰部区域。这一过程充分利用了深度成像数据和热成像数据的互补性，通过精准的模板匹配和点云配准，提高了ROI定位的准确性和可靠性。
探头操作与优化
为确保探头操作的精确性，文中提出了一种基于力矩反馈的控制算法。在探头接触患者皮肤并开始扫描时，系统能够自动调节探头的位置和方向，以确保探头垂直于皮肤表面，并保持最佳的扫描角度和探头压力。在实际操作中，系统根据力矩反馈控制探头的姿态，确保其始终保持在最佳工作状态。同时，系统通过力传感器实时监测施加的压力，并确保压力保持在15N至20N之间，以保证舒适度和有效性。
系统集成与部署
该自动化超声成像系统通过Python脚本进行整体管理，系统运行时，机器人首先将超声探头移至预定位置，并启动深度和热成像相机进行数据采集。然后，系统会自动定位ROI并调整探头的位置和方向，最终完成对腰部区域的扫描。所有这些步骤都通过多线程控制并行执行，以提高效率，减少操作时间。此外，系统能够自动进行图像采集、处理和探头操作，确保每个步骤都高效且一致。
实验与结果
系统的性能通过一系列实验进行了验证，实验内容包括ROI定位的重复性与再现性测试、探头操作的性能分析，以及志愿者实验。在ROI定位方面，模板匹配算法的重复性分析表明，无论是全球对齐还是局部对齐，系统都能在不同测试条件下提供稳定且高效的结果。在探头操作方面，通过力矩反馈控制算法，探头能够准确地调整姿态，保持与皮肤表面的垂直状态。在志愿者实验中，系统成功完成了腰部区域的超声成像，且与手动操作相比，系统在图像采集的精确度和一致性上表现良好。
结论与未来工作
本研究提出的基于深度-热成像融合的自动化超声成像方法，在腰部区域的超声诊断中表现出色。实验结果表明，该系统不仅能实现ROI的准确定位，还能够自动优化探头操作，确保超声成像的高质量和一致性。未来的研究将集中于系统的临床验证，特别是针对其他解剖区域的适用性和性能提升。此外，随着技术的发展，深度-热成像数据的进一步优化和RGB图像的融合，将为ROI定位和探头操作提供更多的支持，进一步提升系统的临床应用价值。
参考文献
Roshan, Mariadas Capsran, Mats Isaksson, Adrian Pranata, and Edgar M. Hidalgo. "A sensor fusion approach to autonomous ultrasound imaging of the lumbar region." Biomedical Signal Processing and Control (2024): 106818.
"怀长期主义，聊医工科技"
我是超哥，超声行业17年老伙计，做过研发，搞过生产，趟过市场，开过（在开）公司；越野跑爱好者；工作狂；沟通粗暴直接；严苛完美主义者；起伏皆为过往；信奉长期主义和第一性原则；欢迎来聊来组局...
*免责声明*
本公众号注明原创的内容权利属于本服务或本服务权利人所有，未经本服务或本服务权利人授权，任何人不得擅自使用（包括但不限于复制、传播、展示、镜像、上载、下载、转载、摘编等）或许可他人使用上述知识产权的。已经本服务或本服务权利人授权使用作品的，应在授权范围内使用，并注明作者来源。否则，将依法追究其法律责任。
