湖南大学信息科学与工程学院彭绍亮教授团队综述了人工智能大模型在放射学领域的最新研究进展
文摘
其他
2024-05-23 08:24
湖南
近期，湖南大学信息科学与工程学院彭绍亮教授团队，在Meta-Radiology第2卷 第2期发表了一篇题为《Opportunities and challenges in the application of large artificial intelligence models in radiology》的学术论文。该论文首先介绍了大模型的发展历史、技术细节、工作流程、多模态大模型的工作原理以及视频生成大模型的工作原理。其次，该论文总结了人工智能大模型在放射学教育、放射学报告生成、单模态和多模态放射学应用方面的最新研究进展。最后，该论文还总结了大型AI模型在放射学领域面临的一些挑战，旨在更好地推动放射学领域的快速革命。受ChatGPT影响，人工智能（AI）大模型掀起了全球大模型研发热潮。随着人们享受人工智能大模型带来的便利，越来越多的细分领域的大模型逐渐被提出，特别是放射成像领域的大模型。本文首先介绍了大模型的发展历史、技术细节、工作流程、多模态大模型的工作原理以及视频生成大模型的工作原理。其次，总结了人工智能大模型在放射学教育、放射学报告生成、单模态和多模态放射学应用等方面的最新研究进展。最后，本文还总结了大型AI模型在放射学领域面临的一些挑战，旨在更好地推动放射学领域的快速革命。
本文初步介绍了多模态和视频生成大型模型的发展历史、技术复杂性、工作流程和操作原理。随后，本文深入探讨了人工智能大模型在放射学领域的应用，包括教育、报告生成、单模态和多模态应用，如图1所示。本文将为推动“放射医学+人工智能”教育体系的建立提供参考。![]()
图1 论文的结构
2.大模型的原理介绍
为了完成自然语言处理、计算机视觉和语音识别等各种复杂场景中的任务，大型模型需要对大量未标记数据进行预训练，然后针对特定任务进行微调或端到端训练。大型模型旨在增强模型理解、适应人类环境（特别是医疗保健环境）和应对各种挑战的能力。重点在于使模型能够熟练地利用预训练期间获得的知识，培养多样化的能力来应对一系列挑战。典型的大型模型的训练过程主要包括三个步骤：初始模型的监督训练、奖励模型训练以及通过强化学习进行优化。
![]()
图2 从大模型训练到微调的流程图
与 ChatGPT 相比，多模态大型模型具有许多优势。他们在各种任务和领域中找到了广泛的应用，包括多源信息的综合利用、丰富的语义信息、增强的模型鲁棒性和扩展的适用性。它包含三个基本组件：视觉编码器、语言模型和适配器模块。视觉编码器的主要作用是处理和理解输入视觉数据，例如图像。它从预先训练的视觉模型（例如视觉变换器或其他卷积神经网络架构）中提取图像特征。语言模型作为多模态大模型的核心组件，通常采用基于Transformer的架构，例如 BERT或GPT系列。语言模型处理文本输入，促进自然语言的理解和生成。适配器模块在大型多模态模型中也起着至关重要的作用。它负责弥合视觉和语言之间的差距。适配器模块可以采用简单的线性层、复杂的多层感知器或变压器的形式，通过自注意力机制促进视觉和文本之间的对齐。
![]()
图3 多模态AI大模型训练和预测的过程
ChatGPT是一个大规模人工智能语言模型。它利用嵌入层将人类语言编码为其内部表示。随后，它通过注意力机制从海量数据集中提取丰富的知识和结构，通过加权积累和关联合成语言输出。合成语言输出被解码回人类可读的格式。然而，以Sora为代表的大规模视频生成模型引起了人们对图像领域的极大兴趣。Sora是一种扩散变压器，它不断引入高斯噪声来破坏训练数据，随后学习通过反转这种噪声添加过程来重建数据。训练后，扩散模型可以通过学习的去噪过程传递随机采样的噪声来生成数据。扩散模型是一个潜在变量，它逐渐向数据引入噪声以估计近似的后验概率分布。图像逐渐转变为纯高斯噪声。训练扩散模型的目的是学习相反的过程，沿着该流程链向后遍历可以生成新数据。
![]()
图4 噪声图像扩散学习的逆过程
大型医学模型的技术限制源于高质量训练数据集的不足，这对确保生成信息的准确性和有效性提出了挑战。高质量的医学数据和准确的注释对于模型训练和应用至关重要。不准确或不完整的数据注释可能会影响模型性能和稳定性，导致输出答案不准确。此外，鉴于医学领域正在进行的研究和创新，过时的内容可能会加剧结果的不准确性。与使用人工智能大型模型相关的最令人担忧的问题是人工智能幻觉，即生成的输出听起来似乎合理，但不正确或与上下文无关。因此，放射科医生需要人工智能大型模型的可解释性，以得出成像建议并确保向患者和临床医生准确传递信息。此外，将人工智能大型模型集成到现有的成像工作流程中值得考虑。放射科医生应该能够在当前系统和框架内轻松访问和创新利用本地化人工智能大型模型。这些模型应及时提供可行的见解和建议。未来可能的实施包括作为“插件”集成到PACS系统中，或者与PACS一起建立为独立的文本数据处理中心。需要进一步的研究来确保大型人工智能模型减轻工作量，而不是给医生带来更大的使用负担。与大型模型相关的法律和道德挑战：全球许多大学已禁止使用ChatGPT等大型语言模型来完成学习和考试任务，并且许多出版商限制ChatGPT作为学术论文的合作者参与。目前，世界卫生组织（WHO）建议谨慎部署大型人工智能模型，例如ChatGPT。未经验证的人工智能大型模型可能会导致医学影像误诊，从而损害公众对此类模型的信任。人工智能大型模型必须解决数据安全和隐私问题。政府、监管机构和医疗机构应执行严格的数据隐私协议，以保护数据安全和患者隐私。人工智能大模型的设计和应用应恪守医学伦理原则，尊重患者权利和尊严，保障患者隐私和安全。医生和研究人员在使用大型模型时应遵守医学道德和职业义务，以确保医疗行为的合法性和道德行为。 由于计算能力、计算机硬件的提高以及大数据时代的出现，人工智能（AI）技术在医疗领域迅速发展，彻底改变了传统医疗实践。在为临床工作提供便利的同时，人工智能作为一项新兴技术在医疗领域仍处于早期阶段。尽管医疗人工智能潜力巨大，但当前医学算法模型必须进一步成熟。因此，在实施人工智能技术时需要进行额外的研究和改进，以确保其准确性和可靠性。此外，医疗AI的安全性还需要进一步提升。鉴于保护患者隐私和数据安全的重要性，在推广人工智能技术时必须实施适当的安全措施。通过人工智能技术的应用，我们的目标是解决未来日益复杂的医疗状况，将看似不可能的事情变成现实。![]()
湖南大学信息科学与工程学院在读博士研究生。导师彭绍亮教授，研究方向为医学图像分析，生物信息，大数据，人工智能。曾在Computers in Biology and Medicine, Biomedical Signal Processing and Control, Computers and Electronics in Agriculture, IEEE Wireless Communications Letters, IEEE Sensors Journal等期刊和CCF B类会议（IEEE international conference on bioinformatics and biomedicine）发表SCI论文23篇，Google引用186次。在公开实审状态下，申请专利10项。授权2项软件著作权。
![]()
国家超级计算长沙中心（湖南大学）副主任，“长江学者”特聘教授，2023年湖南省首届“湘江榜样”（10位），2023年度湖南省数字化十大杰出人物。主持湖南省“创新群体”和“杰出青年”基金，湖南大学二级教授/博导，国家超级计算长沙中心副主任。长期从事高性能计算、大数据、生物信息、人工智能、区块链等研究，国防科技大学兼职教授。出版专著8部，发表学术论文两百余篇，论文引用9000余次，授权发明专利50余项。获2019年国家科技进步二等奖，2019年湖南省技术发明一等奖（排名1），2013年军队科技进步一等奖1项，2021年CCF技术发明二等奖（排名1），2018年CCF自然科学二等奖（排名1），2016年荣立三等功。是中央军委科技委、国家科技部/工信部/教育部会评专家、中国计算机学会理事、CCF计算机应用和生物信息专委副主任和YOCSEF总部AC委员、CCF高性能计算、大数据专委常委、区块链专委委员，CCF杰出会员和3星杰出演讲者（CCF第2个）、湖南省生物信息学会和湖南省生物医学工程学会理事长，担任2个SCI期刊执行主编，创立全球第一个《Metaverse》元宇宙国际期刊，任Editor-in-Chief（主编）。Liangrui Pan, Zhenyu Zhao, Ying Lu, Kewei Tang, Liyong Fu, Qingchun Liang, Shaoliang Peng. Opportunities and challenges in the application of large artificial intelligence models in radiology. Meta-Radiology. 2024;2(2):100080. doi: https://doi.org/10.1016/j.metrad.2024.100080
![]()
长按/扫描获取全文（网页全文二维码）
