震撼研究:AI在检验领域已展现远超专业医生的水准!

学术   2024-11-06 13:16   重庆  


近年来随着计算机芯片的迭代、数学算法的发展以及数据库质量的提升,人工智能(AI)历经神经网络、机器学习、深度学习、生成式AI,其与医学融合,已广泛涉及医疗影像、辅助诊断、药物研发、健康管理、疾病预测等领域。


ChatGPT作为生成式AI最典型的代表,一直是医学领域热衷研究的对象。其在各国执业医师考试中的表现,回答社交媒体论坛上发布的患者问题的实用性以及协助医生的临床查询方面都已经有了细致研究。


随着大众对于健康知识的愈发看重,快速准确的获取检验知识,解读检验报告已成为患者迫切的实际需求。将ChatGPT 等生成式AI用于实验室结果解释的研究自然也就应运而生。




检验顶刊最新研究

AI在检验领域的表现远超专业人士


这些研究评估了 ChatGPT 在解释模拟报告和回答基本或技术知识问题方面的准确性。


不久前,检验领域的顶刊《Clinical Chemistry》上发表了一项最新研究,《ChatGPT vs Medical Professional: Analyzing Responses to Laboratory Medicine Questions on Social Media》。


研究人员在美版知乎Quora和社交网站Reddit上搜集了49个有关检验医学的热门问答,并将相同的问题提给ChatGPT,将它们与 ChatGPT 3.5 和 4.0 版生成的回答进行了比较。由资深的检验医学专业人员对不同的答案进行质量评价。


每个问题都会对应3个匿名回答,3名拥有15年以上经验的检验主任级专业人士作为评估人员,同时考虑准确性、相关性、时效性和清晰度等因素,在评估表中选出1~2个首选的答案,并为每个答案评级。


文献截图


结果显示,ChatGPT 的回答获得的优秀评分明显多于医疗专业人员的回答(下图绿色部分),同时ChatGPT 的回答获得的较差评分明显少于医疗专业人员的回答(下图粉色部分)。


文献截图


评估人员首选回答倾向ChatGPT 的占比达到75.9%(95% CI,68.8%-83.1%)。


文献截图


总体而言,评估人员认为,ChatGPT 的回答更加全面且准确,而医疗专业人员的回答则更加简洁且易于理解。



华西医院最新研究

AI参加中级考试,正确率高于平均值


类似的研究国内也已经有相关报道。


四川大学华西医院实验医学科路小琴等发表在《临床检验杂志》的研究《大语言模型在检验医学领域的应用潜力与挑战评估》中,同时对比了中外大语言模型ChatGPT-4.0和ERNIE Bot-4.0在检验医学领域的应用表现。


该研究以全国临床医学检验技术(中级)考试真题作为基准,对于2个模型在检验医学知识掌握和答题一致性方面的表现;通过30个检验医学病例评估模型在检验结果解读和辅助诊断方面的能力。


结果显示,在临床医学检验技术测试中,2个模型均通过了60%的合格线。ChatCPT-4.0在答题正确率上明显低于ERNIE Bot-4.0(73.25% vs 80.75% ) ,ERNE Bot-4.0正确率已经高于临床检验人员此项考试的平均正确率78.03%。


在病例分析测试中,两者均在常规病例分析上表现良好,但在复杂病例分析中会发生错误。



通用大语言模型

现阶段难以直接应用于检验领域


以上2项研究中均是以通用大语言模型为对象,其在复杂病例的分析能力以及结果输出的准确性和一致性方面都存在问题,现阶段直接将这类通用型大语言模型应用于临床检验结果解读及辅助诊断存在相当大的风险,极容易出现“一本正经的胡说八道”的情况,也就是所谓大模型幻觉。


除了技术问题之外,通用大语言模型缺乏特定医学训练且无法甄别过时医学知识是主要原因。


但根据特定领域知识量身定制的小语言模型(SLM)通过在精选医学数据集上进行训练,可以更精确地理解和处理医学知识和概念,为特定的健康问题提供更准确、相关性更强的结果。


图像识别相关的研究已经相当成熟!



检验的最后一片【净土】

正在被AI攻破!


形态学检验作为广大检验人心中坚信难以被机器取代的最后一片“净土”,现在也正在被AI攻破!


图像识别作为计算机视觉的重要分支,在医学领域中迅速发展,目前已被广泛应用于生物医学成像。与此同时,相关技术也拓展至检验医学领域。作为医学检验的重要组成部分,形态学检验在AI技术的参与下,正处于技术变革的前沿。


AI在血液形态学检验中的研究相对成熟,硬件方面包括WSI、自动对焦等,应用方面包括外周血细胞形态学分析、罕见血细胞筛查、血液寄生虫检验 等,均已取得了突破性进展,基于AI的体外诊断形态学检验产品已开始进入可实质性服务临床医疗阶段。


在微生物形态学检查方面,AI技术主要应用于镜下形态和菌落特征两方面。虽然AI在微生物涂片形态学检查中的研究目前处于起步阶段,但也已突破革兰染色镜检仅能区分革兰阴性和阳性的限制;微生物培养平板的菌落形态识别方面,AI技术的引入使以手工为主的微生物检验实现全面自动化成为可能。




参考文献


1.Girton MR, Greene DN, Messerlian G, Keren DF, Yu M. ChatGPT vs Medical Professional: Analyzing Responses to Laboratory Medicine Questions on Social Media. Clin Chem. 2024 Sep 3;70(9):1122-1139. doi: 10.1093/clinchem/hvae093. PMID: 39013110.

2.陆小琴,佳薇,武宇翔,武永康.大语言模型在检验医学领域的应用潜力与挑战评估[J].临床检验杂志,2024,42(08):619-623

3.奕巧莲,吴卫,徐英春. 人工智能在形态学检验中的研究进展[J]. 中华检验医学杂志,2024,47(05):578-584.




近期直播推荐



编辑:笪文武  审校:徐少卿


检验医学
检验医学新媒体现有75W+(公众号60w+,视频号15w+)用户,是全国“健康新媒体十强”单位,是检验医学领域全国最具影响力的官方学术媒体平台。检验医学新媒体致力于检验医学人才交流与培养,促进检验与临床融合发展,从而助力检验医学学科的发展。
 最新文章