STAGER 清单: 生成式人工智能可靠性的标准化测试和评估推荐
研究论文
● 原文链接DOI: https://doi.org/10.1002/imo2.7
● 2024年7月2日，南方医科大学罗鹏团队等在iMetaOmics在线发表了题为“STAGER checklist: Standardized testing and assessment guidelines for evaluating generative artificial intelligence reliability”的文章。
● 本研究发表的STAGER 清单是评估生成式人工智能（AI）可靠性的标准化测试和评估指南，有助于生成式人工智能在医学和生命科学领域的发展。如需简明清单请参阅附表或访问 GenAIMed.org。
● 第一作者：陈镜虹、朱凌煊、牟伟明、林安琪
● 通讯作者：程全(chengquan@csu.edu.cn)、苗凯(kaimiao@um.edu.mo)、袁硕峰(yuansf@hku.hk)、罗鹏(luopeng@smu.edu.cn)
● 合作作者：曾东强、齐畅、刘灶渠、江爱民、汤步富、史文杰、Ulf D Kahlert、周建国、郭世鹏、陆晓凡、Xu Sun、Trunghieu Ngo、蒲中机、贾保磊、Che Ok Jeon、何勇槟、吴海洋、古书琴、Wisit Cheungpasitporn、黄浩杰、毛卫浦、王诗翔、陈新、Loïc Cabannes、Gerald Sng、Gui Ren、Iain S Whitaker、Stephen Ali
● 主要单位：南方医科大学珠江医院肿瘤科；上海交通大学医学院附属第一人民医院泌尿外科；南方医科大学南方医院肿瘤科；奥地利维也纳理工大学逻辑与计算研究所；蛋白质组学国家重点实验室，北京蛋白质组研究中心，国家蛋白质科学中心（北京），北京生命科学研究院；中国医学科学院基础医学研究所医学分子生物学国家重点实验室、中国协和医科大学病理生理学系；海军军医大学（第二军医大学）长海医院泌尿外科；复旦大学附属中山医院放射肿瘤科；德国奥托-冯-盖里克大学医学院马格德堡大学医院普通外科、内脏外科、血管外科和移植外科分子与实验外科诊所；遵义医学院第二附属医院肿瘤科；德国埃尔兰根大学放射肿瘤系放射生物学研究室；德国埃尔朗根癌症综合研究中心；GZD实验室；斯特拉斯堡大学遗传、分子和细胞生物学研究所；巴黎西岱大学语言学系；中国杭州湘湖实验室；韩国中央大学生命科学系；北京体育大学运动医学与康复学院；北卡罗来纳大学教堂山分校医学院微生物与免疫学系Lineberger综合癌症中心；天津医科大学研究生院；天津医科大学临床学院神经内科、神经外科和神经康复系；美国杜克大学人类疫苗研究所，杜克大学医学中心；梅奥诊所；东南大学附属中大医院泌尿外科；美国波士顿贝斯以色列女执事医疗中心和哈佛医学院医学系；华南肿瘤学国家重点实验室实验研究部生物信息平台、广东省鼻咽癌诊治重点实验室、广东省肿瘤临床研究中心、中山大学肿瘤防治中心；南方医科大学珠江医院呼吸与危重症医学科；新加坡中央医院内分泌科；新加坡中央医院数据科学与人工智能实验室；英国斯旺西大学医学院生命科学研究所重建外科和再生医学研究中心；英国莫里斯顿医院威尔士烧伤和整形外科中心；中南大学湘雅医院神经外科；中南大学湘雅医院国家老年医学临床研究中心；澳门大学健康科学学院癌症中心及转化医学研究所；澳门大学MoE肿瘤前沿科学中心；香港大学深圳医院传染病及微生物学系；香港大学李嘉诚医学院临床医学院余嘉露感染中心微生物学系
● STAGER清单是评估生成式人工智能（AI）可靠性的标准化测试和评估指南，这是一个有着32个项目的框架，为评估医学和生命科学背景下的生成式人工智能系统提供了量身定制的标准化评估指南；
● STAGER清单由问题收集、查询方法和评估技术等关键方面组成；
● STAGER清单提高了研究质量，促进了这一新兴领域的发展。
生成式人工智能（AI）在医疗应用方面拥有巨大的潜力。已有大量研究探讨了各种生成式人工智能模型在医疗保健领域的功效，但目前还缺乏一个全面系统的评估框架。鉴于一些评估生成式人工智能在医疗应用中的能力的研究在方法设计上存在缺陷，目前也缺乏对其进行评估的标准化指南。为此，我们的目标是为评估生成式人工智能系统在医疗领域的表现量身定制标准化评估指南。为此，我们利用 Web of Sciences、Cochrane Library、PubMed 和 Google Scholar 数据库进行了全面的文献综述，重点关注测试医学中生成式人工智能能力的研究。我们的多学科团队由生命科学、临床医学、医学工程方面的专家和生成式人工智能用户组成，他们进行了多次讨论，并制定了一份包含 32 个项目的核对表。该清单旨在全面涵盖生成式人工智能在医疗应用中的关键评估方面。该清单及其所依托的更广泛的评估框架涉及几个关键方面，包括问题收集、查询方法和评估技术。我们的目标是对人工智能系统进行整体评估。检查表勾勒出了从问题收集到结果评估的清晰路径，为研究人员应对潜在挑战和陷阱提供了指导。我们的框架为涉及生成式人工智能在医学中的适用性测试的研究提供了标准化和系统化的方法。它提高了研究报告的质量，有助于生成式人工智能在医学和生命科学领域的发展。如需简明清单请参阅附表或访问 GenAIMed.org。
Bilibili：https://www.bilibili.com/video/BV1z4421D7dA/
Youtube：https://youtu.be/q0VJIc4CVIg
中文翻译、PPT、中/英文视频解读等扩展资料下载
引 言
生成式人工智能（AI）是人工智能中一个日益突出的子领域，具有生成文本、图像、音频、视频和代码等各种格式数据的卓越能力。这种多功能性还包括通过直接的文本提示实时适应新任务要求的能力。以在 PubMed 上搜索 Chat Generative Pre-trained Transformer（ChatGPT）为例，相关研究的数量呈增长趋势（图 1A）。在医学领域，生成式人工智能在快速处理医学文本和图像等多模态信息方面表现突出，在涉及 ChatGPT 的研究数量最多的前十五个领域中，医学相关领域占了很大比例（图 1B）。生成式人工智能可以用自然语言回复医学咨询，为医学专业人员的诊断决策和科学研究提供重要支持。ChatGPT 、Google Bard 和 New Bing 等大型语言模型也许是当今医疗领域探索得最多的生成式人工智能工具。
图1. 使用“ChatGPT”作为关键字的PubMed搜索的发布记录
（A）它揭示了以生成式人工智能为重点的出版物数量的快速增长，表明人们对这一领域的兴趣和研究正在显著激增。(B) 涉及 ChatGPT 研究数量最多的前二十个领域。ChatGPT，聊天生成预训练变换器。
目前关于生成式人工智能在医疗领域应用的研究范围很广，从评估其对医学知识的掌握程度和通过医学检查的能力，到协助提供初步医疗咨询以及迅速提供相关医疗信息和建议。这些研究强调了生成式人工智能在医疗保健领域应用的巨大潜力。然而，一个值得关注的问题是，一些已发表的研究在评估方法上可能存在方法论缺陷和局限性。这会给研究结果带来不同程度的偏差。例如，Fijačko 等人调查了 ChatGPT 在美国心脏协会（AHA）基础生命支持（BLS）和高级心血管生命支持（ACLS）考试中的表现，并强调 ChatGPT 无法通过这些考试。然而，这一结论忽略了一个事实，即生成式人工智能模型通常会对相同的询问做出不同的回应。经过修改的方法，包括重复相同的问题，发现 ChatGPT 确实可以通过这两项考试，并取得了显著的成功。另一个关键差距在于缺乏既定框架来系统评估生成式人工智能解决医学相关问题的能力。在评估涉及人工智能干预的临床试验方面，有一些被广泛采用的报告指南，如《人工智能试验报告综合标准》（CONSORT-AI）和《标准协议项目：干预试验建议－-人工智能》（SPIRIT-AI）指南。此外，还有一些针对特定医学领域的新型医学多模态大语言模型，如针对未来流行病的医学多模态大语言模型。然而，与一般人工智能干预措施相比，生成式人工智能干预措施可以同时提供更加细致和复杂的输出。利用生成式人工智能的早期试验通常侧重于狭义的问题解答用例。然而，随着其他生成式人工智能工具（如视觉语言模型）的快速发展，生成式人工智能的潜在用例在未来几年可能会呈指数级增长。因此，仍有必要为生成式人工智能干预制定全面而具体的报告指南。这样一个框架不仅能使评估标准化，还能极大地推动生成式人工智能在医学领域的应用研究。
我们提出了一个标准化方法框架，用于报告生成式人工智能系统在医疗相关领域的产出。该框架可作为评估生成式人工智能技术的综合指南，包括收集问题、合理设置问题、进行全面的结果评估等。考虑到生成式人工智能在选择题和开放式问题之间的表现差异，我们的指南对处理这两种问题类型的方法进行了周到的区分。这种区分确保了评估过程更加细致有效。我们的指南涵盖了研究过程中的关键环节，旨在帮助研究人员、医学专业人员和技术开发人员对生成式人工智能在医学能力评估中的能力进行全面而精确的评估，包括对准确性、完整性和可读性等方面进行仔细检查。
结 果
如表 1 所示，我们制作了一份由 32 个不同项目组成的核对表。该核对表代表了一个广泛而复杂的框架，专门用于评估生成式人工智能在医学领域的应用能力（图 2）。我们的框架全面涵盖了各种关键维度，如问题收集方法、先进的提问技巧和各种评估方法。这些方法不仅能评估人工智能系统的准确性和完整性，还能评估其清晰易懂地呈现信息的能力。
图2. 用于评估生成式人工智能系统的 STAGER 检查表关键组成部分示意图
这项工作制定了 STAGER 检查表，这是一个 32 个项目的框架，为评估医学和生命科学背景下的生成式人工智能系统提供量身定制的标准化评估指南，涉及问题收集、查询方法和评估技术等关键方面。它提高了研究质量，促进了这一新兴领域的进步。STAGER，用于评估生成式人工智能可靠性的标准化测试和评估指南；AI，人工智能。
这份清单的全面性确保了对生成式人工智能在管理和解释医疗数据和场景方面的能力进行详细而深入的评估。通过探索这些不同的维度，我们对人工智能在处理和解释复杂医疗信息方面的优势和潜在局限性有了宝贵的认识。这种理解对于优化人工智能在医疗环境中的应用至关重要。
此外，我们还对清单中列出的每个项目进行了详尽的解释，详见表 1。这些解释旨在阐明评估过程中每个步骤的基本原理和重要性。我们的目标是为研究人员提供明确的指导，帮助他们有效地应对在医学人工智能领域进行研究时可能遇到的多方面挑战。该指南有助于确保研究人员进行全面而有意义的评估，最终有助于提高生成式人工智能在医学研究和实践中应用的可靠性。
相关文献综述
为了制定一个详细而强大的框架来评估生成式人工智能在医学能力测试中的效率，我们开始了详尽的研究工作。我们深入研究了多个知名数据库，包括 Web of Sciences、Cochrane Library、PubMed 和 Google Scholar，彻底调查了生成式人工智能在医疗环境中应用的相关研究。我们的目标是收集当代研究中流行的各种观点和方法。这种策略性方法对于确保我们提出的清单的针对性和全面性至关重要。
研究筛选标准
从这些数据库中提取信息的过程遵循严格的标准，重点关注那些对生成式人工智能在医学能力测试中的评估和应用有重要见解的研究。我们的搜索参数包括一系列关键词和短语，专门用于捕捉这一快速发展领域中最相关的最新研究。这一广泛的文献综述不仅为我们提供了大量潜在的检查表项目，还让我们深入了解了生成式人工智能在医疗应用评估方面的现有挑战和差距。
组建跨学科专家团队
在文献综述之后，我们组建了一个跨学科专家团队，每个人都带来了独特而重要的观点。该团队由生命科学、临床医学和医学工程方面的专家组成，他们都是生成式人工智能技术的积极使用者。他们在医疗环境中使用人工智能工具方面的不同背景和实践经验有助于为检查表的开发提供全面的方法。
讨论核对表中的项目
团队按照《健康研究报告指南制定者指南》中概述的规程，进行了一系列有条理的深入讨论。这些讨论不仅旨在验证和完善最初提取的核对表项目，还旨在整合团队成员的不同见解和经验。每次会议都经过精心策划，以确保讨论重点突出、富有成效，并指定了具体的议程项目和核对表组成部分供审查和辩论。
审查和完善项目
在这些讨论中，团队严格审查了每个潜在的核对表项目，考虑其相关性、适用性以及在评估生成式人工智能在医学能力测试中的熟练程度方面的重要性。重点是确保每个核对表项目清晰、可衡量，并符合医学研究和人工智能应用的最高标准。团队还重点关注了每个项目在应对生成式人工智能在医疗环境中的具体挑战和细微差别方面的潜力。这包括对每个项目的能力进行批判性分析，不仅要评估人工智能系统的技术熟练程度，还要评估其实际效用、伦理考虑以及对临床结果的影响。
通过这种严谨的合作方法，并遵循《研究与评估准则评估》（AGREE），我们制定了一套全面的准则，用于评估生成式人工智能在医学能力测试中的熟练程度。这一框架不仅能满足当前领域的需求，还能适应未来人工智能在医学应用方面的进步和挑战。
讨 论
在制定这些指南的过程中，我们集中精力编制了一份包含 32 个项目的综合清单，该清单经过精心设计，旨在评估生成式人工智能在医学和生命科学领域的适用性。本指南的创新之处在于其广泛的评估维度，其中包括问题收集、提问方式和各种评估方法等重要方面。这种全面的方法有助于深入理解和评估生成式人工智能在医学环境中的表现，从而推动该领域的进步。
在构思清单时，我们敏锐地意识到目前在医疗领域应用生成式人工智能所面临的挑战。其中一个重大挑战是生成式人工智能的数据处理和信息生成不透明。这种不透明性往往导致难以解读和解释结果，从而有可能损害人工智能在医疗应用中的可信度和可用性。我们的核对表通过提供一个标准化框架来严格评估这些关键方面，从而提高研究的质量和可靠性。另一个主要挑战是问题收集、框架制定和综合结果评估过程中的差异。这些差异源于不同研究人员采用的不同方法，引入了一定程度的主观性，可能会使评估结果出现偏差。我们的核对表通过提供一个详细而实用的框架来解决这一问题。它强调问题的收集、人工智能代理的选择以及提出问题的方法等关键因素，所有这些因素都会对结果产生重大影响。这种详细的方法有效地消除了人们对主观性的担忧，确保评估更加客观可靠。
此外，我们还为人工智能模型开发人员提出以下建议：在强调数据质量和多样性的同时，我们鼓励开发人员探索可能偏离传统模型的创新方法。这种灵活性可为人工智能应用带来突破。此外，在医学伦理学中整合生成式人工智能虽然大有可为，但需要仔细考虑其认识论局限性。因此，我们建议采用灵活的方法来考虑伦理问题，在适应不同环境的同时，坚决遵守患者隐私和数据安全等核心原则。在一个伦理挑战与技术发展同样迅速的领域，这种平衡至关重要。
我们的核对表旨在保持方法论的严谨性和灵活性之间的平衡，这对于快速发展的医学人工智能领域至关重要。我们没有提供评分规则，旨在激发研究人员的创造力。例如，有一项研究探索了大型语言模型作为打击医疗虚假信息工具的潜力。这种方法鼓励对人工智能技术进行创新性应用和解释，从而实现突破性发展，而僵化的评分系统可能无法完全捕捉到这些发展。通过采用这种开放式方法，我们的框架营造了一个环境，让非传统的想法可以在此得到测试和完善，从而加快人工智能在医疗保健领域的发展。这种灵活性还允许整合新技术和新发现，确保我们的指南在该领域不断发展和变化的过程中保持相关性和有效性。
此外，我们的指南中对每个核对表项目的详细解释不仅仅是为了帮助理解。它在减少主观解释差异和提高评估的可重复性方面也发挥了重要作用。该指南使研究人员能够识别并解决研究中的潜在挑战，这对提高研究质量至关重要。通过提供全面的框架和指南，我们旨在为在医学研究中更细致、更有效、更可靠地使用生成式人工智能铺平道路。这种方法对于确保人工智能技术不仅在能力上有所进步，而且符合医学科学固有的严格要求和伦理考虑至关重要。
结 论
本指南中的评估框架引入了一种标准化和系统化的方法，用于评估医疗应用中的生成式人工智能研究，重点在于提高研究报告的质量。该框架对于促进医疗领域生成式人工智能的发展至关重要，可确保人工智能系统不仅具有创新性，而且在实际应用中有效可靠。通过提供一套明确的评估标准，该框架满足了对人工智能研究透明度和严谨性的需求，这在准确性和可靠性至关重要的领域是至关重要的。此外，该框架有望促进学术合作和知识交流，为跨学科合作创造沃土。这种合作对于生成式人工智能技术在医学应用领域的持续发展至关重要，可确保其保持前沿性、相关性，并与不断变化的医学科学领域保持一致。通过这一框架，我们的目标是为人工智能技术在医学应用领域的持续进步做出重大贡献，增强其在医学研究和实践中的革命性作用。
引文格式：
Jinghong Chen, Lingxuan Zhu, Weiming Mou, Anqi Lin, Dongqiang Zeng, Chang Qi, Zaoqu Liu, Aimin Jiang, Bufu Tang, Wenjie Shi, Ulf D. Kahlert, Jianguo Zhou, Shipeng Guo, Xiaofan Lu, Xu Sun, Trunghieu Ngo, Zhongji Pu, Baolei Jia, Che Ok Jeon, Yongbin He, Haiyang Wu, Shuqin Gu, Wisit Cheungpasitporn, Haojie Huang, Weipu Mao, Shixiang Wang, Xin Chen, Loïc Cabannes, Gerald Sng Gui Ren, Iain S. Whitaker, Stephen Ali, Quan Cheng, Kai Miao, Shuofeng Yuan, Peng Luo. 2024. STAGER checklist: Standardized testing and assessment guidelines for evaluating generative artificial intelligence reliability. iMetaOmics 1: e7. https://doi.org/10.1002/imo2.7
陈镜虹（第一作者）
● 南方医科大学2022级临床医学本科生。
牟伟明（第一作者）
● 南方医科大学2018级临床医学本科生；上海交通大学医学院上海市第一人民医院泌尿外科2023级硕士生。
● 主要研究方向为大语言模型在医学诊疗中的应用、肿瘤免疫微环境。
程全（通讯作者）
● 中南大学湘雅医院神经外科副主任医师，博士研究生导师，博士后合作导师。
● 主要研究方向为胶质瘤微环境、药物敏感性及大数据分析等；以一作或通讯作者在Molecular Cancer、Journal of Hematology & Oncology、Signal Transduction and Targeted Therapy、iMeta、Theranostics、Journal of Experimental Clinical Cancer Research、Eclinicalmedicine、Clinical Immunology、Computational and Structural Biotechnology Journal、Cancer Immunology Immunotherapy和Cell Proliferation等期刊发表论文，H指数32，ESI高被引7篇，热点论文2篇。
苗凯（通讯作者）
● 博士，澳门大学助理教授。
● 主要研究方向为功能基因组学研究，包括：（1）CRISPR技术介导的基因治疗；（2）基于单细胞barcode标记的CRISPR文库的高通量功能基因的筛选鉴定工作；（3）肿瘤转移的谱系示踪分析。主持或参加多项科研项目，包括国家自然科学基金重点项目；澳门科学技术发展基金重点研发专项；澳门大学研究计划基金等。近年来，在Nature Communication, Nature Cell Research, Advanced Science, PNAS, Oncogene等国际杂志发表SCI论文50余篇，授权专利2项。
袁硕峰（通讯作者）
● 香港大学李嘉诚医学院微生物学系助理教授、博士生导师。
● 以新冠病毒、中东呼吸综合征病毒等冠状病毒为主要研究对象，研究方向包括：1）抗病毒药物的高通量、快速筛选及创新抗病毒靶点的挖掘；2）构建动物模型开展抗病毒活性评价及病原特性研究。发表SCI收录论文100余篇，H因子32，总引用>11700次（基于Web of Science数据）。近5年来，以第一及通讯作者（含共同）身份在Nature，Science，Lancet等国际学术期刊发表SCI论文38篇。2021年和2022年连续被科睿唯安评为世界被引用数排名前 1% 的学者之一，并获年度"全球高被引科学家"。
罗鹏（通讯作者）
● 南方医科大学珠江医院肿瘤科研究助理，在香港大学微生物系学习。
● 主要研究方向为肿瘤免疫微环境、微生物在肿瘤免疫微环境中的应用、抗肿瘤药物机制等；以第一作者或通讯作者(含共同)在JAMA Intern Med、JAMA Oncology、eClinicalMedicine、Gut、J Hematol Oncol、J Thorac Oncol、MedComm、J Exp Clin Cancer Res、Brief Bioinform、Pharmacol Res、Mol Cancer、Elife、Int J Surg、Br J Surg、Clin Transl Med、JNCC、Neurology、Clin Gastroenterol H、iMeta和ESMO Open等期刊发表论文120余篇，总被引2900+，H-index=28；1项研究被ASCO指南引用；7篇ESI高被引论文，1篇热点论文；担任Nat Nanotechnol、Adv Sci、EBioMedicine、EClinicalMedicine、eLife、PNAS、Med和Npj Precis Oncol等杂志审稿人；现为iMeta、Phenomics和Cancer Drug Resistance青年编委以及多本SCI杂志客座编辑或编委。
iMetaOmics
更多资讯
● iMeta姊妹刊iMetaOmics(定位IF>10)欢迎投稿！(2024.2.27)
● iMeta姊妹刊iMetaOmics编委招募 (定位IF>10) (2024.3.2)
● iMeta姊妹刊iMetaOmics电子版和印刷版ISSN申请获批(2024.4.1)
● iMeta姊妹刊iMetaOmics投稿系统正式上线(2024.4.17)
● iMeta姊妹刊iMetaOmics主编正式官宣(2024.4.22)
（▼ 点击跳转）
高引文章 ▸▸▸▸
iMeta | 引用7000+，海普洛斯陈实富发布新版fastp，更快更好地处理FASTQ数据
高引文章 ▸▸▸▸
iMeta | 德国国家肿瘤中心顾祖光发表复杂热图(ComplexHeatmap)可视化方法
高引文章▸▸▸▸
iMeta | 高颜值绘图网站imageGP+视频教程合集
1卷1期
1卷2期
1卷3期
1卷4期
2卷1期
2卷2期
2卷3期
2卷4期
3卷1期
2卷2期封底
2卷4期封底
3卷2期
3卷3期
3卷3期封底
“iMeta” 是由威立、肠菌分会和本领域数百千华人科学家合作出版的开放获取期刊，主编由中科院微生物所刘双江研究员和荷兰格罗宁根大学傅静远教授担任。目的是发表原创研究、方法和综述以促进宏基因组学、微生物组和生物信息学发展。目标是发表前10%(IF > 20)的高影响力论文。期刊特色包括视频投稿、可重复分析、图片打磨、青年编委、前3年免出版费、50万用户的社交媒体宣传等。2022年2月正式创刊发行！发行后相继被Google Scholar、ESCI、PubMed、DOAJ、Scopus等数据库收录！2024年6月获得首个影响因子23.7，位列全球SCI期刊前千分之五(107/21848)，微生物学科2/161，仅低于Nature Reviews，同学科研究类期刊全球第一，中国大陆11/514！
“iMetaOmics” 是“iMeta” 子刊，主编由中国科学院北京生命科学研究院赵方庆研究员和香港中文大学于君教授担任，定位IF>10的高水平综合期刊，欢迎投稿！
联系我们
iMeta主页：
http://www.imeta.science
姊妹刊iMetaOmics主页：
http://www.imeta.science/imetaomics/
出版社iMeta主页：
https://onlinelibrary.wiley.com/journal/2770596x
出版社iMetaOmics主页：
https://onlinelibrary.wiley.com/journal/29969514
iMeta投稿：
https://wiley.atyponrex.com/journal/IMT2
iMetaOmics投稿：
https://wiley.atyponrex.com/journal/IMO2
邮箱：
office@imeta.science
