颠覆性技术如大模型和人工智能正以迅猛的速度改变医疗健康领域。《论文速读》栏目旨在跟踪这些领域的最新进展，整理全球学术期刊中的前沿论文，帮助读者洞悉热门领域的最新趋势和突破。
本期我们聚焦大型语言模型（LLMs）在医疗健康领域应用的伦理挑战，特别是其在临床决策支持系统中表现出的种族和性别偏见问题。最新研究表明，LLMs在进行诊断推理、治疗方案生成和患者评估时，对不同人口统计群体呈现显著的算法偏差。这种偏差可能导致医疗资源分配不均、诊断准确率差异和治疗方案推荐的不公平。因此，在将LLMs集成到临床工作流程之前，迫切需要进行全面且透明的偏见评估，以及探索有效的偏见缓解策略。
期待与您共同探索大模型和医学人工智能领域的前沿科研成果。
01
Patient Autonomy in Medical Education: Navigating Ethical Challenges in the Age of Artificial Intelligence
◎ 标题：医学教育中的患者自主权：在人工智能时代应对伦理挑战的探索
◎ 摘要：人工智能（AI）在医学领域的日益融入标志着医疗保健进入了一个变革性时代，它承诺改善诊断、治疗和患者预后。然而，这种快速的技术进步也带来了渗透到医学教育中的伦理挑战。本文探讨了医学教育者在适应这些变化中的关键角色，确保伦理教育仍然是医学课程中的核心和可调整的组成部分。医学教育者必须与AI的进步同步发展，在算法和数据驱动的决策在患者护理中发挥关键作用的时代，成为伦理意识的守护者。传统的医学教育范式植根于基本的伦理原则，必须适应并纳入AI引入的复杂伦理考量。这种教学方法培养了动态参与，在学生中培育深刻的伦理意识。它使学生能够批判性地评估AI在医疗保健中应用的伦理影响，包括与数据隐私、知情同意、算法偏见和技术介导的患者护理相关的问题。此外，AI伦理挑战的跨学科性质需要与计算机科学、数据伦理、法律和社会科学等领域合作，以提供对伦理格局的全面理解。
Table: Recent Laws and Regulations Implemented by Different Countries to Protect the Data of Patients.
02
Generative artificial intelligence and ethical considerations in health care: a scoping review and ethics checklist
◎ 标题：生成式人工智能在医疗保健中的伦理考量：范围界定综述与伦理清单
◎ 摘要：ChatGPT和其他由生成式人工智能（GenAI）驱动的新兴技术的广泛使用，引起了人们对其可能引发的伦理问题的关注，尤其是在医疗保健等高风险应用领域。然而，目前的伦理讨论尚未转化为可操作的解决方案。此外，当前的伦理讨论往往忽视了其他类型的GenAI，这些GenAI被用于合成数据（如图像）以用于研究和实践目的，它们解决了一些伦理问题，同时也暴露了其他问题。我们对医疗保健领域GenAI的伦理讨论进行了范围界定综述，以全面分析研究中的差距。为了缩小这些差距，我们制定了一个清单，用于全面评估和评价GenAI研究中的伦理讨论。该清单可以被整合到同行评审和出版系统中，以提升GenAI研究的质量，并可能对GenAI驱动的产品及其在医疗保健和其他领域的应用的伦理相关披露有所帮助。
Panel: Definitions of the nine ethical principles for generative artificial intelligence (GenAI) in a health-care context
03
Unmasking and quantifying racial bias of large language models in medical report generation
◎ 标题：揭示和量化大型语言模型在医疗报告生成中的种族偏见
◎ 摘要：GPT-3.5-turbo和GPT-4等大型语言模型为医疗专业人员带来了希望，但这些模型可能在训练过程中无意中继承了偏见，潜在影响其在医疗应用中的实用性。尽管过去有少数尝试，这些偏见的确切影响和程度仍不确定。为探究这一问题，我们使用大型语言模型基于真实患者案例生成预测住院、费用和死亡率的响应，并手动检查生成的响应以识别偏见。研究发现，这些模型倾向于对白人群体预测更高的费用和更长的住院时间，并在具有挑战性的医疗情况下表现出乐观态度，预测明显更高的存活率。这些偏见反映了现实世界中的医疗保健差异，体现在患者背景的生成、特定疾病与某些种族和民族群体的关联，以及治疗建议的差异等方面。我们的发现强调了未来研究亟需解决和缓解语言模型中的偏见，特别是在关键的医疗保健应用中，以确保所有患者都能获得公平和准确的结果。
◎ 作者：Yifan Yang, Xiaoyu Liu, et al.
◎ 发表日期：2024-09-10
◎ 发表期刊：Communications Medicine
Figure :Evaluation procedure to probe bias in LLMs.
04
Mitigation measures for addressing gender bias in artificial intelligence within healthcare settings: a critical area of sociological inquiry
◎ 标题：医疗环境中人工智能性别偏见的缓解措施：社会学研究的关键领域
◎ 摘要：人工智能（AI）常被描述为提高医疗安全性和效率的关键，但一些研究指出相反的情况，证明AI中的偏见可能导致不平等和歧视。因此，越来越多的研究提出缓解措施来避免性别偏见，这些措施通常针对行业、学术界和政策制定者等利益相关者。本文填补了这一研究空白，探讨了五个旨在消除医疗领域AI性别偏见的缓解措施案例。医疗AI的快速发展在全球范围内发挥着关键作用，必须避免创造或加剧不平等和歧视。在这方面，避免医疗AI中性别偏见的缓解措施是核心工具，因此从社会科学（包括社会学）角度探讨这些措施至关重要。社会学家在研究AI不平等和差异方面做出了宝贵贡献，但研究指出需要更多关注，特别是在AI偏见方面。本文在肯定这些措施重要性的同时，指出它们缺乏负责实施的可问责主体，并忽视了潜在的实施障碍，如抵制、权力关系和知识等级。认识到这些措施将要实施的条件对于理解可能出现的潜在挑战至关重要。因此，需要更多研究从社会科学角度探讨缓解措施的实际实施，并对这些措施进行系统性回顾。
◎ 作者：Anna Isaksson
◎ 发表日期：2024-05-07
◎ 发表期刊：AI & SOCIETY
◎ 原文链接：https://link.springer.com/article/10.1007/s00146-024-02067-y
05
Assessing the potential of GPT-4 to perpetuate racial and gender biases in health care: a model evaluation study
◎ 标题：评估GPT-4在医疗保健中延续种族和性别偏见的潜力：一项模型评估研究
◎ 摘要：GPT-4等大型语言模型（LLMs）在医疗保健领域展现出巨大潜力，但也存在延续偏见和提供错误诊断的风险。本研究旨在评估GPT-4是否编码了影响其医疗应用的种族和性别偏见。我们使用Azure OpenAI接口，通过模拟临床和医学教育应用中的典型使用场景，测试了GPT-4在医学教育、诊断推理、临床计划生成和患者评估方面的表现。研究使用来自NEJM Healer和已发表研究的临床病例，比较了GPT-4对医疗条件人口分布的估计与美国真实患病率，并评估了不同人口群体间的诊断和治疗计划差异。结果显示，GPT-4未能适当模拟医疗条件的人口多样性，倾向于生成刻板化的临床病例和诊断。模型创建的评估和计划在不同人口统计群体间存在显著差异，包括对某些群体推荐更昂贵的程序。这些发现强调了在将GPT-4等LLM工具整合到临床护理之前，迫切需要进行全面和透明的偏见评估。我们讨论了这些偏见的潜在来源以及可能的缓解策略，为确保AI在医疗中的安全和公平应用提供了重要见解。
◎ 作者：Travis Zack, Eric Lehman, et al
◎ 发表日期：2024-01-01
◎ 发表期刊：The Lancet Digital Health
Figure: Probing modelling by GPT-4 of the demographic diversity of medical conditions
