01。
概述
MedQA（USMLE风格问题）
MedMCQA
PubMedQA
MMLU临床主题的多项选择数据集
HealthSearchQA
LiveQA
MedicationQA
事实性：答案与当前医学共识的一致性
理解力：理解和解释医学信息的能力
推理能力：应用医学知识以得出结论的能力
风险和偏见：答案误导或延续有害偏见的潜力
02。
PaLM和Flan-PaLM：基线模型
PaLM：在大量文本和代码数据集上训练，展示了在各种推理任务上的卓越表现
Flan-PaLM：进一步使用指令和示例进行微调，在多个基准测试中取得了最先进的结果
03。
解决Flan-PaLM的局限性
科学依据：使答案与当前医学共识保持一致
降低风险：最小化有害建议的潜力
减少偏见：减少包含偏见信息
人类评估：将Med-PaLM与临床医生进行比较
04。
性能评估结果
临床医生评估：Med-PaLM的答案在所有评估方面都明显优于Flan-PaLM，包括科学准确性、潜在风险、偏见和完整性……然而，临床医生生成的答案总体上仍然更优越。
普通用户评估：与Flan-PaLM相比，Med-PaLM被认为更有帮助，更相关于用户意图，尽管它仍未达到临床医生的表现。
规模提升性能：像PaLM 540B这样的大型语言模型一贯优于小型模型，这表明它们在编码和利用医学知识方面具有固有能力。
指令提示调整至关重要：这种技术对于将LLM与医学领域对齐至关重要，与通用指令调整相比，它产生了更安全、更准确、更少偏见的回答。
扩展多医学问答：包括更多样化的医学领域、语言和任务，更好地反映现实世界的临床工作流程。
提升LLM能力：改进医学文献的基础，提高不确定性沟通、多语言支持和安全对齐。
05。
结语
参考：
*本文章内容借助AI进行翻译
