医疗与领域特化语言模型应用：医疗记录问答，隐私保护，语义检索
Question Answering on Patient Medical Records with Private Fine-Tuned LLMs
2025-01-23｜Stanford, Genloop|🔺3
http://arxiv.org/abs/2501.13687v1
https://huggingface.co/papers/2501.13687
研究背景与意义
在现代医疗系统中，电子健康记录（EHRs）的生成量巨大，主要采用快速医疗互操作性资源（FHIR）标准进行存储。尽管这些记录中蕴含了丰富的信息，但其复杂性和庞大体量使得用户在检索和解读重要健康信息时面临挑战。近年来，大型语言模型（LLMs）的进展为这一问题提供了解决方案，它们能够实现对医疗数据的语义问答，使用户能够更有效地与其健康记录进行互动。然而，确保隐私和合规性则需要在边缘和私有环境中部署LLMs。
本研究提出了一种新颖的语义问答方法，首先识别与用户查询最相关的FHIR资源（任务1），然后基于这些资源回答查询（任务2）。我们探讨了私有托管的微调LLMs的性能，并将其与基准模型如GPT-4和GPT-4o进行评估。结果表明，尽管微调的LLMs在规模上比GPT-4小250倍，但在任务1的F1分数上超出GPT-4 0.55%，在任务2的METEOR任务上超出42%。此外，我们还考察了LLMs使用中的一些高级方面，包括顺序微调、自我评估（自恋评估）以及训练数据规模对性能的影响。
研究方法与创新
本研究的方法论分为两个主要任务：
任务1：识别与用户查询相关的FHIR资源
将此问题设定为二元分类问题，给定用户查询和FHIR资源，模型需要判断资源的相关性。我们微调了当前最佳模型（如Llama-3.1和Mistral-NeMo）以提高在此任务上的表现。
任务2：基于识别出的FHIR资源回答用户查询
在此阶段，我们利用相关资源生成回答。我们同样微调了相同的模型，并将其与GPT-4（当时的最先进模型）及Meditron进行对比，评估其在生成准确性和效率上的表现。
在实验中，我们使用合成患者数据生成了针对每个任务的训练集，并进行了多轮微调以优化模型。我们的研究不仅关注模型的性能提升，还探讨了微调策略对模型知识保持的影响，以及模型在评估自身输出时可能存在的自我偏好。
实验设计与结果分析
实验设计包括以下几个关键步骤：
数据准备：使用Synthea生成符合FHIR格式的合成医疗记录，并通过脚本过滤出与患者查询相关的资源。 微调过程：采用参数高效微调技术（如QLoRA），在NVIDIA A100 GPU上进行模型训练，以确保在计算资源有限的情况下仍能获得良好的性能。 性能评估：通过F1、Recall、Precision和METEOR等指标对模型进行全面评估，确保其在实际应用中的有效性。
实验结果显示，微调后的模型在任务1和任务2的准确率和效率上均显著优于未微调的基线模型。尤其是在任务1中，Llama-3.1 Base微调后的模型达到了98.82%的准确率，而GPT-4的表现略逊一筹。
结论与展望
本研究的结论强调了微调在任务特定应用中的重要性，尤其是在医疗领域。尽管我们使用的是合成数据，但研究结果仍然为未来的真实数据应用奠定了基础。未来的工作将集中在多任务学习和持续预训练策略上，以进一步提升模型在处理FHIR数据时的性能。
我们希望通过这些努力，能够开发出一个高效的模型，能够同时处理多种医疗查询任务，从而更好地服务于患者和医疗提供者。
