关键短语提取与医学问答：长文本多领域关键词提取；大规模泛非洲英语多专业医学问答数据集
LongKey: Keyphrase Extraction for Long Documents
2024-11-26｜PUCPR, U Luxembourg, PPGIa, PPGD｜BigData 2024|🔺5
http://arxiv.org/abs/2411.17863v1
https://huggingface.co/papers/2411.17863
https://github.com/jeohalves/longkey
研究背景与意义
在信息过载的时代，手动标注大量文档和学术论文变得愈加不切实际。自动化关键词提取（KPE）应运而生，旨在识别文本中的代表性术语，以提升文档的理解、检索和信息管理能力。现有的关键词提取方法多集中于短文档（最多512个标记），因此在处理长文档时面临诸多挑战，比如内容结构多样、句法复杂性增加、上下文变化等。这些挑战促使研究者开发专门针对长文档的先进方法。
本研究提出了LongKey，一个新颖的框架，旨在从长文档中提取关键词。该方法利用编码器基础的语言模型，捕捉文本的复杂性，填补了当前方法在长文本处理中的空白。通过对现有方法的分析，LongKey展示了其在多种未见数据集上的优越性能，表明其在多领域、长文本的关键词提取中具有广泛的适用性。
研究方法与创新
LongKey的创新之处在于其独特的三阶段方法：词嵌入、关键词候选嵌入和候选评分。首先，该方法使用Longformer模型生成长上下文文档的词嵌入，支持最多96K个标记，适合长文档的推理。其次，通过卷积网络构建关键词候选的嵌入，捕捉文本中的上下文细节。最后，LongKey对每个关键词候选分配一个评分，优化候选嵌入，以提高关键词的提取精度。
与现有的关键词提取方法（如JointKPE）不同，LongKey在损失函数的设计上进行了创新，专注于提升关键词候选的嵌入，增强模型的整体精准度和上下文敏感性。这种方法在多个长文档数据集上的表现优于传统方法，展示了其在真实应用中的潜力。
实验设计与结果分析
LongKey的实验设计包括对多个长文档数据集的评估，使用F1分数作为主要性能指标。实验结果显示，LongKey在LDKP3K和LDKP10K数据集上的F1@5分数分别达到了39.55%和41.81%，明显优于其他基准模型。尤其是在处理长文档时，LongKey展现了强大的适应能力。
此外，LongKey在未见数据集上的表现也相当突出，几乎在所有测试数据集中都超越了其他方法。这一结果表明，LongKey不仅在训练数据集上表现优异，而且在面对不同领域和文档长度时，依然能够保持高效的关键词提取能力。
结论与展望
LongKey的研究贡献在于提供了一种针对长文档的关键词提取新方法，填补了现有方法在长文本处理中的空白。尽管当前方法在某些短文档数据集上的表现略逊于最优模型，但在长文档领域的优势使其具有广泛的应用潜力。未来的研究可以进一步探索LongKey在不同领域的适用性，以及如何优化其在极长文本中的表现。
AfriMed-QA: A Pan-African, Multi-Specialty, Medical Question-Answering Benchmark Dataset
2024-11-23｜Intron, Georgia Tech, OSU, BioRAMP, Masakhane, Google Research, KU, UCC, Sisonke Biotik, MILA, U Minnesota, Brown U|🔺2
http://arxiv.org/abs/2411.15640v2
https://huggingface.co/papers/2411.15640
研究背景与意义
在当前医疗领域，尤其是在低收入和中等收入国家（LMICs），面临着医生短缺和专业知识不足的严峻挑战。大型语言模型（LLMs）在医疗多项选择题（MCQ）基准测试中的表现引起了全球医疗提供者和患者的广泛关注。这些模型有潜力通过提高临床生产力、可及性和运营效率来改善医疗服务，尤其是在资源匮乏的环境中。然而，LLMs在全球南方地区的有效性尚待验证，尤其是在非洲大陆。因此，研究团队提出了AfriMed-QA，这是第一个大规模的泛非洲英语多专业医学问答数据集，旨在填补这一空白。
研究方法与创新
本研究的核心创新在于构建了一个包含15,275个问题（包括开放式和封闭式问题）的数据集，涵盖32个医学专业，问题来源于16个国家的60多所医学院。研究通过评估30种LLMs在正确性和人口偏差等多个维度的表现，揭示了不同专业和地理背景下的显著性能差异。与现有的医疗基准相比，AfriMed-QA强调了地域性和文化背景对模型表现的影响，特别是在涉及语言变体和地区特定医学知识时。
实验设计与结果分析
研究设计包括对30种大型和小型LLMs的性能进行定量和定性评估。通过对比基准数据集，AfriMed-QA显示出在多个维度上的性能波动，尤其在MCQ任务中，LLMs的表现与美国医疗许可考试（USMLE）相比明显滞后。此外，研究发现，尽管LLMs在某些任务上表现良好，但在处理特定文化和地理背景的问题时，仍存在显著的偏差和局限性。
结论与展望
AfriMed-QA的推出为医学领域的LLMs提供了一个重要的基准，促进了对非洲及其他全球南方地区医疗需求的理解。尽管当前研究面临一些局限性，如样本的地域分布不均等，未来的工作将致力于扩展数据集的多样性，并探索多语言和多模态问答的可能性，以更好地服务于全球不同背景的医疗需求。此研究不仅为LLMs在医疗领域的应用奠定了基础，也为未来的研究提供了重要的方向。
