医学数据与多模态评估：大规模多模态、多任务生物医学指令数据集；降低prompt敏感性
MedINST: Meta Dataset of Biomedical Instructions
2024-10-17｜Eindhoven UT, U Liverpool, UTS(Sydney), Yale|🔺5
http://arxiv.org/abs/2410.13458v1
https://huggingface.co/papers/2410.13458
https://github.com/aialt/MedINST
研究背景与意义
近年来，大型语言模型（LLM）在医疗分析领域的应用逐渐成为研究热点。这些模型的引入为医学数据分析带来了显著的进步，但由于缺乏大规模、多样化且标注良好的数据集，仍然存在诸多挑战。尤其是在医学领域，数据的格式、大小和其他参数的多样性使得有效利用这些数据进行模型训练变得复杂。因此，构建一个全面的医学指令元数据集显得尤为重要。
为此，研究团队提出了MEDINST（Meta Dataset of Biomedical Instructions），这是一个包含133个生物医学任务和超过700万训练样本的多领域、多任务指令元数据集，旨在解决当前医学数据集稀缺的问题。
研究方法与创新
MEDINST的核心创新在于其多任务和多领域的结构。研究团队通过整合98个广泛采用的生物医学数据集，将其重新格式化为133个任务，涵盖命名实体识别（NER）、问答（QA）、关系提取（RE）等多个任务类型。每个任务都经过精心设计的指令，旨在提高模型对指令的理解和执行能力。通过这种方式，MEDINST不仅提供了丰富的数据资源，还为模型的训练提供了标准化的输入格式。此外，研究团队还构建了MEDINST32基准，用于评估LLMs在生物医学领域的跨任务泛化能力。该基准包含不同难度的任务，旨在全面测试模型的性能。
实验设计与结果分析
在实验中，研究团队对多个LLM进行了微调，评估其在MEDINST32基准上的表现。实验结果表明，使用MEDINST进行微调的模型在多项任务上显著优于未经过微调的基线模型。这一结果不仅验证了MEDINST作为一个有效的训练数据集的价值，也展示了其在提升模型泛化能力方面的潜力。此外，研究还对比了不同模型在各种任务中的表现，发现微调模型在处理复杂任务时表现出更好的稳定性和准确性。
结论与展望
本研究提出的MEDINST为生物医学领域的自然语言处理提供了一个重要的数据基础，展示了通过指令微调提升LLMs性能的有效性。
尽管目前的研究仍存在一些局限性，例如数据集主要以英语为主，未来的工作将致力于扩展多语言数据集，并探索如何将多轮对话样本纳入训练。此外，随着技术的进步，进一步优化模型架构和训练策略，将为医疗领域的智能化发展提供更多可能性。
TP-Eval: Tap Multimodal LLMs' Potential in Evaluation by Customizing Prompts
2024-10-23｜Shanghai AI Lab - OpenGVLab, Shanghai AI Lab, SJTU|🔺5
http://arxiv.org/abs/2410.18071v1
https://huggingface.co/papers/2410.18071
研究背景与意义
在多模态大语言模型（MLLMs）迅速发展的背景下，如何准确评估这些模型的性能成为了一个亟待解决的问题。现有的评估基准往往忽视了提示（prompt）敏感性的问题，这意味着微小的提示变化可能导致显著的性能波动，这使得模型的能力被低估。此外，不同模型对同一提示的响应偏好各异，因此使用相同的提示对所有模型进行评估可能会导致评估偏差。针对这一问题，本文提出了TP-Eval框架，通过定制化提示来降低评估偏差，从而全面挖掘模型的潜力。
研究方法与创新
TP-Eval框架的核心在于通过自动化的提示优化方法，针对不同模型和任务定制最优提示。该方法首先从现有基准的原始提示出发，结合少量示例，生成特定模型的最佳提示。这一过程不仅考虑文本，还结合了图像信息，克服了传统文本优化方法在多模态场景中的不足。此外，TP-Eval还引入了错误反思机制，通过对错误响应的分析，进一步优化提示设计，提升评估的准确性和可靠性。
方法的创新点包括：
提示定制化：针对不同模型的特性，设计个性化的提示，提升模型在特定任务上的表现。 自动化优化：利用自动化工具进行提示生成，减少人工干预，提高效率。 错误反思机制：通过分析模型的错误响应，指导提示的进一步优化。
实验设计与结果分析
实验结果表明，TP-Eval框架在多个基准任务上显著提升了模型的表现。例如，LLaVA-1.5-7B在32个任务中表现提升了25.1%。DeepSeek-VL-7B和Mini-InternVL-Chat-4B-V1-5同样在各自任务中显示出明显的性能提升。这些结果验证了TP-Eval在减轻提示设计缺陷、提高模型评估准确性方面的有效性。
在实验中，TP-Eval框架的表现优于传统的提示设计方法，尤其在复杂任务中，模型的潜能得到了更好地挖掘。此外，实验还表明，模型在面对简单任务时，提示的优化效果可能不明显，这与模型本身的能力密切相关。
结论与展望
TP-Eval框架为多模态大语言模型的评估提供了一种新的思路，能够有效降低提示敏感性带来的评估偏差，挖掘模型的真实能力。
未来的研究可以进一步探索如何在更广泛的任务和模型中应用这一框架，并优化提示生成的算法，以适应不断变化的技术需求。同时，随着多模态模型的不断发展，TP-Eval也将为相关领域的研究提供重要的参考和指导。
