大规模数据与模型训练：大规模多模态指令数据筛选，指令生成；先决学习，区分技能学习与知识学习
Infinity-MM: Scaling Multimodal Performance with Large-Scale and High-Quality Instruction Data
2024-10-24｜BAAI, BJTU, BUPT, CAS ICT, HKUST(GZ)|🔺12
http://arxiv.org/abs/2410.18558v1
https://huggingface.co/papers/2410.18558
研究背景与意义
在近年来，视觉-语言模型（VLMs）取得了显著的进展，然而，开放源代码指令数据的规模和质量的不足，限制了这些模型的性能。当前的研究主要集中在如何生成和利用更有效的训练数据上。
本文提出的Infinity-MM数据集，旨在通过扩展多模态指令数据集的规模和质量，来提升开放源代码模型的性能。具体而言，研究者们通过收集和组织数千万条样本，应用严格的质量过滤和去重处理，确保数据集的高质量和多样性。这一研究不仅为开放源代码模型提供了更丰富的训练基础，也为后续的多模态任务提供了重要的参考。
研究方法与创新
本研究的核心创新在于提出了一种基于开放源代码模型的合成数据生成方法。该方法通过详细的图像注释和多样化的问题生成，确保生成的指令数据与图像内容紧密对齐，同时保持指令类型的多样性和准确性。研究者们利用GPT-4系列模型，从指令数据集中提取图像，并根据目标指令类型生成相关问题。
这种方法不仅提升了指令数据的质量，还通过引入合成数据，进一步扩展了数据集的规模。最终，基于Infinity-MM数据集训练的2亿参数VLM模型Aquila-VL-2B，达到了与同规模的闭源模型相媲美的最先进性能，展示了合成数据在提升模型能力方面的有效性。
实验设计与结果分析
在实验设计方面，研究者们首先进行了大规模的数据收集和过滤，确保所用数据的多样性和高质量。接着，通过对比实验验证了合成数据对模型性能的影响。
实验结果显示，使用合成数据训练的模型在多个基准测试中表现优异，尤其是在视觉推理和复杂任务处理能力上，Aquila-VL-2B模型在MMBench和MathVist等基准测试中均取得了领先的成绩。这些结果表明，合成数据不仅提高了模型的理解能力，还增强了其在多模态任务中的表现。
结论与展望
综上所述，本文通过构建Infinity-MM多模态指令数据集，并提出了一种高效的合成数据生成方法，显著提升了开放源代码模型的性能。
未来的研究可以进一步探索合成数据的生成策略，优化模型架构，以应对更复杂的多模态任务。此外，研究者们也计划将这一方法应用于其他领域，以验证其普适性和有效性。
Fictitious Synthetic Data Can Improve LLM Factuality via Prerequisite Learning
2024-10-25｜UCSB, MIT, IBM|🔺5
http://arxiv.org/abs/2410.19290v1
https://huggingface.co/papers/2410.19290
https://github.com/UCSB-NLP-Chang/Prereq_tune.git
研究背景与意义
在近年来的研究中，大型语言模型（LLM）所产生的幻觉现象（hallucination）成为了一个主要的关注点。这种现象指的是模型生成的内容看似合理但却与现实世界的事实相悖。研究表明，造成这种幻觉的一个重要因素是预训练和微调阶段之间的知识不一致性。当微调阶段使用的训练数据包含LLM在预训练阶段未见过的知识时，模型可能会产生虚假的但看似合理的输出。为了解决这一问题，Liu等人提出了一种新的微调策略——PREREQ-TUNE，旨在通过引入先决学习阶段来解决知识不一致性的问题，从而减少幻觉的产生。
PREREQ-TUNE的核心在于将技能学习与知识学习进行解耦，使得模型能够专注于任务技能的学习，而不受知识不一致性的影响。通过这一策略，研究者们展示了使用虚构的合成数据不仅可以提高LLM的知识基础，还能显著改善模型在短问答和长文本生成任务中的准确性。
研究方法与创新
PREREQ-TUNE方法由两个主要阶段组成：先决学习阶段和监督微调（SFT）阶段。在先决学习阶段，研究者们训练了一个称为知识LoRA的低秩适应模型，专门用于学习微调所需的必要知识。在SFT阶段，知识LoRA保持不变，新的技能LoRA则在其上进行训练，以执行具体的微调任务。这种方法确保技能LoRA能够始终将生成的输出与模型的内部知识相结合，从而减少幻觉的发生。
此外，PREREQ-TUNE还创新性地结合了虚构的合成数据，使得模型能够在没有真实知识干扰的情况下进行有效的学习。通过创建多个版本的知识数据集，研究者们能够强制技能LoRA将不同的答案与不同的知识LoRA版本相联系，进一步增强了模型的知识基础和生成的准确性。
实验设计与结果分析
在实验中，PREREQ-TUNE被应用于两个长文本生成任务（传记生成和医疗问答）以及一个短问答任务。实验结果表明，PREREQ-TUNE在所有任务上均表现优异，尤其在长文本生成任务中，显著优于现有的基准方法。具体而言，PREREQ-TUNE在长文本生成任务中的准确率达到了45.30%，而在短问答任务中，准确率则为47.91%。这种性能的提升主要归功于先决学习阶段的有效性，使得模型能够在微调时更好地理解和应用知识。
结论与展望
本研究提出的PREREQ-TUNE方法有效地解决了LLM幻觉问题，通过知识与技能的解耦学习策略，显著提高了模型的生成准确性。尽管目前的研究已经展示了PREREQ-TUNE的有效性，但仍需进一步探索其在其他任务和领域中的应用潜力。
此外，研究者们也计划在未来的工作中，进一步优化虚构数据的生成过程，以提高模型的适应性和泛化能力。
结论与展望
本研究展示了使用多模态大型语言模型进行ECG图像解读的有效性，PULSE模型的开发和ECGInstruct数据集的构建为未来的心脏病学研究提供了新的方向。
尽管目前的结果令人鼓舞，但仍需进一步探索模型在更复杂临床场景中的应用，以及如何提高其在多轮对话和报告生成任务中的表现。未来的研究将致力于优化模型的推理能力，以应对更具挑战性的ECG解读任务。
