多模态大语言模型与推理增强：多模态混合偏好优化；长链多模态推理数据合成
Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization
2024-11-15｜Shanghai AI Lab - OpenGVLab, Shanghai AI Lab, FDU, NJU, CUHK, THU, SenseTime Research|🔺42
http://arxiv.org/abs/2411.10442v1
https://huggingface.co/papers/2411.10442
https://internvl.github.io/blog/2024-11-14-InternVL-2.0-MPO/
研究背景与意义
在当前的人工智能研究中，多模态大语言模型（MLLMs）已成为一个重要的研究领域。这些模型通过结合文本和图像数据，展现出强大的推理能力。然而，现有的开源MLLMs在多模态推理方面仍然面临诸多挑战，尤其是在链式思维（CoT）推理性能上。研究指出，传统的预训练和监督微调流程在面对分布变化时，模型的推理能力受到限制。因此，本文提出了一种新的偏好优化（PO）方法，旨在增强MLLMs的多模态推理能力，特别是在处理复杂推理任务时的表现。
研究方法与创新
本文提出的混合偏好优化（MPO）方法结合了偏好优化和传统的监督微调，通过以下两方面进行创新：
数据构建：设计了一种自动化的偏好数据构建管道，创建了MMPR数据集，包含约300万条高质量的多模态推理偏好样本。这一过程不仅提高了数据的质量，还降低了标注成本。
模型优化：在模型层面，MPO通过学习响应对之间的相对偏好和个体响应的绝对质量，显著提升了模型在多模态推理任务中的表现。实验结果表明，经过MPO优化的模型在MathVista基准测试中达到了67.0的准确率，超越了基线模型InternVL2-8B，并且在多个基准测试中均表现出色。
实验设计与结果分析
实验设计采用了多种基准测试，包括M3CoT和MathVista，评估模型在多模态推理、视觉问答和幻觉评估等任务中的表现。实验结果显示：
推理能力提升：经过MPO优化的InternVL2-8B-MPO模型在MathVista中准确率提升了8.7个百分点，达到67.0，显示出显著的推理能力增强。 对比基准：与其他开源模型相比，MPO方法在多模态推理任务中展示了更高的准确性，尤其是在复杂的数学推理任务中，其表现更是接近10倍参数量的InternVL2-76B模型。
结论与展望
本研究通过引入偏好优化方法，成功增强了多模态大语言模型的推理能力。未来的研究可以进一步探索PO在其他类型任务中的应用潜力，以及如何结合更多的输入数据类型来提升模型的整体性能。我们希望本研究能够为多模态大语言模型的进一步发展提供新的思路和方向。
Insight-V: Exploring Long-Chain Visual Reasoning with Multimodal Large Language Models
2024-11-21｜NTU, Tencent , THU, NJU|🔺10
http://arxiv.org/abs/2411.14432v1
https://huggingface.co/papers/2411.14432
https://github.com/dongyh20/Insight-V
研究背景与意义
在人工智能领域，尤其是多模态大语言模型（MLLMs）的发展中，视觉推理能力的提升是实现人工通用智能的关键之一。现有的研究表明，尽管大语言模型在处理文本任务时表现出色，但在复杂的视觉推理任务中仍面临显著挑战。这主要源于缺乏高质量的长链推理数据以及有效的训练策略。
Insight-V的提出，旨在解决这些问题，通过构建可扩展的数据生成管道，提供高质量的长链推理数据，并设计一个多智能体系统来增强模型的推理能力。这一系统的核心在于其创新的数据生成方法和多智能体协作机制，为未来的视觉推理研究奠定了坚实基础。
研究方法与创新
Insight-V系统的创新主要体现在以下几个方面：
数据生成管道：
采用两步策略生成结构化、长链推理数据，确保数据的多样性和质量。 引入多粒度评估系统，对生成的推理路径进行质量控制，避免人工干预。
多智能体系统：
系统包括一个专注于推理的智能体和一个负责总结的智能体。前者生成详细的推理过程，后者评估推理的有效性并生成最终答案。 通过引入迭代的直接偏好优化（DPO）算法，提升推理智能体的生成稳定性和质量。
训练管道：
采用分阶段的训练策略，初期进行监督微调，后期通过DPO进一步优化模型，增强其推理能力。
这些创新使得Insight-V在视觉推理基准测试中显著提升了性能，尤其是在需要复杂推理的任务中，表现出色。
实验设计与结果分析
在实验设计中，Insight-V被集成到LLaVA-NeXT模型中，以验证其在多个视觉推理基准上的有效性。实验结果显示，Insight-V在七个视觉推理基准上平均提升了7.0%的性能，相比于基线模型，展现出卓越的推理能力。
对比基准：
Insight-V系统在多个基准测试中均表现优异，尤其是在复杂的视觉理解和数学推理任务中，展示了其强大的适应性和准确性。
统计显著性：
通过对比实验，Insight-V的改进具有统计学意义，验证了其设计的有效性。
多场景表现：
在不同类型的视觉推理任务中，Insight-V保持了较高的准确性，证明了其在多模态任务中的广泛适用性。
结论与展望
Insight-V的提出为多模态大语言模型的推理能力提升开辟了新路径。通过构建可扩展的数据生成管道和多智能体协作机制，Insight-V不仅解决了现有模型在视觉推理中的局限性，还为未来的研究提供了新的思路。尽管目前的系统已显示出良好的性能，但仍需进一步探索如何优化推理过程的效率和准确性，以实现更高水平的智能推理能力。未来的研究将集中在扩展数据生成的多样性、提升模型的推理深度以及探索更复杂的多模态任务上。
