多模态大语言模型研究：InternVL 2.5，超越闭源模型的开源MLLM； 多步复杂推理的多模态指令调优数据集； 比肩商业模型的多智能体T2V框架
Expanding Performance Boundaries of Open-Source Multimodal Models with Model, Data, and Test-Time Scaling
2024-12-06｜Shanghai AI Lab, SenseTime Research, THU, NJU, FDU, CUHK, SJTU|🔺49
http://arxiv.org/abs/2412.05271v1
https://huggingface.co/papers/2412.05271
https://github.com/OpenGVLab/InternVL
研究背景与意义
在近年来，跨模态大语言模型（MLLM）逐渐成为人工智能领域的关键技术，能够处理和理解来自文本、图像和视频等多种模态的信息。这些模型的出现承诺在自然语言处理、计算机视觉和人机交互等领域带来突破。然而，开发大规模的MLLM仍然面临许多挑战，包括需要大量计算资源、复杂的架构以及有效整合多样化数据类型的能力。尽管市场上出现了一些高性能的闭源模型，如GPT-4o和Claude-3.5-Sonnet，但它们的闭源特性限制了透明度和可访问性，给开放源代码社区带来了挑战。因此，开发高效且具有竞争力的开放源代码MLLM显得尤为重要。本文介绍的InternVL2.5，旨在填补商业闭源模型与开放源代码多模态模型之间的性能差距，推动该领域的进一步发展。
研究方法与创新
InternVL2.5在InternVL 2.0的基础上进行了显著的改进，保持了核心模型架构，同时在训练和测试策略及数据质量方面引入了重要的增强。具体来说，研究团队系统地探讨了模型规模与性能之间的关系，深入分析了视觉编码器、语言模型、数据集大小和推理时间等因素如何影响模型的整体表现。通过对多项基准的广泛评估，包括多学科推理、文档理解、多图像/视频理解、现实世界理解等，InternVL2.5展现出了与领先商业模型相媲美的竞争性能。特别是，InternVL2.5是第一个在MMMU基准上超过70%的开源MLLM，显示了其在推理和测试时间扩展方面的强大潜力。
方法创新详解
视觉编码器的改进：
采用了更大规模的视觉编码器，显著减少了对训练数据的依赖。 例如，InternVL2.5-78B模型使用的6B视觉编码器在仅使用1/10的训练标记的情况下，表现优于配备600M视觉编码器的Qwen2-VL-72B。
数据质量的提升：
在从InternVL 2.0到2.5的升级中，数据集的大小翻倍，但通过严格过滤提升了数据质量。 研究显示，排除异常样本（如重复模式）显著提升了在Chain-of-Thought（CoT）推理任务上的表现。
测试时间扩展的策略：
针对困难的多模态问答任务，InternVL2.5-78B结合CoT推理达到了70.1%的准确率，相较于直接响应提高了3.7个百分点。
实验设计与结果分析
在实验设计方面，InternVL2.5进行了多场景的评估，涵盖了多学科推理、文档理解、多图像/视频理解、现实世界理解等。通过对比基准的实验，结果显示InternVL2.5在多个任务上均表现出色，尤其是在复杂的多模态任务中，展现了优异的性能。
基准对比：
InternVL2.5在多项基准测试中表现优于现有的开源模型，特别是在处理多模态数据时，展示了更强的理解和生成能力。
统计显著性：
通过对比不同模型的表现，研究团队证明了InternVL2.5的改进是统计上显著的，反映了模型架构和训练策略的有效性。
结论与展望
InternVL2.5的发布为开放源代码社区提供了一个强大的多模态AI系统开发工具，推动了相关研究的进一步发展。尽管当前模型在多个任务上表现优秀，但仍需进一步探索如何在更复杂的场景下提高其适应性和准确性。未来的研究将集中在优化模型性能、提升数据质量和扩展模型应用场景等方面，期望为多模态AI的发展奠定更坚实的基础。
MAmmoTH-VL: Eliciting Multimodal Reasoning with Instruction Tuning at Scale
2024-12-06｜CMU, NTU, U Waterloo, U Manchester, M-A-P|🔺27
http://arxiv.org/abs/2412.05237v1
https://huggingface.co/papers/2412.05237
https://mammoth-vl.github.io
研究背景与意义
在多模态大语言模型（MLLMs）领域，近期的进展显示出其在各种任务中的巨大潜力。然而，现有的指令调优数据集往往仅针对简单的视觉问答任务，缺乏对复杂推理过程的支持，限制了模型的推理能力。这篇论文提出了一种新的方法，旨在构建一个大规模的多模态指令调优数据集，以促进链式思维（CoT）推理的能力。这一创新不仅解决了现有数据集的局限性，还为多模态学习的未来发展奠定了基础。通过构建包含丰富中间推理的数据集，研究者们能够更好地训练模型，使其在处理复杂任务时表现得更加出色。
研究方法与创新
该研究的核心在于其数据生成方法。研究者们通过以下几个步骤构建了一个包含1200万条指令-响应对的数据集：
数据收集与分类：从153个公开的多模态指令数据集中收集数据，确保涵盖广泛的真实世界任务。 任务特定的数据增强与重写：针对不同类型的数据，设计定制化的提示，生成包含详细推理过程的任务导向问答对。这一过程显著提高了数据的复杂性和多样性。 自我数据过滤：利用模型作为评判者，自动过滤掉不一致或不准确的内容，从而提升数据的整体质量。
这种方法的创新之处在于其高效性和可扩展性，能够在保持数据质量的同时，快速生成大规模的训练数据。
实验设计与结果分析
在实验设计方面，研究者们采用了分阶段的训练策略，首先进行语言-图像对齐，然后进行单图像指令调优，最后扩展到多图像和视频数据的训练。通过这种方式，模型能够逐步提升其处理复杂任务的能力。
实验结果表明，使用新构建的数据集训练的模型在多个基准测试中表现出显著的性能提升。例如，在MathVerse基准测试中，模型的表现提高了8.1%，在MMMU-Pro测试中提高了7%。这些结果不仅验证了数据生成方法的有效性，也展示了在多模态推理任务中，链式思维的引入能够显著增强模型的推理能力。
结论与展望
本研究的贡献在于提出了一种新的数据生成方法，成功构建了一个高质量的多模态指令调优数据集，显著提升了模型在复杂推理任务中的表现。然而，研究也指出了数据集在多样性和复杂性方面的局限性，未来的工作可以进一步扩展数据集的覆盖范围，特别是在多图像和视频内容的处理上。通过持续优化数据生成和模型训练流程，研究者们有望推动多模态学习的进一步发展，提升模型在真实世界应用中的表现。
GenMAC: Compositional Text-to-Video Generation with Multi-Agent Collaboration
2024-12-05｜HKU, THU, Microsoft Research|🔺13
http://arxiv.org/abs/2412.04440v1
https://huggingface.co/papers/2412.04440
https://karine-h.github.io/GenMAC/
研究背景与意义
在当前快速发展的生成模型领域，文本到视频生成（Text-to-Video Generation）技术已取得显著进展。然而，现有模型在处理复杂的动态场景和组合文本提示时仍面临诸多挑战。这些挑战主要包括属性绑定、时间动态以及对象间的交互等。为了解决这些问题，研究者们提出了将复杂任务分解为简单任务的思路，以便通过多智能体（Multi-Agent）合作来实现集体智能。本文提出的GENMAC框架，正是基于这一理念，旨在通过迭代的多智能体协作来提升组合文本到视频生成的能力。
研究方法与创新
GENMAC框架的核心在于其迭代的工作流程，分为设计（DESIGN）、生成（GENERATION）和重设计（REDESIGN）三个阶段。每个阶段均由不同的智能体负责特定任务：
设计阶段：利用大型语言模型（MLLM）生成高层次的布局结构，确定对象在视频中的位置及其空间关系。 生成阶段：基于设计阶段的布局，使用现有的视频生成模型合成视频内容。 重设计阶段：此阶段最为复杂，主要通过验证、建议、修正和输出结构化四个子任务来确保生成视频与文本提示的一致性。重设计阶段的关键在于分解任务，通过多个专门化的智能体协作来减少生成过程中的幻觉现象。
此外，GENMAC引入了一种自适应的自路由机制，能够根据当前生成的视频和文本提示的错位情况，动态选择最合适的修正智能体。这种机制显著提高了模型在处理复杂场景时的灵活性和准确性。
实验设计与结果分析
在实验部分，作者通过对比GENMAC与17个现有的文本到视频生成模型，采用T2V-CompBench作为基准，评估了其在七个关键组合方面的表现。结果显示，GENMAC在所有评估指标上均优于其他模型，尤其在生成数值（Generative Numeracy）和空间关系（Spatial Relationships）方面表现突出。通过迭代的重设计过程，GENMAC能够逐步提升生成视频的质量，确保其准确反映复杂的组合提示。
结论与展望
本文提出的GENMAC框架为组合文本到视频生成提供了一种新的解决方案，展示了多智能体协作在处理复杂任务中的优势。未来的研究可以进一步探索如何优化智能体之间的协作机制，以及如何扩展模型以处理更广泛的生成任务。通过不断迭代和优化，GENMAC有潜力在视频生成领域实现更高的智能化水平，为相关应用开辟新的可能性。
