点击上方蓝字关注我们
MM-LLMs: Recent Advances in MultiModal Large Language Models
作者列表：
Duzhen Zhang , Yahan Yu , Jiahua Dong, Chenxing Li , Dan Su, Chenhui Chu and Dong Yu
作者单位：
腾讯人工智能实验室，日本京都大学等
论文链接：
https://arxiv.org/pdf/2401.13601
1. 简介
多模态大语言模型（MM-LLMs）在过去的一年中取得了显著进展，通过低成本的训练策略，将现成的大语言模型（LLMs）扩展为支持多模态输入或输出的模型。本文提供了对MM-LLMs的全面综述，涵盖了模型架构的设计、训练流程，以及最新的研究进展和未来的发展方向。研究表明，MM-LLMs不仅保留了LLMs的推理和决策能力，还能够在多种多模态任务中表现出色。
2. 多模态大语言模型面临的挑战
MM-LLMs主要面临以下挑战：
模态间的对齐问题：如何有效地连接LLMs与其他模态的模型，实现多模态协同推理。 高计算成本：随着模型和数据集规模的扩大，传统多模态模型的训练成本显著增加。 多模态理解和生成：如何增强模型的多模态理解和生成能力，特别是在模态转换和人类意图对齐方面。
3. 多模态大语言模型发展现状
如图1所示， 自2022年以来，MM-LLMs迅速发展，出现了多种支持不同模态组合的模型，如图像-文本、视频-文本和音频-文本等。GPT-4和Gemini等模型的推出进一步推动了该领域的发展。
根据功能和设计，MM-LLMs可以分为多模态理解模型和多模态生成模型。前者侧重于对多模态输入的理解和推理，后者则扩展了支持特定模态输出的能力。此外，还可以根据模型是否通过工具使用或是否为端到端训练进行分类。
MM-LLM 的通用模型架构以及每个组件的实现选择如图2所示。
代表性模型：包括Flamingo、BLIP-2、LLaVA、MiniGPT-4、InstructBLIP等，这些模型在不同的多模态任务中展现了卓越的性能。
表1中给出了43个主流多模态大语言模型的总结。
4. 多模态大语言模型的未来研究方向
扩展模态：未来MM-LLMs将扩展至更多模态，如网页、热图和图表，以提升模型的通用性和适应性。 提升生成能力：加强MM-LLMs的生成能力，探索基于检索的方法以补充生成过程，提升模型的整体性能。 轻量化部署：开发适合资源受限平台的轻量级模型，实现高效计算和推理。 持续学习：在不频繁重新训练的情况下，通过持续学习使模型灵活应对新数据和新任务。 解决幻觉问题：研究如何减少模型生成的错误描述，增强输出的准确性和可信度。 偏见与伦理考虑：确保模型应用的安全性和有效性，开发新基准评估模型的偏见，并设计更精细的对齐方法以减少偏见输出。
关于论文的详细实施过程和具体解释请阅读论文原文哦～❤️❤️
喜欢的话，请别忘记点赞👍➕关注哦
推荐阅读
ACL 2024｜机器学习新纪元！多模态机器学习火热论文汇总特辑！（下）
ACL 2024｜机器学习新纪元！多模态机器学习火热论文汇总特辑！（上）
