视觉语言模型与多模态融合：压缩VLLM视觉 token 数量，保持性能；VLLM不同细粒度多层次视觉特征融合
VisionZip: Longer is Better but Not Necessary in Vision Language Models
2024-12-05｜CUHK, HKUST, HIT(SZ)|🔺48
http://arxiv.org/abs/2412.04467v1
https://huggingface.co/papers/2412.04467
https://github.com/dvlab-research/VisionZip
研究背景与意义
在当今的人工智能领域，视觉-语言模型（VLMs）正迅速发展，特别是在图像理解和多模态对话系统中的应用。当前的VLMs通常依赖大量的视觉 token （tokens），以便从图像中提取信息。然而，随着视觉 token 数量的增加，模型的性能并不总是线性提升，反而可能导致冗余和效率低下的问题。因此，研究者们开始关注如何有效减少视觉 token 的数量，同时保持或提升模型性能。本文提出的VisionZip方法，旨在通过选择最具信息量的视觉 token 来解决这一问题，从而提高模型的效率和响应速度。
研究方法与创新
VisionZip方法的核心创新在于其选择和合并视觉 token 的策略。具体而言，该方法通过以下几个步骤实现：
主导 token 选择：通过分析视觉 token 的注意力得分，选择出那些在信息传递中起到关键作用的主导 token 。这些 token 通常承载了大部分图像信息。
上下文 token 合并：对于剩余的视觉 token ，VisionZip采用一种基于相似度的合并策略，将相似的 token 合并为上下文 token ，以减少冗余信息并保留重要细节。
高效调优：在微调过程中，VisionZip通过使用最小的数据集对多模态投影器进行快速调优，从而实现视觉和语言空间之间的更好对齐。
这一方法的优势在于，它不仅能显著降低视觉 token 的数量（最多可减少到原来的10%），还可以在保持95%性能的基础上，加速模型推理过程，特别是在处理多轮对话时表现出色。
实验设计与结果分析
在实验中，VisionZip被应用于多个基准测试，包括LLaVA和Video-LLaVA等。实验结果显示，使用VisionZip的模型在多个任务中均表现出色。例如，在LLaVA-1.5模型上，VisionZip在仅使用64个视觉 token 的情况下，仍然能够达到接近于使用576个 token 的性能。此外，VisionZip还显著提高了推理速度，预填充时间减少了8倍，显示出其在实际应用中的潜力。
结论与展望
VisionZip的提出为视觉-语言模型的设计与优化提供了新的思路。通过有效减少视觉 token 的冗余，VisionZip不仅提升了模型的推理效率，还为多模态对话系统的应用奠定了基础。然而，仍需进一步探索如何在更复杂的场景中应用此方法，并提高其在不同任务中的适应性和鲁棒性。未来的研究可以集中在如何结合其他先进的模型架构，进一步增强VisionZip的性能。
Florence-VL: Enhancing Vision-Language Models with Generative Vision Encoder and Depth-Breadth Fusion
2024-12-05｜UMD, Microsoft Research|🔺15
http://arxiv.org/abs/2412.04424v1
https://huggingface.co/papers/2412.04424
https://github.com/JiuhaiChen/Florence-VL
研究背景与意义
在多模态大语言模型（MLLMs）发展的背景下，Florence-VL的提出为视觉与语言的结合提供了新的视角。当前的研究主要集中于如何有效整合视觉信息与语言模型，以提升模型在视觉问答、文本生成等任务中的表现。现有的视觉编码器如CLIP和SigLIP虽然在多模态任务中表现出色，但在处理细粒度信息和多层次特征时存在局限性，往往只能提供整体场景的语义表示，忽略了像素级或区域级的细节。这一研究的核心目标在于通过引入Florence-2作为视觉编码器，利用其丰富的视觉特征，提升模型在多种下游任务中的表现。
研究方法与创新
Florence-VL的创新之处在于其独特的“深度-广度融合”（DBFusion）策略。该方法通过从不同深度的视觉特征中提取信息，结合不同任务提示下的特征，形成多样化的视觉表示。这种融合策略不仅可以捕捉到图像的高级概念，还能有效整合低级特征，确保模型在处理各种下游任务时具备更强的适应性。
具体而言，Florence-2模型通过其生成式视觉基础模型的能力，能够在多个计算机视觉任务中提供统一的提示基础表示。这一方法的优势在于，它能够灵活应对不同任务所需的感知信息，并通过通道拼接的方式高效地融合多种视觉特征，从而生成适合输入语言模型的复合特征。
实验设计与结果分析
实验设计方面，Florence-VL在多个基准测试中表现出色，尤其是在视觉问答、OCR及图表理解等任务上。通过与其他先进模型的对比，Florence-VL在25个多模态基准测试中均取得了显著的性能提升。定量分析显示，Florence-2的视觉表示在与语言模型的对齐度上优于其他流行的视觉编码器，表明其在多模态任务中的有效性。
实验结果表明，采用DBFusion策略后，Florence-VL在处理图像时能够更好地捕捉到不同层次的特征信息，尤其是在需要细致文本理解的任务中，OCR特征的引入显著提升了模型的表现。
结论与展望
Florence-VL的研究展示了在多模态模型中整合丰富视觉特征的重要性，尤其是通过深度-广度融合策略，模型能够在多种视觉任务中实现高效的信息提取与理解。未来的研究可以进一步探索更复杂的特征融合方法，以适应不同下游任务的需求。此外，随着计算效率的不断提升，如何在不牺牲性能的前提下实现更高效的视觉编码器将是一个重要的研究方向。Florence-VL的成功为多模态大语言模型的进一步发展提供了新的思路和方向。
