视觉语言模型加速与优化：LVLMs分层drop token，视觉冗余
PyramidDrop: Accelerating Your Large Vision-Language Models via Pyramid Visual Redundancy Reduction
2024-10-22｜USTC, Shanghai AI Lab, CUHK|🔺30
http://arxiv.org/abs/2410.17247v1
https://huggingface.co/papers/2410.17247
https://github.com/Cooperx521/PyramidDrop
研究背景与意义
在近年来，随着大型视觉语言模型（LVLMs）的快速发展，它们在图像和视频理解等多个应用领域取得了显著进展。然而，LVLMs的计算成本随着输入图像分辨率的增加而急剧上升，这使得训练和推理的效率面临严峻挑战。现有的图像token压缩方法要么在输入LVLM之前进行压缩，要么在LVLM的早期层中丢弃部分token，然而这些方法往往会导致关键信息的丢失，从而影响模型性能。因此，如何有效地减少视觉信息的冗余，提高LVLM的效率，成为了一个亟待解决的重要问题。
本研究提出了一种名为PyramidDrop的视觉冗余减少策略，通过对LVLM进行分层处理，逐步减少图像token的数量，以提升训练和推理的效率，同时保持性能的可接受性。通过对LVLM的深入分析，研究表明，浅层的所有视觉token都是必要的，而随着层数的增加，token的冗余性逐渐增加。PyramidDrop策略为未来的研究提供了新的思路，激励研究者进一步探讨图像token在LVLM中的作用。
研究方法与创新
PyramidDrop方法的核心在于对LVLM进行分层处理，具体步骤如下：
分层处理：将LVLM划分为多个阶段，在每个阶段的末尾按照预定义的比例丢弃部分图像token，以形成金字塔式的视觉token。 轻量级相似性计算：在丢弃token时，利用轻量级的相似性计算方法，以较小的时间开销确定哪些图像token是重要的。 逐层减少冗余：在浅层保留所有图像token以避免信息损失，而在深层逐步减少token数量，以最大化训练和推理的效率。
通过这种方法，PyramidDrop能够显著降低训练时间和推理的计算复杂度，同时对模型性能的影响微乎其微。实验结果表明，采用PyramidDrop的模型在多个视觉语言任务上表现出色，训练时间减少了40%，推理时的计算量也显著降低。
实验设计与结果分析
在实验中，研究团队对PyramidDrop进行了广泛的验证，包括不同架构和输入分辨率的LVLM。具体的实验设计包括：
模型选择：选择LLaVA-1.5和LLaVA-NeXT等主流模型进行实验。 基准测试：在14个基准测试上评估PyramidDrop的效果，包括MME、DocVQA、TextVQA等。 效率评估：通过实际的训练GPU小时数和推理时的FLOPs进行效率评估。
实验结果显示，采用PyramidDrop的模型在训练过程中能够有效减少计算时间，同时保持与原始模型相当的性能。在高分辨率的基准测试上，PyramidDrop甚至表现出更好的效果，证明了其在压缩冗余信息的同时仍能保留关键信息的能力。
结论与展望
本研究提出的PyramidDrop方法为提高大型视觉语言模型的训练和推理效率提供了一种有效的解决方案。通过对视觉token冗余的深入分析，PyramidDrop能够在不显著损失性能的情况下，显著减少计算成本。未来的研究可以进一步探索这一方法在其他多模态任务中的应用潜力，以及如何结合其他技术来提升模型的整体性能和效率。
