大模型推理与加速：长序列高效推理注意力；免训练多模态无效 token 剔除
Star Attention: Efficient LLM Inference over Long Sequences
2024-11-26｜NVIDIA|🔺25
http://arxiv.org/abs/2411.17116v1
https://huggingface.co/papers/2411.17116
https://github.com/NVIDIA/Star-Attention
研究背景与意义
在当前的自然语言处理领域，基于Transformer的大型语言模型（LLMs）正在推动着长序列处理的边界。然而，处理长序列的过程中，传统的自注意力机制由于其二次复杂度，导致了计算成本和时间的显著增加。为了解决这些问题，研究人员提出了多种技术来减少内存使用和提高推理速度。本文提出的Star Attention方法，旨在通过引入块稀疏近似的两阶段处理方式，显著提升长序列推理的计算效率，同时保持较高的准确性。
该研究的意义在于，它不仅解决了长序列推理中的计算瓶颈问题，还为大规模模型的应用开辟了新的可能性。通过优化注意力机制，Star Attention能够在不牺牲性能的前提下，支持更长的上下文，这对于多文档摘要、代码分析等任务具有重要的实际应用价值。
研究方法与创新
Star Attention方法的核心创新在于其两阶段的处理流程：
上下文编码：将输入序列分为多个连续块，并在每个块前添加一个锚块。每个计算节点只处理其分配的块，避免了节点间的通信，从而将注意力复杂度从二次降低为线性。这一策略类似于环形注意力，但在上下文编码阶段没有环形通信，显著提高了计算效率。
查询编码与输出生成：在这一阶段，查询被广播到所有主机，每个主机计算本地注意力并生成局部的KV缓存。然后，指定的查询主机负责聚合所有主机的注意力结果，计算全局注意力。该方法通过最小化数据传输，提高了计算效率。
Star Attention不仅与大多数基于Transformer的模型兼容，而且在多个长序列基准测试中表现出色，推理速度提高了多达11倍，同时保持了95-100%的准确率。这种灵活性和高效性使得Star Attention在长序列推理中具有广阔的应用前景。
实验设计与结果分析
在实验设计中，研究者们评估了Star Attention在多个长序列基准（如RULER和BABILong）上的表现。实验结果显示，Star Attention在处理不同长度的序列时，能够有效保持与全局注意力相似的准确性，同时实现显著的速度提升。
速度与准确性：在多个实验设置下，Star Attention的准确性下降幅度仅为0-3%，而速度提升则达到5倍以上。尤其在处理更大模型时，Star Attention展现出更显著的速度优势。
任务分析：通过对不同任务的分类分析，发现Star Attention在简单任务（如单一检索）上表现优异，而在需要跨块信息传播的复杂任务（如多跳推理）中，性能略有下降。这表明，尽管Star Attention在局部上下文处理上表现良好，但在需要全局上下文理解的任务中仍存在挑战。
结论与展望
Star Attention的提出为长序列推理提供了一个高效的解决方案，显著提升了推理速度并保持了高准确性。未来的研究可以集中在优化锚块机制及其在复杂长上下文任务中的应用上，以进一步提升Star Attention的性能和适用性。同时，探索如何将Star Attention与其他优化方法结合，将为大规模语言模型的推理能力带来更多突破。
Rethinking Token Reduction in MLLMs: Towards a Unified Paradigm for Training-Free Acceleration
2024-11-26｜NWPU, Sichuan U, Westlake U, Alibaba DAMO Academy|🔺14
http://arxiv.org/abs/2411.17686v1
https://huggingface.co/papers/2411.17686
https://ficoco-accelerate.github.io/
研究背景与意义
在当前的研究中，针对多模态大语言模型（MLLMs）的推理效率提升成为了一个重要的研究方向。随着模型规模的不断扩大，推理过程中的计算复杂度也随之增加，尤其是在处理长序列时，模型的计算和内存需求呈现出二次增长的趋势。这使得在实际应用中，MLLMs的部署受到限制。因此，如何在保持性能的前提下，减少计算量和内存占用，成为了学术界和工业界的共同目标。
在这一背景下，本文提出了一种统一的“过滤-关联-压缩”范式，旨在解决现有训练无关的token减少方法中存在的紧密耦合问题。通过将token减少过程分解为三个独立的阶段，该研究不仅增强了方法的可理解性，也为后续的研究提供了更大的灵活性。
研究方法与创新
本文的核心创新在于提出的“过滤-关联-压缩”范式。该范式通过以下几个关键步骤实现了token的高效减少：
过滤阶段：在这一阶段，首先定义了一个冗余评分向量，量化输入token的冗余性。通过对这些评分进行排序，决定哪些token应被丢弃。此步骤确保了在后续的处理阶段，保留的信息是最有价值的。
关联阶段：该阶段通过计算每个被丢弃token与所有候选token之间的相关性，来决定哪些信息应被保留。通过构建相关性矩阵，研究者能够追踪信息的传播，从而确保重要信息不会在丢弃过程中丢失。
压缩阶段：最后，利用前两个阶段的结果，结合加权平均的方法更新目标token，确保信息的有效融合。此阶段的设计确保了在减少token数量的同时，尽可能保留关键信息。
通过这种方法，本文的实验结果显示，在多个基准测试中，所提出的FiCoCo系列方法在计算效率和推理效果上均优于现有的训练无关方法。
实验设计与结果分析
实验部分，研究者在10个多模态基准上进行了广泛的测试，包括ScienceQA、TextVQA等。实验结果表明，FiCoCo系列方法在计算复杂度（TFLOPs）和准确率上均表现出色，尤其是在FiCoCo-L方法中，较其他方法显著提高了准确性。这些结果不仅验证了所提出方法的有效性，也为未来的研究提供了新的方向。
结论与展望
通过对现有token减少方法的深入分析，本文提出的“过滤-关联-压缩”范式为解决多模态大语言模型的推理效率问题提供了新的思路。尽管取得了一定的成果，但仍需进一步探索在不同应用场景下的适应性和灵活性。未来的研究可以集中在如何优化每个阶段的具体实现，以进一步提升模型的性能和效率。
