华为诺亚方舟实验室、香港大学、KAUST和马克斯·普朗克智能系统研究所的研究人员提出了SepLLM，一种稀疏注意机制，旨在简化注意力计算。SepLLM专注于三种令牌类型：初始令牌、邻近令牌和分隔符令牌，通过利用分隔符令牌（如逗号和句号）来压缩段信息，从而减少计算开销，同时保留重要上下文。该机制能够处理超过四百万个令牌的序列，提高了长文本处理的效率，并在推理和内存使用方面表现出色。
参考：
https://github.com/HKUDS/SepLLM https://arxiv.org/abs/2412.12094
点个分享、点赞与在看，你最好看~
