卡内基梅隆大学、加州大学伯克利分校、IBM研究院和MIT-IBM沃森人工智能实验室的研究团队提出了一种新方法——稀疏注意向量（SAVs），旨在将生成大型多模态模型（LMMs）有效应用于判别性视觉语言任务，如图像分类和多选VQA。SAVs通过利用少于1%的注意头激活作为特征，避免了传统方法对大规模训练数据和特定模态特征的依赖，展示了在少量示例下的优越性能。该方法在多个判别性任务中表现出色，尤其是在检测幻觉和有害内容方面，显示出其在计算效率和可扩展性上的优势。
参考：
https://arxiv.org/abs/2412.00142 https://github.com/chancharikmitra/SAVs
点个分享、点赞与在看，你最好看~
