“他山之石，可以攻玉”，站在巨人的肩膀才能看得更高，走得更远。在科研的道路上，更需借助东风才能更快前行。为此，我们特别搜集整理了一些实用的代码链接，数据集，软件，编程技巧等，开辟“他山之石”专栏，助你乘风破浪，一路奋勇向前，敬请关注！
本文提出了一种新的注意力机制DBRA和基于此的新型视觉Transformer网络DeBiFormer，通过双层路由注意力和代理查询优化键值对选择，增强了模型的识别能力，并在多个数据集上取得了优异的性能。
论文: DeBiFormer: Vision Transformer with Deformable Agent Bi-level Routing Attention
论文地址：https://arxiv.org/abs/2410.08582 论文代码：https://github.com/maclong01/DeBiFormer
创新点
提出了可变形双层路由注意力（ DBRA），一种用于视觉识别的注意力内注意力架构，利用代理查询优化键值对的选择并增强注意力图中查询的可解释性。提出了一种新型主干网络 DeBiFormer，基于注意力热图的可视化结果具有更强的识别能力。在 ImageNet、ADE20K和COCO上进行的大量实验表明，DeBiFormer始终优于其他基线。
内容概述
最近，随着动态查询感知的稀疏注意力机制的出现，查询聚焦于动态语义最强的键值对，即双层路由注意力。然而，在这种方法中，查询是由语义键值对处理的，而不是源自详细的区域，这在某些情况下可能无法产生最佳结果。此外，在计算注意力时，为所有查询选择的这些键和值受到过多无关查询的影响，导致对重要查询的关注减少，这在执行分割时会产生显著影响。
第一个问题是如何定位可变形点。为注意力附加一个偏移网络，该网络以查询特征为输入，生成所有参考点的相应偏移量。因此，候选的可变形点朝着重要区域移动，以高灵活性和高效率捕获更多信息特征。 第二个问题是如何从语义相关的键值对中聚合信息，然后将信息广播回查询。当选择用于可变形点的键值对时，专注于前 k个路由区域，选择与区域仅需的语义最相关的部分键值对。在选择了语义相关的键值对后，对可变形点查询应用标记到标记的注意力，然后应用第二个标记到标记的注意力将信息广播回查询。在此过程中，作为键值对的可变形点用于表示语义区域中最重要的点。
Model architectures
主要实验
本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。
收藏，分享、在看，给个三连击呗！
