强烈推荐想发深度学习论文的伙伴，多多关注这个热门方向：动态注意力机制！其在提高模型处理复杂数据的效率和准确性方面，具有不可替代的作用，妥妥的涨点神器哇！比如新模型由于引入动态注意力，鲁棒性提高了33％！
主要在于，该模块能够根据输入数据的内容和上下文，动态地调整对不同信息部分的关注强度，从而使模型更加专注任务相关的内容，忽略次要信息，进而提高性能！
为了让大家能够全面掌握该方法，用到自己的文章中，我给大家准备了10种创新思路，主要有：多头自适应注意力、移位窗口式动态注意力、动态稀疏注意力、混合自适应注意力等
扫描下方二维码，回复「动态attention」
免费获取全部论文合集及项目代码
论文分享
1. MV-Swin-T: MAMMOGRAM CLASSIFICATION WITH MULTI-VIEW SWIN TRANSFORMER
「论文简述」
在这篇论文中，作者提出了一种创新的基于transformer的多视图网络，以解决乳腺X光图像分类中的挑战。方法引入了一种新颖的基于窗口的动态注意力块，促进了多视图信息的有效集成，并促进了该信息在空间特征图级别的一致传输。此外，作者对在不同设置下基于transformer的模型的性能和有效性进行了全面的比较分析，使用了CBIS-DDSM和Vin-Dr Mammo数据集。
「创新点」
设计一种全新的多视图网络，完全基于Transformer架构，充分利用Transformer操作的优势，以提升性能。 解决从多个视图或模态中有效整合数据的问题，尤其是当图像可能没有正确对齐时。 方法结合固定窗口特征和移动窗口特征，以实现从同一乳房的CC和MLO视图中进行自视图和跨视图信息融合。
2. PDFormer: Propagation Delay-aware Dynamic Long-range Transformer for Traffic Flow Prediction
「论文简述」
本文提出了一种一种新的传播延迟感知动态远程Transformer，即 PDFormer，用于准确的流量预测。具体来说，本文设计了：（1）一个空间自注意力模块来捕获动态空间依赖关系。（2）然后，引入了两个图掩蔽矩阵，以突出来自简短和远程视图的空间依赖关系。（3）此外，提出了一种流量延迟感知特征转换模块，使 PDFormer具有显式建模空间信息传播的时间延迟的能力。
「创新点」
提出了基于时空自我注意机制的PDFormer模型，用于准确的交通流预测。我们的方法完全解决了交通数据复杂特征带来的问题，即动态、远程和时延。 设计了一个空间自我注意模块，通过不同的图掩蔽方法对局部地理邻域和全局语义邻域进行建模，并进一步设计了一个交通延迟感知特征变换模块，该模块可以显式地对空间信息传播中的时延进行建模。
扫描下方二维码，回复「动态attention」
免费获取全部论文合集及项目代码
3. Improving the Robustness of Transformer-based Large Language Models with Dynamic Attention
「论文简述」
在本文中，作者提出了一种名为动态注意力的全新方法，专门针对Transformer架构，以增强模型本身对各种对抗攻击的固有鲁棒性。方法不需要下游任务知识，也不会产生额外的成本。所提出的动态注意力由两个模块组成：（i）注意力校正，用于屏蔽或削弱选择的token的注意力值，（ii）动态建模，用于动态构建候选token集。广泛的实验证明，动态注意力显著减轻了对抗攻击的影响，与常用的对抗攻击相比，性能提升高达33%。
「创新点」
提出了一种动态注意力机制，它修改了关键的注意力机制，以帮助减弱对抗样本对输出影响，从而在不依赖先验知识的情况下提高模型的鲁棒性。 该方法还兼容不同的Transformer架构，包括仅包含编码器的模型、仅包含解码器的模型和编码解码模型。
4. AAU-net: An Adaptive Attention U-net for Breast Lesions Segmentation in Ultrasound Images
「论文简述」
本文开发了一个自适应注意力U-net（AAU-net），以自动、稳定地从超声图像中分割乳腺病变。具体来说，作者引入了一个混合自适应注意力模块（HAAM），主要由通道自注意力块和空间自注意力块组成，以替代传统的卷积操作。与传统的卷积操作相比，混合自适应注意力模块的设计有助于我们捕捉不同感受野下的更多特征。与现有的注意力机制不同，HAAM模块可以引导网络在通道和空间维度上自适应地选择更稳健的表示，以应对更复杂的乳腺病变分割。
「创新点」
设计了一个新颖的混合自适应注意力模块，可以从通道和空间维度动态选择不同尺度的受体场。 开发了一个新型自适应注意力U-net用于从超声图像中分割乳腺病变。该网络可以通过从BUS图像中学习通用表示来提高乳腺病变的分割精度。
5. Dynamic Attentive Graph Learning for Image Restoration
「论文简述」
本文提出了一种动态注意图学习模型(DAGL)来探索图像修复补丁级的动态非局部性质。具体来说，作者提出了一种改进的图模型，用于对每个节点使用动态和自适应的邻居数量执行patch-wise图卷积。通过这种方式，图像内容可以通过其连接邻居的数量自适应地平衡过平滑和过锐的工件，并且patch-wise的非局部相关性可以增强消息传递过程。
「创新点」
提出了一种改进的图注意力模型用于图像修复。与之前的非局部图像修复方法不同，模型可以为每个查询项动态分配邻居数量，并基于特征块构建长程相关性。 提出的动态注意力图学习方法可以很容易地扩展到其他计算机视觉任务。
扫描下方二维码，回复「动态attention」
免费获取全部论文合集及项目代码
