基于Transformer的研究一直是各大顶会顶刊的热门！而这其中，以与其他技术的结合最为瞩目！因为这种结合能充分发挥彼此优势，实现暴力涨点！
近来，Transformer+其他技术更是取得了不少突破性成果，光Nature上就有多篇！比如，与LSTM结合，在多任务预测中，准确性和计算效率都SOTA的HLTA模型；与小波变换结合，实现预测误差直降35％的WTFTP模型……
除此以外，还有许多热门的结合思路，像是与Mamba、KAN、CNN、GNN等前沿技术的融合，效果也都拔群，且很有参考性。
为方便大家研究的进行，我给大家进行了详细的梳理，涵盖了10大类，每一类还都给大家准备了参考论文和源码，共100篇！相信通过这些文章的研读，能够给你带来更多灵感启发！
扫描下方二维码，回复「100trs」
免费获取全部论文合集及项目代码
Transformer+LSTM
Learning-based NLOS Detection and Uncertainty Prediction of GNSS Observations with Transformer-Enhanced LSTM Network
内容：论文提出了一种基于深度学习的非视距（NLOS）检测和全球导航卫星系统（GNSS）观测误差预测方法，该方法通过分析GNSS观测作为时空建模问题，利用增强型长短期记忆（LSTM）网络和类似变换器的注意力机制来提高模型性能和泛化能力。研究者使用香港和亚琛城市的数据集进行训练和评估，并引入了一个数据生成过程来标记GNSS观测。实验结果表明，与基于深度学习和经典机器学习的模型相比，所提出的网络在精度和召回率方面有所提高，并且能够通过分类和排除NLOS观测来避免实际车辆定位中的轨迹发散。
Transformer+Mamba
MambaVision: A Hybrid Mamba-Transformer Vision Backbone
内容：论文介绍了一种新型的混合Mamba-Transformer视觉骨干网络MambaVision，它专为视觉应用设计，通过重新设计Mamba公式来增强其对视觉特征的高效建模能力，并在最后几层加入自注意力模块以提升捕捉长距离空间依赖的能力。实验结果表明，MambaVision在ImageNet-1K数据集上的图像分类任务中达到了新的最高精度和图像吞吐量，同时在下游任务如目标检测、实例分割和语义分割等方面也展现出优越性能。
Transformer+小波变换
Uncertainty-Aware Source-Free Adaptive Image Super-Resolution with Wavelet Augmentation Transformer
内容：论文提出了一种名为SODA-SR的无源域自适应图像超分辨率框架，旨在解决实际应用中由于隐私政策或传输限制而无法访问源数据的问题。SODA-SR利用源训练模型生成精细化的伪标签进行师生学习，并提出了一种基于小波的增强方法，称为WAT)，以隐式产生有用的增强数据。
扫描下方二维码，回复「100trs」
免费获取全部论文合集及项目代码
Transformer+KAN
SCKansformer: Fine-Grained Classification of Bone Marrow Cells via Kansformer Backbone and Hierarchical Attention Mechanisms
内容：论文介绍了一种名为SCKansformer的新型细粒度分类模型，用于骨髓血细胞的分类。该模型通过结合Kansformer编码器、SCConv编码器和全局-局部注意力编码器，提高了对高维微观图像数据的特征表达能力、可解释性和分类准确性。研究者们还与医院合作开发了一个包含超过10,000个样本和近40种分类的骨髓血细胞细粒度分类数据集（BMCD-FGCD），并在该数据集以及公开的PBC和ALL-IDB数据集上验证了模型的性能，结果表明SCKansformer在所有数据集上均优于现有的先进微细胞分类方法。
Transformer+GNN
Transformer based image generation from scene graphs
内容：论文提出了一种基于Transformer的图像生成方法，该方法从场景图出发，通过编码图信息和生成中间对象布局，然后解码这些布局成图像。研究者们展示了如何使用多头注意力机制来编码图信息，并在潜在空间中使用基于Transformer的模型进行图像生成，从而提高了样本数据的质量，同时避免了使用对抗模型所带来的训练不稳定性。所提出的方法在Visual Genome、COCO和CLEVR三个公共数据集上进行了评估，取得了优于现有方法的图像质量，并展示了从相同场景图生成多个图像时更高的多样性。
Transformer+CNN
Transformer Makes CNN Work Better for Scribble-based Medical Image Segmentation
内容：论文提出了一个名为ScribFormer的新型混合CNN-Transformer模型，用于基于涂鸦（scribble）的医学图像分割任务。ScribFormer通过结合CNN的局部特征和Transformer的全局表示，以及引入注意力引导的类激活图（ACAM）分支，有效地克服了现有基于涂鸦监督的分割方法的局限性，并在多个公共和私有数据集上取得了优于现有技术的分割性能。
扫描下方二维码，回复「100trs」
免费获取全部论文合集及项目代码
