1
题目：Less is More: on the Over-Globalizing Problem in Graph Transformers
作者：Yujie Xing, Xiao Wang, Yibo Li, Hai Huang, Chuan Shi
摘要：Graph Transformer，由于其强大的全局注意力机制，受到研究者的大量关注并已经成为处理图结构数据的一类重要方法。人们普遍认为，全局注意力机制以全连接图的形式考虑了更广泛的感受野，使得许多人相信 Graph Transformer 可以从所有节点中有效地提取信息。在本文中，我们对这一信念提出了挑战：Graph Transformer 的全局化特性是否总是有益呢？我们首先通过实验证据和理论分析，揭示了 Graph Transformer 中的过全局化问题 (Over-Globalizing Problem)，即当前 Graph Transformer 的注意力机制过度关注那些远端节点，而实际上包含了大部分有用信息的近端节点则被相对忽视了。为了缓解这一问题，我们提出了一种新的采用协同训练的两级全局 Graph Transformer 方法 (CoBFormer)。该方法首先将全图划分成不同的簇，然后分别在簇内以及簇间采用注意力机制来捕获解耦的近端节点信息以及全局信息。同时，我们提出以协同训练的方式来促使我们的两级全局注意力模块 (BGA) 与一个图卷积网络模块 (GCN) 相互学习并提升彼此的性能表现。我们通过理论保证了该协同训练方式可以有效提升模型性能的泛化能力。我们在多个数据集上与 SOTA 模型进行充分比较，实验表明了我们的方法的有效性。
论文链接：https://arxiv.org/abs/2405.01102
代码链接：https://github.com/null-xyj/CoBFormer
2
题目：Graph Distillation with Eigenbasis Matching
作者：Yang Liu, Deyu Bo, Chuan Shi
摘要：随着图数据体积的增加，图神经网络（graph neural networks，GNNs）的高效训练显得尤为重要。新兴的图蒸馏（graph distillation，GD）技术为这一挑战提供了解决思路，图蒸馏通过生成一个小的合成图来代替真实的大规模图，目的是确保在合成图上训练的GNNs表现出与在原始图上训练相当的性能。然而，现有的方法依赖GNN相关的信息作为监督信号，例如梯度、表征和轨迹，这样做有两个缺点。首先，GNNs可能会影响真实图的谱信息（即特征值），造成在合成图上产生谱偏差。第二，使用不同架构的GNN蒸馏会生成不同的合成图，为了训练各种不同的GNNs都能获得最优性能，需要遍历各种架构的GNNs蒸馏出相应的合成图。为了解决这些问题，我们提出了基于特征基匹配的图蒸馏方法（GDEM），该方法在蒸馏过程中对齐了真实图和合成图的特征基和节点特征，同时直接使用真实图的谱来避免GNNs带来的影响。除此之外，我们还设计了一个判别约束项，通过调整该损失项的权重来平衡GDEM的有效性和泛化性。理论分析表明，GDEM蒸馏出的合成图满足一定的谱相似度。大量的实验表明，GDEM的跨架构泛化能力和显著的蒸馏效率远远超越了现有最先进的图蒸馏方法。
长按下图并点击“识别图中二维码”
即可关注北邮 GAMMA Lab 公众号
