TKDE 2024 | 多层次图知识对比学习

论文链接：https://xploreqa.ieee.org/document/10694801

代码链接：https://github.com/Haoran-Young/KGCL

1 研究动机

在论文的引言中，作者讨论了图对比学习（GCL）在机器学习领域日益增长的重要性，特别是对于涉及图数据的任务。他们强调了现有GCL方法的局限性，这些方法通常依赖于图增强技术，这些技术可能会引入噪声，并需要大量存储空间来增强图。作者提出了一种新的框架，该框架利用多级图知识来提高对比对的质量，而没有传统增强方法的缺点。具体研究动机如下：

存储效率：传统方法需要为增强图提供大量存储空间，导致空间复杂性很高。
对高质量对比对的需求：有必要构建没有噪声的对比样例，减少性能损失，更好地表示底层图语义。
多层次图知识：作者旨在利用多层图知识来提高对图语义的理解，并增强学习过程，以期获得更全面的图信息。
知识蒸馏：引入知识蒸馏模块进一步压缩图知识大小，同时尽可能地减少性能损失，更进一步提高GCL的空间效率。

这些要点共同强调了提出更有效和高效GCL方法的必要性，作者通过上述多个切入点提出了GKCL框架。

2 方法技术细节

在本文的方法技术部分，作者提出了Graph Knowledge Contrastive Learning（GKCL）框架，并进一步提出了Distilled Graph Knowledge Contrastive Learning（DGKCL）。整体框架一共包括了5个组成部分，具体说明如下。

2.1 多层次知识抽取

此部分说明了获取不同层次的图语义的重要性。该方法利用编码器-解码器策略从图数据本身（邻接矩阵和特征矩阵）中提取知识。

具体来讲，首先使用两个编码器（如GCN）对原始输入图进行编码处理：

然后，针对图结构知识和图特征知识采取不同的解码策略，具体来讲，图结构知识将通过矩阵乘法来重建图邻接矩阵：

而图特征知识将通过一个结构与编码器类似的解码器来进行原图特征矩阵的还原：

最后，作者通过下述目标函数来约束图还原过程，用来训练高质量的图结构知识和图特征知识：

2.2 知识蒸馏

该知识蒸馏模块用于进一步压缩图特征知识大小，并尽可能减少信息损失。它利用了图特征编码器和解码器中深层和浅层神经元之间的监督关系。

我们以图结构知识编码器中的知识蒸馏为例子，目标函数为：

包含图结构知识解码器、编码器和图特征知识解码器、编码器的知识蒸馏整体过程则可表示为：

2.3 图知识对比学习

该模块将利用前置步骤所获得的多层次图知识来进行图对比学习，第一步是将nodel-level图知识进行整合来获取graph-level图知识，一般常用的方法是node-level embedding的平均和：

每个图自身的图结构知识和图特征知识将构成一对正对比样例，然后在同一个训练batch中随机采样N个图作为负样例，图结构知识对比的目标函数为：

图特征知识对比的目标函数则为：

2.4 多层次图知识融合

为了方便后续任务，有必要将图结构知识和图特征知识融合为一个统一的图表征向量。本节讨论了如何整合不同层次的知识来增强整体学习过程，确保模型能够有效地利用图中可用的各种语义信息：

其中可以是级联、求和或求平均。

2.5 下游图学习任务

最后一部分概述了如何将学习到的表示应用于各种下游任务，展示了所提出框架的实际适用性。具体来讲，通过上述步骤处理后我们能得到可用的图表征向量，通常可以采用一些简单的预测器（如支持向量机）来进行各种下游任务（如图分类）来对生成的图表征向量的质量进行评估。

3 实验结果

该论文进行了大量的实验来研究所提出的GKCL方法，本文选取其中2个较为重要的实验和分析来做介绍。

3.1 对比实验

总的来讲，GKCL和DGKCL在三个数据集上都优于所有基准方法。具体来说，传统的图学习方法在所有基准方法中表现最差，基于GCL的基准方法优于传统的基准方法，但与GKCL方法相比，无论KD模块是否配备，都是次优的。然而，传统方法的结果比对比学习的结果更稳定，这反映在相对较小的标准差上。基于KD的GCL方法SAIL也取得了令人满意的结果，并优于常规GCL基线，表明了KD机制的有效性。然而，SAIL和我们的方法之间存在性能差距。论文作者认为，这是因为教师-学生模型输出的结果往往会很相似，这些输出结果之间缺乏独特性，这可能不利于对比学习过程，并降低其在下游任务中的表现。

3.2 多层次图知识存储空间与性能

GKCL框架中的知识抽取部分通过控制知识向量尺寸提供了人为控制对比样例存储空间的灵活性，使用者可以通过设置更小的知识向量尺寸来取得更好的空间效率。另外，由于知识蒸馏模块的使用，向量压缩带来的性能损失将会被缓解。该实验展示了下游任务效果和知识向量尺寸之间的关系。实验结果清楚地表明，当向量尺寸相对较大时，例如128和256，GKCL和DGKCL的性能接近。然而，随着嵌入尺寸的减小，GKCL和DGKCL的性能差距扩大，反映出配备了知识蒸馏模块的DGKCL具有更小的性能损失。

4 总结

该论文提出了一种新的图形对比学习框架，该框架利用图形知识提取来构建适当的对比对。这种策略的动机是消除传统图增强操作中降低模型性能的随机因素。此外，该策略可以避免高空间复杂性并提高存储效率，因为它不再需要存储增强图来作为对比样例。该论文创新性地提出在GCKL方法中采用知识蒸馏模块来压缩图知识尺寸，同时尽可能减轻模型压缩造成的性能损失。在三个基准数据集上的广泛实验验证了该论文所提出的提取多级图语义的方法的优越性和有效性。