Acm Computing Survey || 麦考瑞大学最新《图级别学习(Graph-level Learning)》综述,涵盖274篇文献,探讨图机器学习从图核到图transformer的交互和演变
1.基本信息
图级别学习的最新技术和潜力 (State of the Art and Potentialities of Graph-level Learning)
时间:2024年9月
ACM COMPUTING SURVEY (https://dl.acm.org/doi/10.1145/3695863)
2.摘要
图具有出色的表示关系数据(如化合物、蛋白质和社交网络)的能力。因此,以一组图为输入的图级学习已应用于许多任务,包括比较、回归、分类等。学习一组图的传统方法严重依赖手工制作的特征,例如子结构。虽然这些方法受益于良好的可解释性,但它们经常受到计算瓶颈的困扰,因为它们无法避开图同构问题。相反,深度学习通过自动提取特征并将图编码为低维表示,帮助图级学习适应不断增长的图规模。因此,这些深度图学习方法取得了许多成功。然而,还没有全面的调查回顾从传统学习到深度学习方法的图级学习。本文填补了这一空白,并将代表性算法构建成一个系统的分类法,涵盖传统学习、图级深度神经网络、图级图神经网络和图池化。此外,本研究还研究了这四个分支方法在其发展过程中的演变和相互作用,以提供深入分析。随后,简要回顾了基准数据集、评估指标和常见的下游应用。最后,本调查深入讨论了这一蓬勃发展的领域的 12 个当前和未来方向。
3.概览
本文首次对图级学习进行全面的调查,涵盖了传统方法和基于深度学习的技术,基于发展历史角度分为四大类,传统方法 (traditional learning), 图级深度神经网络 (GL-DNNs), 、图级图神经网络 (GL-GNNs), 和图池化 (graph pooling)。
传统技术
在深度学习时代之前,传统技术试图通过手动定义的特征来解决缺乏图形特征表示的根本问题。通常来说,传统学习分为两步:1.制作手工特征(如随机游走序列,子结构等);2.通过机器学习模型(如SVM等)对这些特征进行学习和分类。由于计算瓶颈,传统学习的形式不太适用于现实复杂网络,但它仍然提供了非常有价值的见解,例如更好的可解释性和更好的建模不规则结构的能力。
图级深度神经网络(GL-DNN)
进入深度学习时代,神经网络在表示欧几里得数据方面取得了广泛的成功,如图像和文本数据。因此,研究人员尝试将深度神经网络应用于图形数据,这些探索包含从 skip-gram 到 transformer。因为这些深度神经网络最初并不是为学习非欧几里得数据(如图形)而设计的,GL-DNN 的一个重要问题是如何使它们能够学习大小不一且邻域结构不规则的图形结构数据。
图级图神经网络(GL-GNN)
GL-GNN是专门针对图结构数据的深度神经网络。大多数 GL-GNN 采用图卷积层逐层聚合和更新邻域信息,以进行图级学习。这些方法简单易懂,具有线性复杂度。GL-GNN是现阶段图级学习最丰硕的成果。此外,有一种趋势是将 GL-GNN 与其他技术(尤其是传统学习技术)相结合,以推动图级学习发展。
图池化
图池化是一种缩小图规模从而进行简要表达的技术,通过将一系列节点压缩为一个超节点来生成图的紧凑表示。它值得被记录为一种重要的图级技术,因为它是图级学习所独有的,而不会出现在节点级和边缘级任务中。此外,图池化具有强大的功能,可以为图级任务保留更多信息(例如,层次结构),从而产生大量相关值得记录的研究方法。
基于分类法得来的四大类方法下又各自涵盖了丰富的子分支,可以被表达为一颗图级学习技术分类树。
欢迎向本公众号投稿文献解读类原创文章,以及海内外招生、访学、招聘等稿件,投稿邮箱:gnnllm@outlook.com,或者请联系微信:GNN4AI