来源：深度图学习与大模型LLM
本文5600字，建议阅读11分钟
本文简要介绍了经典图神经网络 (GNNs) 的基准分析研究，发表在 NeurIPS 2024。
论文链接：
https://arxiv.org/abs/2406.08993
代码链接：
https://github.com/LUOyk1999/tunedGNN
1. 引言
经过适当的超参数调整，经典GNNs在同质性和异质性图中的节点分类任务中均能取得高度竞争力的性能，甚至在节点数量达百万量级的大规模图上也是如此。值得注意的是，经典GNNs在18个数据集中有17个超越了最先进的图学习模型，表明GTs对比GNNs所宣称的优势可能是由于在GNNs评估中超参数配置不佳 我们的消融研究对GNNs节点分类中的超参数提供了见解。我们验证了： Normalization对于大规模图至关重要 Dropout一致地表现出积极影响 Residual connections在异质性图上可以显著增强性能 在异质性图上，较深的层数可能更适合GNNs
2. 方法介绍
2.1 数据集概述
同质性图：Cora、CiteSeer和PubMed是三种常用的引用网络[1]。我们遵循传统的半监督设定[2]来划分数据集。此外，Computer和Photo是公共购买网络[3]，CS和Physics是公共作者网络[3]，我们采用训练/验证/测试划分为60%/20%/20%的标准[4]。我们还使用了Wiki-CS[5]，该数据集是由计算机科学论文组成的引用网络，我们使用[5]的划分 异质性图：Squirrel和Chameleon是两个Wikipedia特定主题的页面网络[6]。我们采用异质图基准测试[7]中的新的数据集划分。此外，我们还使用Roman-Empire、Amazon-Ratings、Minesweeper和Questions四个异质性数据集[7]，这些数据集的划分和评估指标遵循其来源[7]的标准 大规模图：我们使用了由Open Graph Benchmark (OGB)[8]发布的多个大规模图，包括ogbn-arxiv、ogbn-proteins和ogbn-products，节点数量从0.16M到2.4M不等。此外，我们还分析了社交网络pokec[9]的性能表现
2.2 超参数设置
2.3 关键超参数
Normalization：在每一层激活函数之前使用layer normalization（LN）或batch normalization（BN），可以减少协变量偏移，稳定训练过程并加速收敛 Dropout：在激活函数之后对特征嵌入使用dropout来减少隐藏神经元间的共适应，有助于降低GNNs中消息传递的共适应效应 Residual Connections：通过在层之间引入residual connections，可以缓解梯度消失问题，增强GNNs的表现力 Network Depth：尽管深层网络能够提取更复杂的特征，但GNNs在深度上面临独特挑战，如过度平滑等。因此，大多数GNNs采用较浅的结构，通常包含2到5层。然而，我们的实验发现如果搭配上residual connections，GNNs可以拓深至10层的网络
3. 实验结果
3.1 主要发现
3.2 消融分析
总结
参考文献
[1] Prithviraj Sen, Galileo Namata, Mustafa Bilgic, Lise Getoor, Brian Galligher, and Tina Eliassi- Rad. Collective classification in network data. AI magazine, 29(3):93–93, 2008.
[2] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. In International Conference on Learning Representations, 2017.
[3] Oleksandr Shchur, Maximilian Mumme, Aleksandar Bojchevski, and Stephan Günnemann. Pitfalls of graph neural network evaluation. arXiv preprint arXiv:1811.05868, 2018.
[4] Chenhui Deng, Zichao Yue, and Zhiru Zhang. Polynormer: Polynomial-expressive graph transformer in linear time. arXiv preprint arXiv:2403.01232, 2024.
[5] Péter Mernyei and Ca ̆ta ̆lina Cangea. Wiki-cs: A wikipedia-based benchmark for graph neural networks. arXiv preprint arXiv:2007.02901, 2020.
[6] Benedek Rozemberczki, Carl Allen, and Rik Sarkar. Multi-scale attributed node embedding. Journal of Complex Networks, 9(2):cnab014, 2021.
[7] Oleg Platonov, Denis Kuznedelev, Michael Diskin, Artem Babenko, and Liudmila Prokhorenkova. A critical look at the evaluation of gnns under heterophily: Are we really making progress? arXiv preprint arXiv:2302.11640, 2023.
[8] Weihua Hu, Matthias Fey, Marinka Zitnik, Yuxiao Dong, Hongyu Ren, Bowen Liu, Michele Catasta, and Jure Leskovec. Open graph benchmark: Datasets for machine learning on graphs. Advances in neural information processing systems, 33:22118–22133, 2020.
[9] Jure Leskovec and Andrej Krevl. Snap datasets: Stanford large network dataset collection. 2014. 2016.
编辑：王菁
关于我们
数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。
![]()
新浪微博：@数据派THU
微信视频号：数据派THU
今日头条：数据派THU
关于我们
数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。
新浪微博：@数据派THU
微信视频号：数据派THU
今日头条：数据派THU
