点击蓝字
关注我们
AI TIME欢迎每一位AI爱好者的加入！
点击阅读原文观看作者赵海宏直播讲解回放！
今天介绍香港科技大学（广州）数据科学与分析学域李佳教授团队发表的一篇关于图预训练（Graph Pretraining）的文章" All in One and One for All: A Simple yet Effective Method towards Cross-domain Graph Pretraining"，本文被KDD2024接收，代码已开源。
特征投影：在预训练阶段，首先通过特征投影模块将不同图的特征维度统一。具体操作包括奇异值分解（SVD）和注意力机制等方法，用于将特征投影到一个共同的低维空间中。这样，所有图的特征都可以在同一维度下进行处理。
引入图协调器：为了进一步解决结构和语义对齐的问题，本文提出了虚拟节点（即图协调器）的概念。这些协调器通过以下两种方式来增强图的互联性：
图内连接：为每个图分配一个协调器节点，该节点与图中每个节点形成全连接子网络，确保协调器能够高效地传递信息并协调图内的交互。
跨图连接：不同图的协调器之间通过边进行连接，构建跨图的通信基础，实现信息流通和知识共享。这些跨图连接的协调器节点通过相互连接，形成一个综合的跨域交互网络，促进不同图数据集之间的协作和知识共享。
生成图批次进行训练：通过协调器节点的互联，本文实现了跨图节点的联合采样。这种创新策略使得训练过程能够在单次学习迭代中处理来自不同图的数据，从而在统一的表示空间中进行学习。这不仅提高了模型捕捉数据底层结构的能力，还促进了跨域的鲁棒性和泛化能力。
预训练与迁移：本文采用应用广泛的图预训练策略（比如，GraphCL和SimGRACE）对联合采样后的跨域子图进行预训练。在预训练阶段，通过图协调器模块，使得不同领域的图数据在统一的表示空间中进行对齐和学习，从而保留各自的结构信息和语义特征。在迁移阶段，GCOPE展示了出色的泛化能力，能够灵活适应不同领域的下游任务，兼容传统微调和图提示框架。
教授介绍
Prof. Jia Li
李佳博士，数据科学与分析学域助理教授，港科大广州-创邻图数据实验室联合主任。博士毕业于香港中文大学。他在工业界有多年的数据挖掘工作经历，曾供职于Google和腾讯。其研究目前主要为图数据的大模型，异常检测，图神经网络以及基于图数据的药物发现和医疗健康。他以第一作者或者通讯作者在人工智能与数据挖掘领域顶级会议与期刊发表三十多篇CCF-A论文，如Nature Communications, NeurIPS, SIGKDD, ICML, TPAMI等。获得2023年数据挖掘顶会SIGKDD Best Research Paper Award.
点击 阅读原文 查看作者直播讲解回放！
往期精彩文章推荐
KDD 2024 | HiGPT: 迈向下一代生成式图模型新范式
关于AI TIME
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。
迄今为止，AI TIME已经邀请了1800多位海内外讲者，举办了逾600场活动，超700万人次观看。
我知道你
提出观点，表达想法，欢迎
点击 阅读原文 查看作者直播讲解回放！
