关注“FightingCV”公众号
回复“AI”即可获得超100G人工智能的教程
图数据，作为一种不可或缺的数据表现形式，广泛渗透于社交网络、学术科研网络、交通管理系统及生物信息网络等诸多领域。作为最广泛应用的图学习范式，图表征学习致力于学习图中节点的表示向量，融合结构特性与节点特征，以实现精准的预测与分析。
近年来涌现出了大量的图学习方法，包括图神经网络、图自监督学习、图预训练和微调方法、以及图大语言模型。这些方法不断精进图学习模型的建模能力和预测精度，近年的一些方法探索了增强图模型泛化能力的途径。
然而，当前方法普遍依赖于复杂的调优流程，难以灵活应对实际图数据复杂多变的结构与特征特性。当图数据涉及多个领域，且模型在训练阶段未曾见过时，当前模型难以处理，体现了现有方法在跨领域的零样本预测任务上泛化性能的不足。
为了解决这一问题，香港大学的研究人员提出AnyGraph这一图基础模型。
论文链接：https://arxiv.org/pdf/2408.10700
项目地址：https://github.com/HKUDS/AnyGraph
基于图数据的独特性质，AnyGraph聚焦于攻克一下几个方面的核心难题，模型预训练跨越了8种场景、10类特征、以及38个数据集, 以实现搭建图基础模型的目标：
结构和特征异质性
不同应用场景下的图数据，其结构形态千差万别，包括节点连接密度、密集子图分布、数据噪声与缺失情况等。现有的方法，例如图神经网络，往往被训练用于预测一类具有固定特点的图数据，其模型本身的容纳能力，也无法处理真实世界中跨场景的复杂多样数据。
此外，不同数据集往往存在严重的特征异质性。节点特征是图数据的核心组成部分之一，但在不同数据集中展现出极大的差异性。从离散类别到连续数值，从文本嵌入到图统计特征，乃至特征向量的维度都各不相同。如何在零样本场景下处理这些多样化的特征，成为图基础模型必须跨越的障碍。
为了应对结构和特征的异质性挑战，AnyGraph采用混合专家模型（MoE）架构，在模型中集成了同构但参数不同、互不耦合的多个专家图模型。基于一种高效且强大的专家路由算法，将不同的输入数据分配给适合的专家模型进行学习和预测。通过这种方式，AnyGraph可以轻松集成针对不同图数据特点的专家模型，从而达到更强的模型鲁棒性。
另一方面，AnyGraph的每个专家模型都采用了统一的结构和特征统一方法，基于特征值分解方法，专家模型将具有不同维度、不同语义的邻接矩阵数据和节点特征数据，都映射为具有统一长度和相近语义的统一表征。在这一基础上，即使不同数据的表征仍存在一些差异，也可以轻易被专家集成的MoE架构解决。
快速适应能力
快速适应能力
一个高效的图基础模型应具备快速适应新数据集和领域的能力，能够在不依赖大量重新训练或微调的情况下，迅速调整其参数和学习策略，以应对未知图数据的挑战。然而，现有的图基础模型通常基于大规模的预训练语言模型，难以进行快速的模型调整。这种对新图域的低效适应性，成为限制图学习技术广泛应用的瓶颈。
针对这一问题，AnyGraph设计了轻量化的图专家路由机制，使用自监督任务来快速评测多个专家任务对输入数据的预测准确性。在不引入额外标签数据的情况下，这一方法可以准确找到最优的专家模型，在仅使用单个专家模型、极少数模型参数的情况下，达到优于与大规模预训练模型的效果。
下图展示了AnyGraph专家路由机制的分配结果，可以看到，同源（例如ML1M和ML10M）以及使用相同特征构建方法（例如YelpT, SteamT, AmazT）的数据集，被分到了同样的专家模型。
此外，AnyGraph的专家模型采用一种简单高效的设计，数据集的大部分信息可以预处理成高度有效的初始表征，而专家模型仅需要采用多层感知机模型，就能通过专家集成达到大规模模型的效果，从而减少模型前向和反向传播的开销。
下图展示了AnyGraph在限定训练步数上花费的计算时间，以及在fine-tune情况下的效果曲线，均展示了AnyGraph在快速适应能力上的优势。
Scaling Law
Scaling Law
在视觉和文本领域，大规模基础模型的一个标志性现象是Scaling Law，即随着模型参数量和训练数据量的增加，模型效果不断提升。本文探索了图基础模型是否存在这样的特点。
本文对AnyGraph的多个模型大小影响参数，以及训练数据量进行了调整，以测试模型性能随着这些因素的变化情况。结果如下所示：
可以看到，在零样本预测能力上，AnyGraph保持了随参数量和数据量增长而不断上升的趋势，这一现象在训练数据集上未能观测到。这展示了AnyGraph在泛化能力上符合Scaling Law。这同时也说明，这种突破性的模型性能增长应该在更具挑战性的任务上寻找，例如跨领域的零样本预测。
这种不断增长的突破性模型性能，来源于AnyGraph通用的模型设计，以及其在大量跨领域数据上的充分训练。
往期回顾
基础知识
最新论文解析
NeurIPS2022 Spotlight | TANGO：一种基于光照分解实现逼真稳健的文本驱动3D风格化
ECCV2022 Oral | 微软提出UNICORN，统一文本生成与边框预测任务
NeurIPS 2022 | VideoMAE：南大&腾讯联合提出第一个视频版MAE框架，遮盖率达到90%
NeurIPS 2022 | 清华大学提出OrdinalCLIP，基于序数提示学习的语言引导有序回归
SlowFast Network：用于计算机视觉视频理解的双模CNN
WACV2022 | 一张图片只值五句话吗？UAB提出图像-文本匹配语义的新视角！
CVPR2022 | Attention机制是为了找最相关的item？中科大团队反其道而行之！
ECCV2022 Oral | SeqTR：一个简单而通用的 Visual Grounding网络
如何训练用于图像检索的Vision Transformer？Facebook研究员解决了这个问题！
ICLR22 Workshop | 用两个模型解决一个任务，意大利学者提出维基百科上的高效检索模型
See Finer, See More！腾讯&上交提出IVT，越看越精细，进行精细全面的跨模态对比！
MM2022｜兼具低级和高级表征，百度提出利用显式高级语义增强视频文本检索
MM2022 | 用StyleGAN进行数据增强，真的太好用了
ECCV2022|港中文MM Lab证明Frozen的CLIP 模型是高效视频学习者
ECCV2022｜只能11%的参数就能优于Swin，微软提出快速预训练蒸馏方法TinyViT
CVPR2022|比VinVL快一万倍！人大提出交互协同的双流视觉语言预训练模型COTS，又快又好！
CVPR2022 Oral｜通过多尺度token聚合分流自注意力，代码已开源
CVPR Oral | 谷歌&斯坦福（李飞飞组）提出TIRG，用组合的文本和图像来进行图像检索
