论文：https://arxiv.org/abs/2405.08011
仓库：https://github.com/HKUDS/Awesome-LLM4Graph-Papers
主页：https://sites.google.com/view/chaoh

1. 前言

在数字化时代，数据无处不在，而图结构数据—由节点和边构成的复杂网络—尤为突出。从社交网络的人际关系，到分子结构的化学键，再到学术引用的文献网络，图结构数据在我们的世界中扮演着至关重要的角色。然而，如何有效处理和解析这些数据，一直是人工智能领域的一个挑战。

近年来，图神经网络（GNNs）在图结构数据的处理上取得了显著进展，但它们在数据稀疏性和泛化能力上仍存在局限。现在，随着大语言模型（LLMs）的兴起，我们看到了一种全新的可能性。这些在自然语言处理领域展现出巨大潜力的模型，其卓越的语言理解和生成能力，为图学习任务带来了新的视角和解决方案。

今天，我们要介绍的这篇被顶级会议KDD 2024收录的综述论文《A Survey of Large Language Models for Graphs》由香港大学学者撰写，为我们揭开了LLMs在图学习中应用的神秘面纱。这篇综述不仅深入探讨了LLMs与图数据结合的理论基础和方法论，还为我们指明了未来研究的方向。在本文中，我们将带您走进这篇论文的精彩世界，一探LLMs如何与图学习技术相互融合，共同开启智能计算的新篇章。无论您是数据科学家、AI研究者，还是对这一领域充满好奇的探索者，相信您都能从这篇论文中获得宝贵的洞见。

让我们一起启程，探索LLMs在图学习中的无限可能。

2. 什么是图数据？

在现实世界中，许多关系和结构可以自然地用图来表示。图数据是一种由节点（vertices）和边（edges）组成的数据结构，其中节点代表实体，边代表实体间的关系。图数据的这种表示方式非常灵活，能够捕捉世界万物之间错综复杂的联系。例如，社交网络中的朋友圈、工作联系可以构成一个图，其中每个人是一个节点，朋友关系是边。生物信息学中的分子结构可以用图来表示，原子作为节点，化学键作为边。学术研究中，论文之间的引用关系也可以绘制成一个图，每篇论文是一个节点，引用关系是边。图数据的强大之处在于其能够表达多维关系和层次结构，这使得它在众多领域中都是数据分析和机器学习任务的理想选择。

随着大语言模型的兴起，研究者们开始探索将这些模型应用于图数据的方法。LLMs在处理自然语言方面表现出色，但如何将它们的能力扩展到图结构数据上，是一个全新的挑战。论文《A Survey of Large Language Models for Graphs》正是在这样的背景下应运而生，它为我们提供了一个系统性的视角，来审视和理解LLMs在图学习任务中的应用。在大语言模型时代，一种特殊的图结构—文本属性图（Text-Attributed Graph, TAG）受到了研究者们的额外关注。在TAG中，每个节点都与一段文本相关联，这段文本可以是节点的描述、标签或其他形式的文本信息。这种结构使得图不仅能够表达实体之间的关系，还能够提供关于实体本身的丰富语义信息。通过将LLMs与文本属性图相结合，研究者们可以利用模型的语言理解能力来分析和推理图中的结构和文本信息，从而在诸如节点分类、链接预测等任务中取得更好的性能。

3. 大语言模型赋能图学习

随着大语言模型在自然语言处理领域的显著成就，研究者们开始探索将这些模型应用于图学习任务的可能性。本篇综述论文，正是在这样的背景下，为我们提供了一个全新的视角来审视LLMs与图数据结合的方式。为了系统地理解和分类现有的LLMs在图学习中的应用，论文的作者们提出了一种新颖的分类法（taxonomy）。这种分类法基于LLMs和图神经网络的框架设计，现有方法分为以下四类：

• GNNs as Prefix： 在这个分类下，GNNs作为信息的前置处理器，将图数据转换为特征信息，然后这些信息被用作LLMs的输入。这种方法利用了GNNs在捕捉图结构特征方面的能力。
• LLMs as Prefix： 与第一类相反，这里的LLMs首先处理与图相关的文本信息，然后生成的嵌入或标签被用于GNNs的训练，以提高图学习任务的性能。
• LLMs-Graphs Integration： 这一类方法强调LLMs与图数据的深度集成。这可能包括将LLMs和GNNs的表示层进行融合训练，或者在模型架构中实现两者的紧密对齐。
• LLMs-Only： 在这种设计下，LLMs独立于GNNs工作，直接处理图数据的文本表示。这要求LLMs能够理解和推理图结构，而不需要GNNs的辅助。

3.1 GNNs as Prefix

在大语言模型与图学习任务的结合中，一种创新的方法是将图神经网络作为信息处理的前置步骤，即“GNNs as Prefix”。这种方法充分发挥了GNNs在捕捉和理解图结构方面的优势，为后续的LLMs处理提供了结构化和语义丰富的输入。GNNs之所以被选为前缀，是因为它们天生适合处理图结构数据。GNNs通过聚合邻居节点的信息来更新每个节点的表示，能够很好地捕捉节点的局部结构特征。在“GNNs as Prefix”框架下，GNNs首先对图数据进行编码，生成节点或图的嵌入表示。这些嵌入随后作为输入特征提供给LLMs，使得LLMs能够利用其强大的语言理解能力来处理图相关的任务。具体实现可以分为两个子类：

• 1. Node-level Tokenization： 在这种方法中，GNNs为图中的每个节点生成一个嵌入向量，然后将这些向量作为单独的“token”输入到LLMs中。这样，LLMs可以对每个节点的语义进行深入分析，并理解节点之间的关系。
• 2. Graph-level Tokenization： 与节点级别的方法不同，图级别的标记化方法将整个图压缩成一个或多个固定长度的向量，这些向量捕捉了图的全局信息。这种方法适用于需要理解整个图结构的任务，如图分类或图匹配。

讨论与思考： “GNN as Prefix”方法通过结合图神经网络的结构建模能力和大语言模型的语义建模能力，已经在多个图学习下游任务和实际应用中展现了前所未有的泛化能力。特别是，这种方法证明了其在零样本（zero-shot）场景下的能力，即在没有经过特定任务训练的情况下，模型能够对未见数据进行有效推理。然而也存在一些需要思考的问题，例如这种方法在处理非文本属性图时是否同样有效。许多现有的成功案例依赖于节点或边上的文本信息，但现实世界的图数据可能并不总是包含这样的文本属性，从而限制了模型的发挥。

3.2 LLMs as Prefix

在图学习领域，大语言模型以其卓越的语义理解能力，开辟了一种新颖的途径—"LLMs as Prefix"。这种方法将LLMs的文本处理能力前置，为图神经网络提供丰富的语义信息和上下文，以增强图数据的学习和推理过程。LLMs在预训练过程中接触了大量的文本数据，从而学习到了丰富的语言模式和世界知识。在"LLMs as Prefix"框架下，这些知识被用来增强图数据的语义表达。LLMs首先对图相关的文本属性进行编码，生成文本嵌入，这些嵌入随后用于辅助GNNs的节点或图的表示学习。"LLMs as Prefix"的实现可以分为两个主要方向：

• 1. Embeddings from LLMs for GNNs： LLMs用于生成节点或图的初始嵌入，这些嵌入捕获了节点的语义信息，可以作为GNNs的输入或与GNNs生成的嵌入相结合，以提高图学习任务的性能。
• 2. Labels from LLMs for GNNs： LLMs用于生成或辅助生成训练标签，这些标签可能是类别标签、属性描述或关系模式，用于指导GNNs的训练和推理。

讨论与思考： 前述方法在提升图学习性能方面取得了进展，但需要考虑的是它们在本质上是解耦的，存在一个持续的局限性。在这种解耦状态下，大语言模型并未与图神经网络共同训练，导致了一个两阶段的学习过程。这种解耦往往是由于图的庞大规模或LLMs的大量参数引起的计算资源限制。因此，GNNs的性能在很大程度上依赖于LLMs预先生成的嵌入/标签，甚至依赖于特定任务提示的设计。

3.3 LLMs-Graphs Integration

在探索图学习的新领域中，"Graph-LLMs Integration"代表了一种创新的融合路径，将图神经网络的结构洞察力与大语言模型的语义深度处理能力紧密结合。这种整合超越了简单的串联或两阶段方法，实现了更为复杂和协同的智能模型。图数据的复杂性要求模型不仅要理解局部节点间的连接关系，还要把握全局网络结构和语义信息。"Graph-LLMs Integration"正是为了满足这一需求，通过深度融合两种模型的优势，以期达到更高层次的认知和推理能力。根据论文内容，"Graph-LLMs Integration"主要分为以下几类：

• 1. Alignment between GNNs and LLMs： 确保GNNs和LLMs能够对齐它们的表示和任务目标，以便更好地协作。
• 2. Fusion Training of GNNs and LLMs： 通过联合训练GNNs和LLMs，实现模型参数的同步优化。
• 3. LLMs Agent for Graphs： 构建基于LLMs的智能代理，使其能够直接与图数据交互并执行任务。

讨论与思考：LLMs与图数据的融合在缩小结构化数据和文本数据在解决图相关任务上的模态差异方面展现出了有希望的进展。通过结合LLMs在语言理解方面的优势以及图在捕捉实体间复杂关系方面的能力，我们可以实现对图数据更准确和灵活的推理。然而，尽管取得了有希望的进展，这一领域仍有改进的空间：

• 1. 可扩展性挑战： 在整合LLMs和图数据时面临的一个主要挑战是可扩展性。在对齐和融合训练中，现有方法通常使用较小的语言模型或固定LLMs的参数，这限制了它们扩展到大型图数据集的能力。因此，探索在大规模图数据上使用更大模型进行模型训练的方法至关重要，这可以使得对大规模图的推理更准确、更高效。
• 2. 图代理的交互限制： 另一个挑战是图代理与图数据之间的交互有限。当前的图代理方法通常只计划和执行一次，这可能不适用于需要多次运行的复杂任务。因此，研究代理与图数据多次交互的方法，根据图的反馈完善它们的计划并提高性能是必要的。这可以使得对图数据的推理更复杂，提高下游任务准确性。

3.4 LLMs-Only

在图学习领域，"LLMs-Only"代表了另一种方法论，即直接利用大语言模型处理和推理图结构数据，而不依赖于图神经网络的辅助。这种方法充分发挥了LLMs在自然语言处理中的先进能力，将其应用于图数据的理解和分析。"LLMs-Only"方法的核心在于将图数据转换为LLMs能够理解的格式，例如通过将图的节点和边转换为文本描述。这样，LLMs可以直接利用其预训练中获得的语言知识来执行图相关的任务。"LLMs-Only"方法的实现可以分为两个主要方向：

• 1. Tuning-free Methods： 这些方法尝试使用预训练的LLMs进行图学习任务，而不进行额外的调整或训练。这依赖于LLMs能够理解和推理图结构的能力。
• 2. Tuning-required Methods： 与Tuning-free方法不同，这一类方法需要对LLMs进行微调，以更好地适应特定的图学习任务。这通常涉及到设计特定的提示（prompts）或条件来引导LLMs的输出。

"LLMs-Only"方法是一个新兴的研究方向，它探索了特别针对解释图数据和将图与自然语言指令合并的预训练大语言模型的潜力。这种方法背后的主要思想是利用LLMs强大的语言理解能力来推理图数据并生成对查询的准确响应。然而，有效地将大规模图转换为文本提示，并在没有图编码器的情况下重新排序图令牌序列以保持结构完整性，存在重大的持续挑战。这些挑战源于图数据的复杂性，图数据通常包含节点和边之间复杂的关系，以及LLMs在没有明确指导的情况下捕捉这些关系的有限能力。因此，需要进一步的研究来开发更先进的方法，以将LLMs与图集成，并克服前述挑战。

4 开拓LLMs与图数据融合的新领域

大语言模型在图学习领域的应用前景广阔，但也面临着一系列挑战和机遇。未来的研究将围绕以下几个关键方向进行深入探索：

• 多模态图数据的LLMs处理： 未来的研究将考虑如何使LLMs能够处理包含多种数据模态的图，例如结合文本、图像、声音等不同形式的信息。这将要求开发新的表示方法和学习机制，以实现对多模态内容的全面理解和推理。
• 提高计算效率与降低成本： 鉴于LLMs在训练和应用中的高计算成本，研究者将探索参数效率更高的模型架构和训练策略，以降低资源消耗并提高模型的可扩展性。
• 拓展多样化的图学习任务： LLMs在图学习中的应用将不仅限于当前的任务，如节点分类和链接预测。未来的工作将探索LLMs在更复杂的任务中的表现，包括图生成、图模式识别、以及基于图的问题回答等。
• 用户中心的智能图代理： 研究将致力于开发能够理解用户需求、与用户进行有效交互的智能图代理。这些代理将能够根据用户的查询和反馈进行自我优化，提供更加个性化和准确的服务。
• 增强LLMs的解释性和可靠性： 随着LLMs在图学习中应用的深入，如何提高模型的可解释性和可靠性将成为研究的重点。这包括开发新的评估方法和解释工具，帮助用户理解模型的决策过程。

5 结语

由于公众号试行乱序推送，您可能不再准时收到机器学习与推荐算法的推送。为了第一时间收到本号的干货内容， 请将本号设为星标，以及常点文末右下角的“在看”。