知识图谱表示学习发展概览

近年来，随着人工智能和数据挖掘技术的飞速发展，知识图谱（Knowledge Graph, KG）已经成为结构化知识表示与推理的重要工具。从语义搜索、推荐系统到智能问答，知识图谱在多种应用中展现了其独特价值。然而，如何充分利用知识图谱的结构化信息，以及将其与现代机器学习方法有效结合，仍然是一个具有挑战性且前沿的研究方向。

在这篇文章中，我们将按发展脉络探讨知识图谱表示学习的几大核心主题，包括：

知识图谱嵌入（Knowledge Graph Embedding, KGE）：通过向量化表示捕捉实体和关系的语义信息，使知识图谱能够与深度学习无缝结合。

用于KG的图神经网络（GNN for KG, GNN4KG）：利用图神经网络挖掘知识图谱的复杂结构和高阶依赖关系。

用于KG的语言模型（LM4KG）：探索如何将知识图谱与语言模型结合，实现更强大的自然语言理解与推理能力。

我们将介绍这些领域的经典工作和方法演进，以求读者对该领域有一个大致的了解。

1 知识图谱简介

知识图谱（Knowledge Graph）是一种用于表示实体及其相互关系的结构化语义知识库，且可以看作异质图（Heterogeneous Graph）的一种特殊形式。它通过图的形式，将现实世界中的实体（如人物、地点、事件）和概念，以及它们之间的关系进行建模，从而形成一个具有语义关联的网络。

形式化地，知识图谱可以表示为一个有向多重图：

其中：

• 是实体的集合；

• 是关系的集合；

• 是三元组的集合，每个三元组表示一个知识事实，形式为：

  其中 是头实体（head entity），是关系（relation），是尾实体（tail entity）。

通过这些三元组，知识图谱能够表示实体之间的多种关系，例如“作者—写作—书籍”或“城市—位于—国家”。

知识图谱作为一种数据结构一个诱人的地方在于，它作为一种计算机可以直接读取的图数据，却有着非常良好的对人类的可阅读性，且人类可较容易地对其进行增删改查，有望成为黑盒的深度学习系统与人类沟通的桥梁。

2 知识图谱嵌入方法

知识图谱嵌入（Knowledge Graph Embedding, KGE）方法的核心目标是将知识图谱中的实体和关系映射到低维向量空间，同时尽可能保留原始图谱的结构和语义信息。通用的思想是通过设计特定的目标函数，使嵌入空间中的实体和关系向量能够反映知识图谱中的语义一致性和逻辑约束。这类方法通常以三元组（head, relation, tail）形式的知识事实为基础，通过优化得分函数对已知事实进行建模，并在此过程中学习嵌入表示。

TransE是知识图谱嵌入方法的代表性工作之一。它的核心思想是将关系建模为向量空间中的平移操作，即假设对于一个三元组 ，理想情况下应满足

其中 、、 分别是头实体、关系和尾实体的嵌入向量。通过最小化得分函数

TransE能够高效地捕捉简单的语义关系，并通过负采样引入对比学习来提升嵌入质量。

尽管TransE模型结构简单、计算效率高，且在多数情况下具有稳定且良好的性能。但其对复杂关系（如一对多、多对多和环状关系）的表达能力有限，激发了后续许多改进方法的发展，如DistMult、RotatE等。

更为严重的是，一般情况下，此类方法都为transductive的方法。而在实际场景下，KG经常是需要不断更新的，会有一些unseen的entity或relation引入，而此类方法需要进行重新训练，与当今机器学习的主流方法均为inductive相比，显得较为老旧。

3 用于KG的图神经网络

基于图神经网络的知识图谱建模（GNN for Knowledge Graphs, GNN4KG）是指利用图神经网络（Graph Neural Networks, GNN）来对知识图谱进行表示学习和推理的方法。由于知识图谱本质上是一个包含多种类型实体和关系的异构图，合理设计的GNN能够有效地捕捉其中的结构特征和高阶关联，从而提升在知识图谱上的任务性能，如链接预测和节点分类。并且，由于大部分的GNN是inductive的方法，这使得此类方法较易应用到unseen的entity和relation中，但具体是否可以也是因具体方法而异。

关系图卷积网络（Relational Graph Convolutional Network, R-GCN）是GNN4KG领域的经典方法之一。R-GCN扩展了传统的图卷积网络，以适应知识图谱中的多关系特性。具体而言，R-GCN为每种关系类型引入独立的变换矩阵，在聚合邻居信息时考虑关系类型的影响。其前向传播过程可以表示为：

通过这种方式，R-GCN能够在聚合信息时充分考虑不同关系的影响，适应知识图谱的复杂结构。

神经Bellman-Ford网络（Neural Bellman-Ford Network, NBFNet）是21年提出的一种新型的知识图谱推理模型。NBFNet 将经典的 Bellman-Ford 最短路径算法融入神经网络框架中，通过可微分的动态规划过程来计算实体间的可达性和关联强度。核心思想是：

• 消息传递机制：模拟 Bellman-Ford 算法的迭代更新过程，消息在图中传播以寻找最优路径。
• 可微分路径组合：通过神经网络学习不同路径的组合和权重，从而捕捉复杂的关系模式。
• 高效推理：相比于显式枚举路径的方法，NBFNet 能够在大规模知识图谱上实现高效的链接预测和推理。

NBFNet 的模型框架使其在处理长路径和复杂关系时表现出色，进一步拓展了 GNN 在知识图谱领域的应用。此后，逐渐兴起了一类叫做query-dependent的GNN4KG，即突破了普通GNN的消息传递范式，使得一次GNN的forward只对特定的query进行计算，即每个（head, relation, ?）都需要进行一次forward计算。虽然繁琐，但去年的一篇论文《Are Message Passing Neural Networks Really Helpful for Knowledge Graph Completion?》从实验角度证明了，多个基于传统GNN架构的GNN4KG模型，包括前述的R-GCN，其message passing过程事实上并不能起到实质性作用。此发现进一步提高了此类query-dependent的GNN的价值。

4 用于KG的语言模型

LM4KG（Language Models for Knowledge Graphs）是指利用语言模型（Language Models, LMs）来处理和增强知识图谱（Knowledge Graphs, KGs）的方法。这些方法旨在将语言模型的强大自然语言理解和生成能力与知识图谱的结构化知识相结合，以改进知识图谱的构建、补全和推理等任务。通过融合语言模型的语义信息，LM4KG方法可以更好地捕捉实体和关系的丰富语义，从而提升知识图谱相关任务的性能。

KEPLER （KEPLER: A Unified Model for Knowledge Embedding and Pre-trained Language Representation）是一种将预训练语言模型与知识图谱嵌入（KGE）相结合的模型，旨在将知识图谱中的结构化知识融入语言模型的表示中，以增强其在自然语言处理和知识图谱任务上的表现。KEPLER 的核心思路是通过联合训练，将实体的文本描述和知识图谱结构信息融合到同一嵌入空间中。具体来说，KEPLER 利用预训练语言模型（如 BERT）来获取实体的语义表示，同时使用知识图谱中的三元组信息进行监督，使得语言模型的表示不仅包含语义信息，还包含结构化的知识关联。

KEPLER是一个将文本语义和知识图谱结构有机结合的经典方法，增强了实体表示的丰富性。且其具有多任务能力，在自然语言理解任务（如问答、文本分类）和知识图谱任务（如链接预测）上均有良好表现。

随着大模型时代的来临，研究者们开始尝试如何使得LLM更好理解KG。这里介绍MM24 oral的一篇工作KoPA。

KoPA 旨在提升大型语言模型（Large Language Models, LLMs）在知识图谱补全任务中的性能。其方法的大概流程为：

• 自然语言表达：将三元组 转化为自然语言句子。例如，使用模板“是什么的 ？”来引出模型生成 。

• 模型微调：使用大量的已知三元组转化的自然语言对模型进行微调，使其学习知识图谱中的模式和关系。

• 生成与评分：在预测阶段，模型生成候选实体，并根据生成概率或打分函数选择最可能的答案。

其核心贡献为：

5 展望

在大模型时代，尽管LLM已经展现出了强大的开放任务下的NLP能力，然而其黑盒、难以更新内部知识的特点，也正阻碍其进一步在更多的场景进行落地。KG横跨了graph这种强大的非欧几里得结构化数据和text这种人类最常使用的非结构化数据，对人类易读，较易于增删改查，且更加贴近人类的抽象思维模式，有望成为人工智能在system Ⅱ方面更进一步的关键技术。欢迎对此领域感兴趣的同仁来信，一起探讨KG的未来~ mail:zhaijojo@bupt.edu.cn