在这项研究中，团队探索如何使语言模型从知识图谱中学习复杂问题的规划能力。为此，他们设计了一个名为 LPKG 的框架，充分利用知识图谱中丰富的子图模式（Pattern）来生成高质量的规划训练数据。这些数据帮助训练语言模型，从而在解决下游任务时推理出更准确的规划过程。模型生成的规划过程随后被解析并执行，最终得出问题的答案。 团队通过多个数据集验证了 LPKG 框架的有效性，结果表明它在性能上具有显著优势。此外，团队还为研究社区贡献了一个全新的复杂问答数据集，命名为 CLQA-Wiki，为相关领域的进一步研究提供了宝贵的资源。
团队通过多个数据集验证了 LPKG 框架的有效性，结果表明它在性能上具有显著优势。此外，团队还为研究社区贡献了一个全新的复杂问答数据集，命名为 CLQA-Wiki，为相关领域的进一步研究提供了宝贵的资源。
论文题目：
Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs
论文链接：
https://arxiv.org/abs/2406.14282
代码链接：
https://github.com/zjukg/LPKG
一、引言
在利用大语言模型(LLMs)解决复杂问答时，往往会先对复杂问题进行规划(Planning)，将复杂问题拆分为多个子问题，并对每个子问题分别进行检索问答，从而得到原始复杂问题的答案。对于参数量较小的模型(小于10B)来说，对复杂问题进行规划并非易事，往往需要进行监督训练。
而这又进一步引出了一个值得关注的问题：如何获取规划任务的监督训练样本？若进行人工标注，人工标注的成本过高，难以规模化；一般的做法是从一个更大的语言模型中蒸馏出规划路径用于训练小型的语言模型，然而也无法保证更大模型中蒸馏出来的知识完全正确。
图1 知识图谱中的子图Pattern与复杂问题之间的联系
二、方法
图2 LPKG问答框架
我们提出了名为LPKG的问答框架，旨在使用知识图谱构建复杂问题规划任务的训练数据，以此提升参数量较小的LLMs的规划能力。LPKG问答框架的整体流程如图2所示，其主要由以下三个部分组成：
基于知识图谱的训练数据构建
模型微调与下游问题推理
规划过程解析与执行
2.1 基于知识图谱的训练数据构建
图3 基本子图Pattern
我们从公开的知识图谱Wikidata15k中，根据我们事先定义好的9种子图Pattern抽取出了9000个子图实例。随后，我们沿着每个子图实例的路径，自下而上地将其还原为了多个自然语言形式的子问题并糅合为一个复杂问题。为了提高效率并确保问题的流畅性，我们在此利用大模型实现子图数据格式的转化。通过调用GPT-4并给定上下文学习样例，高效而准确地完成子问题以及复杂问题的的构建。需要注意的是，虽然我们在这引入了大模型，但是知识仍然来源于知识图谱本身，大模型只承担了数据格式转化的任务，没有引入额外知识。
随后，我们将得到的子问题按照问题类型填充到输出的模板中，复杂问题填充到输入的模板中，便构建得到了规划任务的训练数据。值得注意的是，我们采用了一种代码形式的训练数据构建方式，以便后续对模型输出进行格式化解析。
2.2 模型微调与下游问题推理
随后我们使用构建完成的训练数据进行模型微调，在此使用的是一般的Lora微调方式。训练完成之后，我们便可以使用微调过的模型在下游数据集上进行问题规划的推理。虽然我们使用的是图谱来源的数据，但是在下游推理的时候，完全可以对一般的多跳问答问题进行推理，而非仅限于KGQA。
在此推理得到的是一份规划过程，如图2中的Output所示，需要通过后续的解析和执行得到最终的答案。
2.3 规划解析与执行
我们基于上一步得到的规划数据进行解析和执行，具体而言：
当识别到“Search”关键字时，我们将调用检索器对子问题进行检索，获得相关的文档；
当识别到“Get Answer”关键字时，我们将调用QA模型，令其基于子问题和相关文档进行作答；
当识别到“Intersection”或者“Union”关键字时，我们调用交并集函数，对集合进行操作。
需要注意的是，此处的QA模型和之前的规划模型是解耦的，可以使用任何一个现成的大模型来完成此处的问答。在所有的Plan解析完成之后，我们就得到的原始复杂问题的答案。
三、全新评测集：CLQA-Wiki
在实验过程中，我们发现现有的多跳问答评测集（HotPotQA、2WikiMultihopQA、MuSiQue、Bamboogle）存在一些问题：
这些数据集原始都是为多跳问题以及比较类型的问题设计的，问题类型不够全面，分布也不均衡，同时也并不关注涉及交并集逻辑的问题；
除了MuSiQue，其他所有的数据集只包含一个答案，尽管现实中的很多问题往往包含多个答案。
因此，我们希望能够构建一个全新的评测集，能够涵盖更加丰富且均衡的逻辑类型，同时能够不限制问题的答案数量，从而更加符合现实的问题。考虑到知识图谱本身丰富的Pattern类型以及数量不受限制的答案实体，我们又基于Wikidata15K构建了一个全新的评测集CLQA-Wiki。
表1 CLQA-Wiki数据分布
四、实验结果
表2 主要实验结果
表3 消融实验
表4 对比一般蒸馏方法
表5 CLQA-Wiki实验结果
五、总结
作者：汪俊杰 来源：公众号【ZJUKG】
扫码观看！
“AI技术流”原创投稿计划
TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线500+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。
投稿内容
// 最新技术解读/系统性知识分享 //
// 前沿资讯解说/心得经历讲述 //
投稿须知
稿件需要为原创文章，并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励
投稿方式
发送邮件到
melodybai@thejiangmen.com
或添加工作人员微信（yellowsubbj）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。
