今天是2024年12月29日，星期日，北京，天气晴。
今天我们来看看知识图谱方面的进展，看看大模型用于知识图谱补全的一个能力测试，以及GraphRAG的一个新思路。
然后看看Google的2024 AI年终总结。
关注技术，并关注应用落地，把技术学扎实，总会有更多的收获。
供各位参考，多思考，多总结，多实践；
一、Google的2024 AI年终总结
产业进展方面，Google发布了2024年AI领域进展(https://blog.google/technology/ai/google-ai-news-recap-2024/)，也可以从时间线上回顾下，这个公司这12个月发生的一些事儿。
1月：产品和工具更新，Circle to Search功能发布，三星Galaxy S24系列集成谷歌AI，Chrome、Pixel和Search等产品更新。 2月：Gemini 1.5推出，Bard转型为Gemini，Gemini Advanced发布，实验室新工具推出，技术助力开发者和研究者。 3月：谷歌健康检查活动展示AI在健康领域的进展，AI用于旅行工具，全球洪水预测，21个非营利组织加入AI加速器。 4月：生成式AI工具助力多群体，AI技能培养获支持，谷歌照片编辑工具更新，云服务与基础设施投资。 5月：谷歌I/O大会展示AI产品与功能，AlphaFold 3模型发布，Search集成生成式AI，照片搜索新方式。 6月：谷歌翻译新增语言，Gemma 2开放，NotebookLM全球扩展，教育领域新AI工具，海洋活动地图绘制。 7月：三星设备更新，Gemini升级，奥运会合作，安全AI联盟成立，生成式AI支持学习。 8月：谷歌硬件发布，Gemini赋能手机、智能家居，Chrome新功能，Android与Gemini合作。 9月：NotebookLM音频概览上线，新卫星星座用于野火检测，Gmail中使用Gemini技巧，Android新功能。 10月：Pixel、NotebookLM、Search和Shopping更新，Search广告体验优化，营销新方式。 11月：开发者使用Gemini API，棋类爱好者利用AI，节日购物更新，机器学习课程深入讲解生成式AI。 12月：Gemini 2.0推出开启智能代理时代，量子芯片Willow亮相，Android XR应用Gemini，实验模型推出，Pixel设备更新。
二、大模型用于三元组预测的一个能力测试
回顾下知识图谱补全（KGC）这个任务的常用方法，通常包括基于翻译的方法（如TransE、TransH、RotatE）、基于张量分解的方法（如DistMult、HolE、SimplE）、基于深度学习的方法（如ConvE、convKB、CapsE）以及图神经网络（GNN）方案，这些在大模型的背景下，提及的次数变少了。
所以，目前有一个新的方向，那就是让大模型来升级KGC的任务，做三元组级别的任务，即传统的KGC任务通常需要已知一个或两个元素来推断未知元素，而TSP任务则要求基于已知三元组的信息预测所有未知三元组的元素。
因此，可以看最近的一个工作， 《Is Large Language Model Good at Triple Set Prediction? An Empirical Study》(https://arxiv.org/pdf/2412.18443,https://github.com/zjukg/LLM-based-TSP) ，看了下如何利用大模型（LLMs）进行三元组预测（TSP），有几个点可以看看。
一个是实验结论。
在规则生成和三元组预测阶段分别使用GPT-3.5-turbo和GPT-4o，结果很直接，GPT-3.5-turbo的平均预测三元组数为3403，正确预测三元组数为96，平均分类指标分别为JPrecision=0.028，STRecall=0.168，FTSP=0.049；
GPT-4o的平均预测三元组数为1276，正确预测三元组数为179，平均分类指标分别为JPrecision=0.14，STRecall=0.374，FTSP=0.204；
所以，LLMs在三元组预测任务中的表现不如预期，主要原因是LLMs在推理过程中容易出现幻觉。
一个是实现步骤，如下，两个阶段，一个是基于LLMs的规则挖掘阶段，一个是于LLMs的三元组预测。
其中：
基于LLMs的规则挖掘阶段，首先将每个三元组的逆三元组添加到KG中。设计详细的提示，包含背景、KG中的关系、规则头、示例和注释，这块也是使用prompt来操作，如下：
使用LLMs根据KG中的关系生成规则，并利用置信度（confidence）和头部覆盖率（head coverage）筛选高质量规则。例如，设置规则长度的阈值K，只保留长度在{2,3}之间的规则，较短的规则更容易理解和应用；使用置信度（confidence）作为筛选规则的标准，只保留置信度高于0.45的规则，高置信度的规则更有可能正确；只保留头覆盖度高于0.05的规则。高头覆盖度意味着规则头在知识图谱中的覆盖率较高。
例如产生的规则如下：
基于LLMs的三元组预测，将知识图谱划分为子图(这样可以限制LLM处理的实体数量，减少其生成幻觉的可能性)，并在每个子图上应用规则(在子图信息提取阶段，过滤掉与规则相关的三元组，只使用与规则无关的三元组进行推理，以减少LLM使用不存在的或错误的三元组进行推理的风险)进行推理(引入链式思维CoT提示设计，使LLM模拟人类的逐步推理过程)，最终合并所有子图的预测结果，这块对应的prompt如下：
整个推理的过程如下：
三、GraphRAG进展，用于多跳-GEAR的思路
如何在多跳问答任务中提高检索RAG性能是个有趣的话题，难题在于，如何在多跳问题中有效地进行跨多个文档或段落的推理；如何减少长提示和多次LLM迭代的需求。
目前，针对这个话题，已有一些尝试，例如，利用图表示来桥接多跳问题引入的语义差距，但都需要依赖LLM遍历图，需要多次LLM迭代，导致长提示和计算成本高。并且，迭代停止的点并不好控制。
所以，这又到了RAG和GRAPH的结合方向，可以看看《GEAR: Graph-enhanced Agent for Retrieval-augmented Generation》(https://arxiv.org/pdf/2412.18431)。
这个工作的核心就是使用SyncGE组件利用LLM进行图扩展，核心两个问题：如何定位初始三元组（即起始节点）Tq，如何在减少搜索空间的同时基于初始三元组扩展图。如下：
先说第一个问题，如何定位初始三元组。SyncGE组件首先利用LLM读取初步检索到的段落列表，并总结支持当前查询的三元组知识。然后，通过tripleLink函数(就是检索T中最相似的三元组)将这些三元组与索引中的三元组链接，识别出初始节点。
构图的prompt:
在扩展方面，使用多样三元组束搜索算法扩展图。该算法在每个扩展步骤中，只考虑最后一个三元组的邻居，避免选择已访问过的三元组，以减少搜索空间。
最后看下效果：
总结
本文主要讲了三个进展，包括知大模型用于知识图谱补全的一个能力测试以及GraphRAG的一个新思路，里面核心还是prompt的设计以及流程workflow的设计。
当然，目前大家都在做年终回顾，看看Google的2024 AI年终总结也不错。
参考文献
1、https://arxiv.org/pdf/2412.18443
2、https://tianchi.aliyun.com/dataset/145784
3、https://arxiv.org/pdf/2412.18431
关于我们
老刘，NLP开源爱好者与践行者，主页：https://liuhuanyong.github.io。
对大模型&知识图谱&RAG&文档理解感兴趣，并对每日早报、老刘说NLP历史线上分享、心得交流等感兴趣的，欢迎加入社区，社区持续纳新。
加入会员方式：关注公众号，在后台菜单栏中点击会员社区->会员入群加入
