微软推出RAG的新方法:LazyGraphRAG

文摘   2024-11-26 15:30   湖北  

项目简介

微软推出了RAG的新方法:LazyGraphRAG,核心是成本非常低,数据索引成本只有完整GraphRAG的0.1%,生成结果的准确率、查询效率很高。


GraphRAG 项目是一个数据管道和转换套件,旨在利用LLMs的强大功能从非结构化文本中提取有意义的结构化数据。


要详细了解 GraphRAG 以及如何使用它来增强LLM推理私人数据的能力,请访问Microsoft Research 博客文章。


性能
1、索引成本,与向量RAG持平,为GraphRAG的0.1%

2、在本地查询上,与向量RAG相当的查询成本下,优于所有方法,包括长上下文向量RAG、GraphRAG DRIFT搜索、GraphRAG本地搜索

3、在全局查询上,质量与GraphRAG全局搜索相当,查询成本降低了700多倍

4、综合性能上,用GraphRAG全局搜索4%的查询成本,就在本地和全局查询类型上超越所有竞争方法,包括在C2级别的GraphRAG全局搜索

LazyGraphRAG不需要对源数据进行预先总结,避免了过高的前期索引成本

它采用轻量级索引,在这个阶段不使用LLM进行实体和关系总结,而是利用NLP中的名词短语提取技术来识别概念及共现关系,简单提取文本中的关键概念和它们之间的关系,通过图统计方法优化概念图,并提取层次化的社区结构,然后结合了"最佳优先搜索"和"广度优先搜索"的特点,以迭代深化的方式进行查询处理,做到查询准确且成本可控


快速开始

要开始使用 GraphRAG 系统,我们建议尝试解决方案加速器包。这为 Azure 资源提供了用户友好的端到端体验。


存储库指南

该存储库提供了一种使用知识图内存结构来增强LLM输出的方法。请注意,提供的代码仅供演示,并非 Microsoft 官方支持的产品。



项目链接

https://github.com/microsoft/graphrag

https://www.microsoft.com/en-us/research/blog/lazygraphrag-setting-a-new-standard-for-quality-and-cost/

扫码加入技术交流群,备注开发语言-城市-昵称

合作请注明


 

关注「GitHubStore」公众号


GitHubStore
分享有意思的开源项目
 最新文章