项目简介
微软推出了RAG的新方法:LazyGraphRAG,核心是成本非常低,数据索引成本只有完整GraphRAG的0.1%,生成结果的准确率、查询效率很高。
GraphRAG 项目是一个数据管道和转换套件,旨在利用LLMs的强大功能从非结构化文本中提取有意义的结构化数据。
要详细了解 GraphRAG 以及如何使用它来增强LLM推理私人数据的能力,请访问Microsoft Research 博客文章。
性能
1、索引成本,与向量RAG持平,为GraphRAG的0.1%
2、在本地查询上,与向量RAG相当的查询成本下,优于所有方法,包括长上下文向量RAG、GraphRAG DRIFT搜索、GraphRAG本地搜索
3、在全局查询上,质量与GraphRAG全局搜索相当,查询成本降低了700多倍
4、综合性能上,用GraphRAG全局搜索4%的查询成本,就在本地和全局查询类型上超越所有竞争方法,包括在C2级别的GraphRAG全局搜索
LazyGraphRAG不需要对源数据进行预先总结,避免了过高的前期索引成本
它采用轻量级索引,在这个阶段不使用LLM进行实体和关系总结,而是利用NLP中的名词短语提取技术来识别概念及共现关系,简单提取文本中的关键概念和它们之间的关系,通过图统计方法优化概念图,并提取层次化的社区结构,然后结合了"最佳优先搜索"和"广度优先搜索"的特点,以迭代深化的方式进行查询处理,做到查询准确且成本可控
快速开始
要开始使用 GraphRAG 系统,我们建议尝试解决方案加速器包。这为 Azure 资源提供了用户友好的端到端体验。
存储库指南
该存储库提供了一种使用知识图内存结构来增强LLM输出的方法。请注意,提供的代码仅供演示,并非 Microsoft 官方支持的产品。
项目链接
https://github.com/microsoft/graphrag
https://www.microsoft.com/en-us/research/blog/lazygraphrag-setting-a-new-standard-for-quality-and-cost/
扫码加入技术交流群,备注「开发语言-城市-昵称」
合作请注明
关注「GitHubStore」公众号