今天是2024年11月18日,星期一,北京,天气晴。
我们先来回顾相关进展。
关于产业进展,代码辅助工具,PearAI ,https://trypear.ai/,提供了代码自动生成、智能代码预测、代码编辑聊天、代码记忆提升、智能代码搜索等功能,还内置了Perplexity、Memo等其他AI工具,这其实加剧了如cursor等同质产品的竞争。
此外,关于AI搜索进展,腾讯推出AI搜索ima,不知道跟元宝是啥关系,搜索得出的答案,除开全网信源,还打通微信公众号文章的生态,所以AI搜索一类的产品,本质上是内容生态跟搜索底子的pk。
所以,即便是外面的形势一直在变,但我们总会有一些东西是不变的,例如,有很多现成的开源工具依旧在推,例如,在开源项目 (https://www.wangrs.site/awesome-LLM-resourses) 中,我们可以看到一些较好的RAG框架,目前有的,其实远不止这些。
按照目前RAG发展的态势,可以进一步将现有RAG框架分为7个GraphRAG框架以及17个传统RAG框架,虽然很多是重复造轮子,但大家可以通过研读其实现代码,了解起内部实现机制,会很有收获。
一、十七个传统RAG框架
传统的RAG框架,指的是集chunk切分、向量化、存储、检索、生成等几个阶段于一体的RAG框架,其核心在于其中的不同策略适应,如文档处理、检索策略等,代表性的如RAGFlow(深度文档理解),也包括QAnything(重排rerank引入),也包括可高度配置的Dify等,大致雷同,下面归置17个:
1、AnythingLLM,具备完整的RAG(检索增强生成)和AI代理能力。地址:https://github.com/Mintplex-Labs/anything-llm
2、MaxKB,基于大型语言模型的知识库问答系统。即插即用,支持快速嵌入到第三方业务系统。地址:https://github.com/1Panel-dev/MaxKB
3、RAGFlow,一个基于深度文档理解的开源RAG(检索增强生成)引擎。地址:https://github.com/infiniflow/ragflow
4、Dify,一个开源的大型语言模型应用开发平台。Dify直观的界面结合了AI工作流、RAG流程、代理能力、模型管理、可观测性功能等,让您能快速从原型阶段过渡到生产阶段。地址:https://github.com/langgenius/dify
5、FastGPT,基于LLM构建的知识型平台,提供即开即用的数据加工和模型调用能力,允许通过流程可视化进行工作流编排。地址:https://github.com/labring/FastGPT
6、Langchain-Chatchat,基于Langchain和ChatGLM等不同大模型的本地知识库问答。地址:https://github.com/chatchat-space/Langchain-Chatchat
7、QAnything,基于Anything的问题和答案。地址:https://github.com/netease-youdao/QAnything
8、Quivr,使用Langchain、GPT 3.5/4 turbo、Private、Anthropic、VertexAI、Ollama、LLMs、Groq等与文档(PDF、CSV等)和应用程序交互,本地和私有的替代OpenAI GPTs和ChatGPT。地址:https://github.com/QuivrHQ/quivr
9、RAG-GPT,RAG-GPT利用LLM和RAG技术,从用户自定义的知识库中学习,为广泛的查询提供上下文相关的答案,确保快速准确的信息检索。地址:https://github.com/open-kf/rag-gpt
10、Verba,由Weaviate驱动的检索增强生成(RAG)聊天机器人。地址:https://github.com/weaviate/Verba
11、FlashRAG,一个用于高效RAG研究的Python工具包。地址:https://github.com/RUC-NLPIR/FlashRAG
12、LightRAG,检索器-代理-生成器式的RAG框架。地址:https://github.com/SylphAI-Inc/LightRAG
13、kotaemon,一个开源的干净且可定制的RAG UI。地址:https://github.com/Cinnamon/kotaemon,
14、RAGapp,在企业中使用Agentic RAG的最简单方式。地址:https://github.com/ragapp/ragapp
15、TurboRAG,通过预计算的KV缓存加速检索增强生成,适用于分块文本。地址:https://github.com/MooreThreads/TurboRAG
16、TEN,实时多模态AI代理框架。地址:https://github.com/TEN-framework/ten_framework
17、AutoRAG,RAG AutoML工具。地址:https://github.com/Marker-Inc-Korea/AutoRAG
二、七个GraphRAG框架
GraphRAG框架这是流行于微软的GraphRAG,然后后续出现了很多轻量化的改进版本,如LightRAG、nano-GraphRAG,也有一些具有特色的版本,如KAG,其核心思想是在原先传统RAG的基础上,增加实体、社区、chunk之间的关联,或者原有KG的知识,从而提升召回和准确性。
这里总结7个:
1、LightRAG,简单快速的Graphrag检索增强生成。地址:https://github.com/HKUDS/LightRAG
2、GraphRAG-Ollama-UI,使用Ollama的GraphRAG,带有Gradio UI和额外功能。地址:https://github.com/severian42/GraphRAG-Ollama-UI
3、microsoft-GraphRAG,一个模块化的基于图的检索增强生成(RAG)系统。地址:https://github.com/microsoft/graphrag
4、nano-GraphRAG,一个简单、易于修改的GraphRAG实现。地址:https://github.com/gusye1234/nano-graphrag
5、KAG,基于OpenSPG引擎的知识增强生成框架,用于构建知识增强的严格决策制定和信息检索知识服务。地址:https://github.com/OpenSPG/KAG
6、Fast-GraphRAG,GraphRAG的轻量化版本。地址:https://github.com/circlemind-ai/fast-graphrag
7、Tiny-GraphRAG,一个小巧的GraphRAG实现。地址:https://github.com/limafang/tiny-graphrag
总结
本文主要对当前的RAG框架进行了介绍,尤其是对GraphRAG框架的整理,常总结,常会有很多收获。
参考文献
1、https://www.wangrs.site/awesome-LLM-resourses
关于我们
老刘,NLP开源爱好者与践行者,主页:https://liuhuanyong.github.io。
对大模型&知识图谱&RAG&文档理解感兴趣,并对每日早报、老刘说NLP历史线上分享、心得交流等感兴趣的,欢迎加入社区,社区持续纳新。
加入会员方式:关注公众号,在后台菜单栏中点击会员社区->会员入群加入