高级RAG系统组成

文摘   2024-07-18 08:01   广东  

Query(查询):用户输入的查询,它是整个流程的起点。

Query Transformation(查询转换):将用户的原始查询转换成适合处理的格式,可能包括查询重写、分词、同义词替换等操作。产出:转换后的查询或查询列表。

Query Routing(查询路由):决定将查询发送到哪个工具或系统进行处理。基于查询的类型或内容,选择适合的处理工具。

DB Storage(数据库存储):存储原始数据和索引。

Vector Store Index(向量存储索引):存储查询向量,用于快速检索与查询相关的向量。

Summary Index(摘要索引):存储文本摘要,提供简洁的查询结果。

Fusion Retrieval(融合检索):从数据库中检索数据,并融合来自不同来源的数据。

Reranking and Postprocessing(重排序和后处理):对检索到的内容进行重新排序,以确保最相关的信息排在前面。包括一些后处理步骤,例如去重、格式化等。

Retrieved Context(检索到的上下文):从数据库中检索到的上下文信息,经过重排序和后处理后准备发送给语言模型(LLM)。

LLM(大语言模型):接收处理后的查询和检索到的上下文,生成最终的答案。

Answer(答案):最终由语言模型生成并返回给用户的答案,完成整个查询处理流程。

Vector Store Index(向量存储索引):作用:存储将文本转化为向量表示后的索引。这些向量表示可以通过相似度计算快速检索到与查询相关的内容。向量存储索引用于支持高效的相似度搜索,特别是在处理自然语言查询时。

Summary Index(摘要索引):存储文本数据的摘要或简要描述。摘要索引提供了一种快速获取文本核心内容的方式,使系统能够高效返回简洁且有用的结果。摘要索引用于快速匹配和检索相关的摘要信息。

Rerank and Postprocessing(重排序和后处理):对从数据库中检索到的内容进行重排序,确保最相关的信息排在前面。重排序可能基于多种因素,如内容的相关性、质量、时效性等。后处理步骤包括去重、格式化等操作,以优化最终输出的质量和用户体验。

原创不易,需要鼓励,如觉得本文有用,请点击在看、打赏、转发,谢谢。后附AI精品文章系列。

关注自动领取500+ChatGPT报告,有任何问题,加作者dtalk2023,加入数字化 或者GPT社群。

一图读懂系列:
一图读懂人工智能+
一图读懂提示词工程师
一图读懂ChatGPT使用精髓
一图读懂AIGC赋能银行业
一图读懂AI赋能汽车行业
一图读懂AI如何赋能企业老板酒店地产
一图读懂AI如何赋能企业老板
一图读懂AIGC赋能通信行业
一图读懂AIGC赋能财务
一图读懂AIGC与营销变革
一图读懂如何安全使用ChatGPT
一图读懂ChatGPT的道法术器
一图读懂AI大模型的局限性
一图读懂数字人技术
一图读懂如何将商业模式画布用于个人发展
一图读懂数字化转型战略规划
一图读懂数据中台
一图读懂数据资产入表


数字化转型DT
李家贵,浙大硕士,数字化转型实践者,培训者,演讲者,专注大数据和人工智能研究。