RAG架构智能体

科技 2024-11-10 12:52 北京

RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合了信息检索和文本生成技术的人工智能技术框架，最早由Facebook AI Research团队于2020年首次提出。RAG技术通过外挂知识库，使得用户查询前获得了专业知识，同时又能使用大模型的内容生成能力，解决了大模型应用中存在的幻觉问题、数据更新不及时、数据泄露等问题，目前已经成为大模型应用的热门解决方案。

大模型应用存在哪些问题？

随着生成式人工智能技术的火爆，企业和个人非常关注大模型应用。但LLM本身存在长程对话支持弱、数据更新不及时、幻觉问题、数据容易泄露等一系列问题，导致人们对大模型应用存在疑虑。

1. 幻觉问题

面对未知的问题，大模型仍然会给出看似合理的错误回答,让用户难辨真假，这就是大模型的幻觉问题。大模型出现幻觉，是因为其底层原理是基于数据概率预测下一个token，它并不知道自己不知道领域知识。而使用者也很难区分答案的真假。

2. 数据更新不及时

大模型使用的数据是其训练时的数据，在其训练完成那一刻其数据就不再更新。使用者无法从大模型获取更新的知识。

3. 缺乏领域知识

通用大模型使用公开数据进行训练，接触不到企业本身的领域数据，相当于掌握了常识的通才，但缺乏行业专门技能，解决不了企业专业场景下的问题。而企业训练自己专门的大模型成本又很高。

4. 数据安全问题

为解决缺乏领域知识的问题，企业训练自己的专有大模型成本很高，另一种方式是将自己的专有数据上传到第三方平台进行训练，但存在数据泄露的风险，这是企业所无法承担的风险。

以上问题的存在，大大限制了大模型应用的范围和场景。

什么是RAG技术？

RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合了信息检索和文本生成技术的人工智能技术框架，最早由Facebook AI Research团队于2020年首次提出。

RAG技术在生成答案之前首先在外挂的知识库中检索相关专业信息，并将这些信息结合原始提问作为提示词提供给大模型，指导大模型生成内容，极大提升了内容的质量、准确性和相关性，增强了大模型处理知识密集型任务的能力。

RAG技术通过外挂知识库，使得用户查询前获得了专业知识，同时又能使用大模型的内容生成能力，解决了大模型应用中存在的幻觉问题、数据更新不及时、数据泄露等问题。目前，RAG技术已经成为大模型应用的热门解决方案，这种能力引起了包括Google、AWS、IBM、微软、NVIDIA等科技巨头的广泛关注与支持，引领了大模型应用的最新趋势。

RAG架构智能体基本原理

RAG架构智能体包括两大流程：数据准备流程和检索增强生成流程。下图中左侧蓝色是数据准备流程，右侧灰色是检索增强生成流程。

1.数据准备流程

数据准备流程主要是将企业各类数据处理成为向量索引，并存储在向量数据库中，以备检索使用。具体分为四个步骤：

（1）数据提取

在企业实际应用场景中，我们面对的知识源可能包括多种格式，如Word文档、TXT文件、CSV数据表、Excel表格，甚至图片和视频。因此需要使用专门的信息抽取技术，包括文档加载器（例如PDF提取器）或多模态模型（如OCR技术），将这些丰富的知识源转换为大语言模型可理解的纯文本数据。

（2）文档分块

在企业应用场景中，文档尺寸可能非常大，因此需要使用文档分割器（Text Splitter）将长篇文档分割成多个文本块（Chunk），以便更高效地处理和检索信息。分块的方式有很多种，比如按段落、按内容或者其他特殊结构。同时，需要注意分块的尺寸，如果分块太小，虽然查询更精准，但召回时间更长；如果分块太大，则会影响查询精准度。

（3）向量化处理

通过向量嵌入模型（Embedding）进行向量化处理，将文本块转换为向量形式，生成向量索引。这样，我们就能通过简单的计算向量之间的差异性，来识别语义上相似的句子。

（4）存入向量数据库

将文档切片和嵌入模型的结果存储进入向量数据库。向量数据库的主要优势在于，它能够根据数据的向量接近度或相似度，快速、精确地定位和检索数据，实现很多传统数据库无法实现的功能，比如根据旋律和节奏搜索出特定的歌曲、在电影中搜索浪漫的片段、在文档中找出意图相近的段落等等。

2. 检索生成流程

（1）用户查询

首先，将用户的问题（Query）通过同样的向量嵌入模型（Embedding）进行向量化处理。

（2）检索增强

系统在向量数据库中搜索与该问题向量语义上相似的索引，对其进行排序找到top-k的结果，从数据库中检索到相应的文本块并返回，这就是检索增强。

（3）生成问答

系统将用户提问（Query）和上一步中检索到的信息（Context）结合，构建出一个提示词（Prompt），输入到大语言模型中，由大模型生成最终的结果并返回。

RAG智能体应用场景

RAG技术问世以来，已经取得了非常广泛的使用，成为AI大模型应用中必不可少的一环。根据具体的应用场景，可以分为以下几类：

1. 通用问答系统

RAG可以根据检索到的相关信息生成准确、详细的答案，帮助员工更快地获取所需信息，提高决策效率，比如搭建企业内部知识库、公司规章制度查询、新员工入职培训、公司合同资料解读和查询等。RAG也可以通过检索和生成技术，构建丰富、准确的知识图谱。

2.智能客服系统

RAG可以结合产品资料知识库、聊天记录、用户反馈等数据，自动为用户提供更精准、自然、流畅的回答，已经有非常多的初创公司选择用RAG技术构建新一代的智能客服系统。

3.智能数据分析

RAG可以结合外部数据源，如数据库、API、文件等，为用户提供更便捷的数据分析服务。传统企业的数据分析主要靠BI分析师，每天都需要写大量的SQL语句进行查询，而在RAG的支持下，企业的每个员工都能以自然对话的方式获取数据。比如门店店长直接用语音对话，“请帮我找出上周销量排名前10，但本周销量下滑最快的品类”，系统即可直接给出答复。

4.自动化文档处理

企业还可以利用RAG和LLM大模型的文档摘要、创作辅助等功能自动化文档处理流程，例如自动生成合同、撰写周报、总结会议纪要等，节省时间和人力成本。

5. 自动生成或补全代码

RAG技术可以帮助开发者通过自然语言描述生成代码片段，或提供代码补全和优化建议。

RAG领域开源项目

伴随着大模型的火爆，RAG领域的开源项目也得到了大家的持续关注和使用。这里罗列如下供大家学习使用。

1. Dify

Dify是一个开源的大语言模型(LLM) 应用开发平台。融合了后端即服务 (Backend as Service) 和 LLMOps 的理念，其直观的界面结合了 AI 工作流程、RAG 管道、代理功能、模型管理、可观测性功能等，使开发者可以快速搭建生产级的生成式AI 应用。

2. RAGFlow

RAGFlow是采用OCR和深度文档理解的新一代开源RAG 引擎，RAGFlow可以为各种规模的企业及个人提供一套精简的 RAG 工作流程，结合大语言模型(LLM)针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。

3. QAnything

QAnything是致力于支持任意格式文件或数据库的本地知识库问答系统，可断网安装使用。任何格式的本地文件都可以往里扔，即可获得准确、快速、靠谱的问答体验。目前已支持格式: PDF(pdf)，Word(docx)，PPT(pptx)，XLS(xlsx)，Markdown(md)，电子邮件(eml)，TXT(txt)，图片(jpg，jpeg，png)，CSV(csv)，网页链接(html)。

4. FastGPT

FastGPT 基于 LLM 大语言模型的开源知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景。

5. MaxKB

MaxKB是基于 LLM 大语言模型的知识库问答系统。开箱即用，支持快速嵌入到第三方业务系统。

AI教母李飞飞智能体综述论文《Agent AI-Surveying the horizons of multimodal interaction》下载方式：

1、关注本公众号“金融IT那些事儿”

2、公众号后台回复关键字：智能体，即可下载

http://mp.weixin.qq.com/s?__biz=MzI4MDE2MTI4OA==&mid=2653138572&idx=1&sn=75539331a40b6f39b5d8727fbdbac5a4

金融IT那些事儿

资深企业架构师，数字化转型专家，TOGAF企业架构鉴定级认证专家认证，《企业架构驱动数字化转型》专著作者，20年金融业、制造业企业信息化经验，分享数字化转型、企业架构、数据资产、商业模式、战略转型等内容

最新文章

人工智能的三大流派：符号主义、联结主义和行为主义

参加2024年The Open Group生态系统架构大会有感

一个嬉皮士是如何成长为数十亿美元上市公司总裁的？读《臣服实验》有感兼谈认知觉醒与开悟

模块化组织：制造业组织敏捷转型形态

RAG架构智能体

如何在12个月内快速成为领域专家？

51张架构图把企业数字化转型IT建设的核心内容给讲透了！

AI算力的基石：CPU、GPU、DPU、TPU和NPU

AI平台如何实现训推一体？

火箭回收技术的演进

新版2024企业级BI平台白皮书（附下载）

Gartner发布2025年十大战略技术趋势代理型AI与多功能机器人入选（附下载）

全国高校人工智能哪家强？从AI独角兽三足鼎立到AI七校

北大AI独角兽峰会：AI发展的下一个风口是什么？

创造历史！AI教父获得诺贝尔物理学奖，AGI还会远吗？

业务架构系列：继续探讨业务角色

业务架构系列：业务角色与活动、岗位的关系

业务架构系列：业务角色设计

马斯克极简五步工作法：第一步是质疑

年薪98w！金融it人的新方向，工资高前景好！

一文读懂数据资产入表怎么做

10万字、近20家企业BI智能分析决策合集

把握新质生产力核心理念，勇敢投身细分赛道

吕家进：对数字金融发展的理解与思考

大模型在零售电商行业的应用，改变未来购物体验

10000字长文解读华为30年业务变革之路

构建指标体系，驱动企业数字化转型

月薪超6w！金融it行业新兴领域，人才缺口极大！

大模型在汽车行业的应用场景分析

‌阿里的“六个盒子”

数据资产入表退圈？数据资产管理到何处去？

中共中央、国务院印发《关于加快经济社会发展全面绿色转型的意见》（全文）

腾格里的召唤（一）西北自驾游行程路线

采购的秘密

40+指标银行BI指标体系！万字详述银行实现全面自助分析

超详细: ChatGPT金融实操全流程！

取代数据岗，某司数据从业人员已集体转行...

华为ERP使用的元数据多租架构究竟是什么？

企业架构专家谈||企业架构与业务变革

头部股份行、城商行数据应用实践案例分享（附下载）

六月荐书：让精神在阅读中丰盈

10000字长文解读华为30年业务变革之路

随笔：海参崴的前世今生

金融AI实操全流程(从未如此详尽)

月薪超6w！金融it行业的新领域！

企业架构成熟度模型ACMM

一文读懂知识图谱

一文读懂企业画像

神经网络详解：以最易懂最清晰的方式讲解神经网络

裁员了，很严重，大家做好准备吧！

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉