大模型+RAG如何提高问答准确率?5家互联网大厂RAG落地实践

文摘   科技   2024-09-18 07:30   浙江  

作者|沙丘智库研究团队

来源|沙丘社区(www.shaqiu.cn)

RAG(Retrieval-Augmented Generation,检索增强生成)是当前最流行的基于大模型的系统架构,很多大模型应用几乎完全基于RAG构建。RAG的本质是在大模型交互之前提前进行搜索,召回正确的上下文给到大模型,决定了大模型生成的天花板。

RAG方法使用搜索引擎来快速定位和检索构建提示所需的任何信息,具体流程如下:

· 使用大模型来重构原始的用户提示,使其与后续步骤中搜索引擎所要求的格式兼容;

· 根据重构后的提示进行搜索,这种搜索可以基于多种知识表示或方法,包括知识图谱、向量数据库等;

· 将大模型用于总结修改过的提示中包含的信息,并生成流畅的、类似人类语言的回复;

· 在最终用户看到由大模型生成的响应之前,“响应验证”会对其准确性和安全性进行监控和检查。

当前,从使用场景上看,RAG主要使用的场景有两种——聊天机器人和智能检索。其中聊天机器人是会话场景、一问一答聊天交互,而智能检索更像是copilot场景,基于搜索结果进一步解读和分析,辅助工作场景。智能检索相较于chatbot对大模型幻觉问题的容忍程度更高。

沙丘智库长期跟踪调研大模型技术的发展,旨在帮助企业快速了解大模型最新、最全面的落地情况。沙丘智库通过研究火山引擎、阿里云、字节跳动、哔哩哔哩、蚂蚁集团基于“大模型+RAG”的智能问答系统建设实践,旨在为其他企业提供参考。

案例1:火山引擎基于大模型的智能问答实践

火山引擎基于RAG技术实现智能问答,RAG通过从外部知识源动态检索信息,并使用检索到的数据作为组织答案的参考,显著提高响应的准确性和相关性,有效解决大模型中存在的幻觉问题。

RAG方案实现的核心在于两点,一是在检索阶段做到比较高的topk召回率,分为两路召回,一路是通过倒排索引检索召回,另一路是通过向量化方式召回,两路召回需要混排;二是支持比较大的context window,并能从较多相关信息中总结出正确答案。

完整内容:火山引擎基于大模型的智能问答实践

案例2:阿里云基于RAG的智能问答实践

阿里云通过RAG技术,解决了智能问答中遇到的幻觉问题、知识更新缓慢、隐私数据泄露和高昂的训练成本等挑战。RAG方案通过外挂知识库提供可靠知识,优化了知识检索和答案生成流程,提高了智能问答的准确性和效率。
完整内容:阿里云基于RAG的智能问答实践

案例3:字节跳动答疑机器人场景大模型实践

研发基建部门日常需要安排答疑值班,回答用户关于基建相关的咨询,字节跳动将研发答疑场景作为切入点,利用大模型构建答疑机器人,并联动研发领域沉淀多年的知识积累,答疑机器人充分利用RAG和FineTuning两种建设思路的优势。

完整内容:字节跳动答疑机器人场景大模型实践
案例4:哔哩哔哩智能客服场景大模型实践

哔哩哔哩通过大模型升级智能客服系统,优化RAG链路和检索机制,提升了对话的时效性和准确性。构建了全面的领域知识库,实现了高效知识检索和准确安全的回答。实践结果显示,智能客服拦截率提升了近30%,显著改善了用户体验。

完整内容:哔哩哔哩智能客服场景大模型实践

案例5:检索增强在知识搜索场景的应用实践

蚂蚁集团采用检索增强技术,通过知识库分层构建、复杂文档处理、混合搜索策略和总结模型优化,有效提升了大模型在知识搜索场景中的应用效果,这项技术在企业内部多个场景中得到应用,相比传统搜索,答案获取效率提高了约20%。

完整内容:检索增强在知识搜索场景的应用实践


更多研究:

大模型将如何影响对话式AI应用?
知识图谱增强在文档知识问答中的应用
PingCAP大语言模型问答助手构建实践
江西移动大小模型协同的企业级私域知识检索平台
勃小智RAG医学资料检索增强
...


*更多生成式AI研究可前往“沙丘智库”小程序查阅

*有任何需求可咨询客服微信:zimu738




沙丘社区
数字化研究与服务机构
 最新文章