尽管检索增强生成(Retrieval-Augmented Generation, RAG)方法能够利用外部知识和大型语言模型(Large Language Models, LLMs)输出来增强生成质量,从而减少幻觉和应对静态知识库的局限性,但其在应用中仍面临多项挑战:例如,与不同能力的信息检索(Information Retrieval, IR)系统集成的灵活性有限、多轮检索的可解释性不足、以及缺乏端到端优化机制。
为了解决这些问题,我们提出了IM-RAG——一种以LLM为核心的新型方法。IM-RAG通过学习内部独白(Inner Monologues, IM)来连接IR系统与LLMs,从而支持多轮检索增强生成。
在内部独白过程中,LLM作为主要推理模型(推理器),通过提出查询以从Retriever中收集更多信息,或基于对话上下文提供最终答案。此外,我们引入了Refiner模块来提升Retriever的输出质量,有效桥接了推理器与IR模块之间的能力差距,增强了多轮信息交换的效果。
整个IM过程通过强化学习(Reinforcement Learning, RL)优化,其中包含进度跟踪器以奖励中间步骤,并在答案预测环节进行监督微调(Supervised Fine-Tuning, SFT)。在HotPotQA数据集上的实验结果表明,IM-RAG不仅实现了业界领先的性能,还在内部独白中展现出更高的灵活性和出色的可解释性。
这张图展示了 IM-RAG(内心独白-检索增强生成)系统的处理流程。图中,一个用户提出了一个复杂的问题,IM-RAG的核心组件“推理器(Reasoner)”首先尝试回答。如果推理器认为当前信息不足以得出答案,它将作为一个“提问者(Questioner)”生成查询,并交由“检索器(Retriever)”去知识库中查找相关信息。
在检索到的文档返回后,“精炼器(Refiner)”会进一步过滤和提升信息的相关性,将最重要的信息标注后再传回推理器。推理器会检查信息是否足够充分,不足时会继续迭代,生成新的查询并再次检索。整个流程会持续数轮,直到推理器认为信息足够齐全,最终转为“回答者(Answerer)”,提供最终答案。
此外,图中还展示了一个“进度跟踪器(Progress Tracker)”,帮助记录每一步的进展和中间步骤,为用户提供解释性线索,使人类能够清晰了解系统推理过程及其结论的依据。
这张图展示了 IM-RAG 框架的概览,包括四个主要组件:推理器(Reasoner)、检索器(Retriever)、精炼器(Refiner) 和 进度跟踪器(Progress Tracker)。每个组件在多轮检索增强生成中各司其职,协同完成复杂问答任务。
过程描述:
推理器(Reasoner):负责主要的推理任务,在不同阶段切换角色。作为“提问者(Questioner)”,它生成查询并调用检索器,获取相关的外部文档;作为“回答者(Answerer)”,它基于对话上下文和文档生成最终答案。
检索器(Retriever):根据推理器的查询从数据库中检索相关文档,并将结果传递给精炼器进行进一步处理。
精炼器(Refiner):对检索到的文档进行重排序和改写,以提高信息的相关性,并将前几条最相关的文档(Top-K)返回给推理器,帮助推理器在后续推理过程中使用。
进度跟踪器(Progress Tracker):通过打分系统来跟踪任务进展。在强化学习(Reinforcement Learning,RL)阶段,进度得分用作奖励,帮助推理器调整检索和回答策略。最终回答的生成则在监督微调(Supervised Fine-Tuning,SFT)阶段完成,使用真实答案和优化的 IM(内部独白)查询-回答对作为微调样本。
学习过程:
RL 阶段:推理器在生成查询时使用进度跟踪器的分数作为反馈,帮助优化查询策略。
SFT 阶段:推理器在提供最终答案时基于对话和相关文档生成预测,并进一步利用真实答案微调模型。
通过这种架构,IM-RAG 能够在多轮对话中逐步收集和精炼信息,实现高效的多轮检索,并增强生成内容的准确性和解释性。
IM-RAG 是一种创新方法,灵感来自于“内心独白”机制,将大型语言模型(LLM)和信息检索(IR)系统紧密结合,通过上下文感知的多轮交互式检索实现复杂推理。
在多轮对话中,LLM 作为核心推理引擎,根据对话上下文提出新的查询,或在收集足够信息后生成最终响应。检索到的文档经过精炼器的优化处理(如重排序、过滤等),以更贴合 LLM 的推理需求。
整个过程通过强化学习实现端到端优化,进度跟踪器的反馈和最终答案的准确性作为奖励信号。在 HotPotQA 上的实验表明,IM-RAG 在多步推理任务中达到了最先进(SOTA)的性能,使 RAG 系统具备类人般的多轮推理与检索能力,并拥有更高的灵活性和可解释性。
虽然 IM-RAG 作为 LLM 与检索系统间“内心独白”整合的初步尝试已取得显著进展,但也存在一定局限性。当前的数据集可能不足以反映人类复杂且有时非线性的内心独白,可能限制模型在处理高度复杂、抽象或创造性推理任务方面的学习和应用潜力。
参考:https://simg.baai.ac.cn/paperfile/97ca2b53-c61d-40e3-bb41-040904f89c78.pdf