一组来自科罗拉多大学博尔德分校和英特尔实验室的研究人员对优化检索增强生成（RAG）管道进行了深入研究，重点关注检索对下游性能的影响。研究发现，通过分别训练检索器和大语言模型（LLM）组件，可以避免端到端训练的高资源成本，并明确检索器的贡献。实验评估了两种指令调优的LLM（LLaMA和Mistral）在RAG管道中的表现，结果显示检索通常能提高性能，其中ColBERT略微优于BGE。研究表明，对于Mistral，最佳的正确性在检索5-10个文档时实现，而对于LLaMA则在4-10个文档时最佳。添加引用提示仅在检索文档数量超过10时显著影响结果，且包括金标准文档显著提升了问答性能。总体而言，降低近似最近邻搜索的准确性对任务性能影响不大，而添加噪声到检索结果也会导致性能下降。
参考：
https://arxiv.org/abs/2411.07396
点个分享、点赞与在看，你最好看~
