大家好，今天给大家推荐一波新书，并准备了一波福利（赠书），参与方式查看文末，欢迎大家踊跃参与
要想提高大模型在特定行业与场景中输出的适应性与准确性，除了使用RAG，还可以使用自己的数据对大模型进行微调。那么这两种方案的区别及选择的标准是什么呢？
我们首先简单了解一下大模型微调。以OpenAI公司的GPT大模型为例，一个GPT架构的大模型的训练通常需要经过以下几个阶段。
1．预训练阶段
这是整个过程中最复杂的阶段，像GPT-4这样的模型在预训练阶段通常需要成千上万个GPU，在海量的无标记的数据上训练数月。这个阶段其实占用了全部阶段的大部分时间。预训练阶段的输出模型一般叫基座模型，有的基座模型会被发布（比如开源的Llama），而有的基座模型不会被发布（比如GPT-4）。
基座模型本身是可以直接使用的，但通常不是一个“回答问题”的模型，而是一个“补全文档”的模型。如果你想让基座模型来回答问题，就必须假装输出一个文档，然后让它来“补全”。比如，你必须提示“下面是一首赞美祖国的诗歌：”，然后让模型来补全，而不能直接要求它“写一首赞美祖国的诗歌”。如何让基座模型变成一个交互式的AI助手呢？那就需要进入后面的阶段：微调。
2．微调阶段
在宏观上可以把后面的阶段都归到微调，即受监督微调、奖励模型+基于人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）阶段。简单地说，这个阶段就是对基座模型在少量（相对于预训练的数据量来说）的、已标注的数据上进行再次训练与强化学习，以使得模型更好地适应特定的场景与下游任务。比如：
（1）强化某个方面的应用能力（比如利用大模型进行情感检测）。
（2）适应特定的使用场景（比如针对人类对话，输出无害、安全的内容）。
（3）适应特定的知识领域（比如医疗或法律行业的特定术语或语义）。
（4）适应某些可标注数据相对稀缺的任务。
（5）适应特定的语言输出要求（比如适应某个场景的语言风格）。
与预训练相比，微调对算力的要求与成本都大大降低，这使得微调对于很多企业来说，在成本与技术上是相对可行的（当然，与RAG范式相比，成本仍然较高）。
大模型微调是一个相对专业的技术任务，涉及较多底层的深度学习的架构、参数及算法知识，以及多种技术（比如全量微调、Prompt Tuning，Prefix Tuning，P-tuning等）。不同的方法对资源与成本、指令数据等有不同的要求，当然达到的效果也不一样。另外，为了简化微调工作，也有一系列用于微调的工具、框架甚至平台可以使用，比如OpenAI针对GPT模型提供的在线微调API、重量级的大模型并行训练框架DeepSpeed等。
实施微调除了需要算力与算法、成熟的平台与工具，还需要生成与标注具有一定规模的高质量数据集，这通常由大量的指令与输出的样本来组成。对于一些行业特征特别突出的垂直领域，数据集的准备是最大的挑战。这些挑战如下。
数据从哪里采集，如何确保专业性与有效性。
对多形态的数据如何清洗与归一。
怎么标注数据的提示、输入、输出等。
处理老化数据，即知识过期后如何反馈到大模型。
继续以前面的例子来说明微调和RAG的区别。如果大模型是一个优秀学生，正在参加一门考试，那么RAG和微调的区别如下。
RAG：在考试时给他提供某个领域的参考书，要求他现学现用，并给出答案。
微调：在考试前一天对他进行辅导，使他成为某个领域的专家，然后让他参加考试。
如何在RAG与微调之间选择适合自己的增强生成方案呢？在实际应用中，需要根据自身的环境（应用场景、行业特征、性能要求等）、条件（数据能力、技术能力、预计成本等）、测试结果（指令理解、输出准确性、输出稳定性等）等来选择（见图1-15）。
与大部分的IT技术一样，无论是微调还是RAG，都有优点，也都有缺点。下面简单地做一下对比供参考（随着两种技术的发展，总结的一些优点和缺点可能会发生变化）。
RAG | 微调 | |
优点 | 1．使用更灵活，可根据需要随时调整Prompt以获得期望输出。 2．技术上更简单。 3．可以输入知识增强的Prompt让大模型立即适应领域知识。 4．无额外的训练成本 | 1．大模型自身拥有特定知识的输出能力，或适应特定的输出格式。 2．对下游应用更友好，在特定的任务中使用更简单。 3．可以节约推理阶段使用的token，推理成本更低 |
缺点 | 1．容易受限于上下文窗口的大小。 2．输入本地知识增强的Prompt在实现上下文连续对话时较困难。 3．大模型输出的不确定性在高准确性的场景中会增加失败概率。 4．输入带有上下文的、较长的Prompt会带来较高的推理成本。 5．随着模型的迭代，可能需要重新调整Prompt | 1．非开箱即用。 2．需要额外的数据准备、标注、清洗成本，以及必要的算力与训练成本。 3．需要足够的技术专家，特别是机器学习（Machine Learning，ML）专家、数据专家。 4．微调无法阻止出现“幻觉”问题，过度微调甚至可能导致某些能力下降。 5．模型迭代周期长，对实时性要求高的知识并不适用 |
无法确切地说在什么场景中必须使用RAG、在什么场景中必须使用微调。结合当前的一些研究及普遍的测试结果，可以认为在以下场景中更适合考虑微调的方案（在不考虑成本的前提下）。
（1）需要注入较大数据量且相对稳定、迭代周期较长的领域知识；需要形成一个相对通用的领域大模型用于对外服务或者运营。
（2）执行需要极高准确率的部分关键任务，且其他手段无法满足要求，此时需要通过高效微调甚至全量微调来提高对这些任务的输出精度，比如医疗诊断。
（3）在采用提示工程、RAG等技术后，无法达到需要的指令理解准确、输出稳定或其他业务目标。
在除此之外的很多场景中，可以优先考虑使用RAG来增强大模型生成。当然，在实际条件允许的前提下，两者的融合应用或许是未来更佳的选择。
为了帮助LLM开发人员更好的、更系统性的学习RAG应用，特别是企业级的RAG应用场景下，当前主流的优化方法与技术实现，《基于大模型的RAG应用开发与优化 — 构建企业级LLM应用》这本书可以与大家一起来深入到LLM应用开发的全新世界。
这是一本专注在企业级RAG应用开发与优化（部分涉及Agent）的指南。既不会深入Transformer原理与机器学习，也不会讲解如Coze这样的低代码平台的使用。
这是一本RAG基础方法与高级技巧各占一半的书籍，不管你是大模型与RAG的初学者，还是期望深入学习RAG的爱好者，相信你都能各取所需。
尽管书中代码基于主流框架LlamaIndex（相比LangChain更专注RAG也更简洁）实现，但更注重内在的RAG原理讲解，你可以轻易的移植到其他框架实现。
由于大模型的飞速发展与框架的版本迭代，可能存在极少量的内容在你看到时已经出现版本更新，但并不会影响你的理解。
关注公众号 AI算法与图像处理：并在公众号后台回复“抽奖”，即可参与，包邮赠送三本书 《基于大模型的RAG应用开发与优化》
