编者按
“小理AI课堂” 栏目将通过深入浅出的科普文章，带您深入了解AI在法律领域的应用，帮助您轻松掌握法律AI工具的使用技巧，提升工作效率。
让我们一起探索AI的无限可能！
在人工智能快速发展的今天，大语言模型已经成为我们生活中不可或缺的一部分。但是，你可能听说过这些模型会产生"幻觉"。这到底是怎么回事呢？让我们一起来了解一下。
01
什么是大语言模型的“幻觉”？
简单来说，大语言模型的"幻觉"就是模型生成的内容与事实不符或者自相矛盾的现象。这就像是模型在"做梦"，编织出一些看似合理但实际上并不存在的信息。
这种"幻觉"主要有两种类型：事实性幻觉和忠实性幻觉。
（一）事实性幻觉（Factuality）
事实性幻觉指的是模型生成的内容与现实世界的可验证事实不符。这种幻觉可以进一步分为两个子类：
事实不一致： 模型生成的信息与已知的事实直接冲突。例如，如果模型声称"地球是平的"或"太阳围绕地球转"，这就是典型的事实不一致。
捏造事实： 模型创造出完全虚构的信息，这些信息既不能被证实，也不能被证伪。比如，模型可能会描述一个从未发生过的历史事件，或者编造一个不存在的科学发现。
（二）忠实性幻觉（Faithfulness）
忠实性幻觉与模型对给定任务或上下文的理解和处理有关。这种幻觉也可以分为几个子类：
指令不一致：模型的输出与用户的原始指令或要求不符。例如，如果用户要求模型写一篇关于猫的文章，但模型却写了一篇关于狗的文章。
上下文不一致：模型的回答与之前的对话内容或给定的背景信息不符。比如，在一段对话中，模型先说一个人住在北京，后来又说这个人住在上海，这就是上下文不一致。
逻辑不一致：模型在推理过程中出现逻辑错误，导致结论与前提不符。例如，模型在解决数学问题时，给出的解题步骤正确，但最终答案却是错误的。
02
“幻觉”是如何产生的？
造成大语言模型"幻觉"的原因有很多，主要涉及数据、算法和训练、推理三个方面：
（一）数据
数据来源：数据存在知识边界，其来源可能无法涵盖所有领域，因此信息可能存在过时、缺失或不正确等问题。
数据利用：大模型在利用数据时可能会过度依赖训练数据中的模式，如位置接近性、共现统计数据等，而不具备真正的“理解”能力，从而导致幻觉的产生。例如，如果训练数据中频繁出现“澳大利亚”和“悉尼”，那么大模型可能会错误地将悉尼识别为澳大利亚的首都。
（二）算法和训练
预训练阶段：这个阶段可能存在架构缺陷、曝光偏差的问题。大模型基于前一个标记预测下一个标记，这种单向建模阻碍了模型捕捉复杂的上下文的能力。随着标记长度增加，不同位置的注意力被稀释；同时，模型会依赖于自己生成的标记进行后续预测，如果存在错误标记则可能引发级联错误。
微调对齐阶段：当微调数据需求超出这些预定义的能力边界时，大模型会被训练来生成超出其自身知识边界的内容，从而放大幻觉的风险。此外，模型还可能出现“谄媚”行为，在输出时倾向于迎合用户偏好，从而牺牲信息真实性，这也会增加大模型幻觉现象。
（三）推理
模型随机采样策略：为了增加创造性，模型在生成内容时会引入一些随机性，这可能导致模型输出偏离事实。
上下文关注度不足：模型在面对长文本时可能更多关注局部内容，而忽略全局信息，导致忘记指令或不遵循指令的情况。
03
如何应对“幻觉”问题？
虽然完全消除"幻觉"现象还很困难，但我们可以采取一些措施来减少其影响：
改进数据质量：提高数据质量是缓解大模型幻觉的关键，特别是在预训练、持续学习和模型微调中。数据质量优于数量，少量高质量数据优于大量低质量数据。
优化模型设计：开发更先进的模型架构和训练方法，增强模型的上下文理解能力、知识增强能力等。
引入事实核查：在模型输出结果时增加额外的验证步骤，将外部知识与模型生成结果进行交叉验证，确认它的真实性。
提高用户意识：让用户了解AI可能存在的局限性，运用批判性思维来评估AI模型的输出，包括检查信息来源、交叉验证信息的准确性等。
通过提示工程技术最小化幻觉： 通过提示词工程引导大模型一步步进行思考，进而输出我们想要的回答，这也是降低大模型幻觉的有效手段。
结语
大语言模型的"幻觉"现象提醒我们，尽管AI技术日新月异，但仍然存在局限性。作为用户，我们在享受AI带来便利的同时，也要保持警惕，学会分辨信息的真伪。未来，随着技术的不断进步，相信"幻觉"问题终将得到更好的解决。
- END -
往期推荐：
