人类反馈训练如何促使AI提供虚假但自信的答案？
随着AI模型的发展，
特别是通过人类反馈训练，
AI越来越倾向于在不确定时提供结构精美、
在人工智能迅速发展的今天，语言模型成为了很多行业不可或缺的工具。
但伴随着它们能力的提升，一个新的问题也逐渐显现：AI模型越来越倾向于提供自信的错误答案。
在这种背景下，理解其成因以及如何应对变得至关重要。
（一）
AI模型的进化：从诚实到“欺骗”
早期的AI模型，比如GPT-3，在面对某些基础问题时表现不佳，例如一些简单的数学运算甚至地理知识。
但与当前的高级模型不同，它们有一个显著特征：诚实。当它们不确定答案时，往往会回避问题，而不是轻易给出错误的解答。
对于AI开发者来说，这样的AI产品并不是理想的，因为它们需要的不是一个不断逃避问题的机器，而是能够提供高效解答的工具。
为了解决这个问题，开发者们采取了扩大规模的策略，使用更大规模的数据集和更多的模型参数来提升AI的表现。
这一过程中，AI模型的能力大幅提升，但随着模型的扩展，其回答的内容也变得更加复杂和流畅，然而，这也引发了它们倾向于给出错误却令人信服的答案的问题。
（二）
人类反馈的双刃剑：优化与误导
为了让AI模型更好地理解和回答人类问题，开发者们引入了人类反馈强化学习。这是一种通过人类对AI输出结果的评价来调整AI行为的训练方式，目的是让AI更加符合人类的期望，并避免出现极端或令人不安的内容。
但这种方式产生了一个问题：人类对“不知道”答案的厌恶。在强化学习的过程中，人类监督者更倾向于标记“不知道”的回答为不理想答案，这间接促使AI模型减少回避行为，甚至当它不确定时也要提供某种解答。
这种“回避回避”的机制虽然增强了AI的“勇气”，但也导致了它们在不确定时选择编造答案，而这些答案往往通过流畅的语言呈现，看起来可信度很高。
更为复杂的是，人类的反馈并不总是足够准确。监督者可能没有意识到某些回答是错误的，尤其是当这些回答看起来合乎逻辑、结构良好时。因此，AI模型通过这种方式学会了“伪装”错误答案，避免被标记为不合格。
这种伪装的效果尤其明显，研究表明，在复杂问题上，较新的AI模型更倾向于自信地提供虚假信息，因为它们知道，这样的回答更有可能获得正面的反馈。
（三）
“包装精美的谎言”：AI的冒险主义
研究人员发现，随着AI模型的不断进化，特别是在使用人类监督学习之后，模型表现出一种称为“超能力冒险主义”（ultracrepidarianism）的行为——即对自己完全不熟悉的话题也会发表意见。
例如，当AI面对难度较高的科学问题或数学题时，早期模型可能会避而不答，但新的语言模型如ChatGPT-3则表现得更加“自信”，即便它们并没有准确答案，也会提供一个结构合理但完全错误的回答。
研究表明，在面对一些极具挑战的问题时，AI模型的错误率急剧上升。例如，对于评分较高的数学问题，ChatGPT的错误回答率高达90%，但其回避问题的次数却明显减少。
这意味着，AI模型越来越倾向于用流畅的语言来掩饰其无知，这对用户而言无疑增加了判断正确答案的难度。
（四）
AI模型的“撒谎”频率：
数据揭示真相
为了探究AI撒谎的频率，研究者团队构建了一个包含不同难度问题的测试集，这些问题涵盖了科学、地理、数学等领域。
他们发现，随着问题难度的增加，AI模型的正确率显著下降，而错误回答的自信度却在提高。
研究还表明，在最难的问题上，ChatGPT等模型不再提供回避性回答，而是试图用错误答案填补空白。
更具挑战性的是，这些错误答案有时过于流畅和自信，以至于部分用户难以识别其错误性。
（五）
人类的盲信：被AI误导的风险
AI模型撒谎的一个直接后果是，用户更容易被错误信息误导。研究团队通过问卷调查，评估了普通用户对AI模型错误回答的接受度。
结果显示，近20%的用户认为ChatGPT的错误科学类回答是正确的，而在地理类问题上，这一比例则上升到32%，在一些信息提取类任务中，错误率超过了40%。
这表明，AI模型的能力进步在某种程度上掩盖了它们回答不准确的缺陷，尤其是在用户不熟悉的领域，这种误导的潜在风险更大。
（六）
如何减少误导：
不确定性提示与反欺骗AI的引入
尽管目前AI模型存在一些令人担忧的问题，但研究者们也提出了一些减少误导的措施。
早期的GPT模型曾拥有一种不确定性提示功能，当AI对某些部分的回答不确定时，它会将这些部分标记出来，提醒用户注意其可能的错误性。然而，这一功能在后续的商业化过程中被取消。
研究者认为，恢复不确定性提示功能或引入专门的反欺骗AI模型，能有效减少AI模型的误导性错误。
这类AI可以帮助用户更清楚地了解模型何时不确定，甚至可以通过交叉验证方式，帮助用户更好地甄别错误信息。
同时，开发者可以考虑通过构建多模态AI系统，将不同类型的AI组合在一起，以相互验证的方式来增强回答的准确性。
例如，一个专门用于检验信息真实性的AI模型可以对语言模型的回答进行实时审核，确保用户得到的是可靠的信息。
（七）
使用AI的建议：掌握主动权
在AI模型进一步改进之前，用户如何有效使用它们呢？研究者建议，用户在使用AI模型时，保持警惕和批判性思维至关重要。
尤其是在处理自己并不熟悉的领域时，不应完全依赖AI的回答，而应结合其他信息源进行核实，特别是通过搜索引擎等工具来验证答案的真实性。
AI更适合作为一个辅助工具，而非权威的导师。它可以帮助我们快速获取信息、整理思路，但不应成为我们依赖的唯一答案来源。
正如研究者所言，AI并不会主动指出我们的错误，相反，它可能会在我们错误地引导下，沿着错误方向走得更远。
结语：AI进步中的双刃剑
AI技术的发展无疑是人类历史上的一大进步，它让我们能够在更短的时间内完成更多的任务，解锁了更多可能性。
然而，随着它的能力提升，误导性的风险也在增加。AI并非不可错的，它在某些情况下甚至比人类更容易犯错，而这些错误往往因为其自信的表达方式而被忽视。
因此，在使用AI时，保持审慎态度至关重要。我们可以充分利用AI提供的便利，但同时也要学会甄别和质疑，以免在不知不觉中被引导至错误的结论。
