ChatGPT、Claude这些AI聊天机器人真的那么聪明吗？
它们真的能理解我们的意图，并与我们进行有意义的对话吗？
最近，各大AI公司都在疯狂炫耀自家大模型的新成绩:
MMLU、HumanEval、MATH...这些benchmark的分数一个比一个高。
Table of the pretraining data mixture from llama technical report
但是，你有没有发现，这些分数的提升，似乎并没有让我们的使用体验变得更好？
尤其是在进行多轮对话的时候，这些所谓的"超级AI"经常会忘记自己是谁，忘记你给它的指令，甚至开始胡言乱语。
这到底是怎么回事？
今天我们就来聊聊LLM聊天机器人的进化之路，看看它们还缺了点啥。
从"餐厅脚本"到"预测下一个词"
要理解现代LLM聊天机器人的问题，我们得先回顾一下对话系统的发展历程。
早在1970年代，Roger Schank就提出了著名的"餐厅脚本"。这个脚本将餐厅就餐的整个过程分解成进入、点餐、用餐、付款等步骤，每个步骤都有预设的对话内容。
这种方法虽然简单，但在特定场景下还是能模拟出比较真实的对话。
后来又出现了ELIZA(模拟心理治疗师)和PARRY(模拟偏执症患者)这样的系统，它们都是基于规则和模板的对话系统。
而现在的LLM聊天机器人呢？
它们的核心其实就是一个 "预测下一个词"的大型语言模型。
没错，就是那个在海量互联网文本上训练出来的，能够流畅续写的模型。
但是，预测下一个词和进行有意义的对话，这两者之间是不是差了点什么？
LLM聊天机器人: 华丽的外表下藏着"失忆症"
现代LLM聊天机器人的构建过程大致如下:
预训练:在海量文本上训练一个预测下一个词的模型
引入对话格式:使用特定的格式来表示系统提示和对话历史
RLHF:通过人类反馈来微调模型，使其更"听话"
这个过程看起来很美好，但实际上存在一些根本性的问题。
最大的问题就是: 这些模型在多轮对话中很容易"失忆"。
研究人员发现，即使是最先进的LLM，在经过几轮对话后，也会开始忽视系统提示，偏离原本的角色设定。
上图显示，LLaMA2-chat-70B和GPT-3.5-turbo-16k在多轮对话中的指令稳定性都在迅速下降。
这意味着什么？
意味着你辛辛苦苦写的那些精妙提示词，可能在几轮对话后就被AI忘得一干二净了!
更可怕的是，这可能会带来安全隐患。
当AI忘记了那些规定安全行为的系统提示，它就更容易被"越狱"，产生不当言论。
缺失的一环: 目标导向的对话能力
那么，到底是哪里出了问题？
答案是: 现有的LLM聊天机器人缺乏目标导向的对话能力。
人类的对话通常是有目的的。我们聊天不是为了预测下一个词，而是为了达成某个目标，比如:
规划旅行
解决问题
达成共识
...
但是，现有的LLM训练方法并没有考虑到这一点。它们只是在尽可能自然地生成下一句话，而不是朝着特定目标前进。
这就好比你雇了一个助理，他说话很流畅，知识面很广，但就是不知道你要他干什么。
未来之路: Purposeful Dialogue
为了解决这个问题，研究人员提出了"purposeful dialogue"(有目的的对话)的概念。
这种方法试图让AI在对话中保持长期目标，而不是仅仅关注下一句话。
比如，有研究人员提出了一种叫做"Dialogue Action Tokens"(DAT)的技术。这种技术在每轮对话中都会使用一个"规划器"来预测一些前缀token，从而控制生成过程。
通过这种方式，AI就能在多轮对话中保持一致性，朝着特定目标前进。
这听起来是不是很酷？
但是，要真正实现这一点，还有很长的路要走。我们需要:
更好的对话系统监控和控制技术
更好地利用离线奖励信号
更深入地研究多轮对话作为潜在攻击面的安全问题
进化之路任重道远
从"餐厅脚本"到"预测下一个词"，再到未来的"有目的对话"，LLM聊天机器人的进化之路充满挑战。
但是，这条路必须走下去。
因为只有真正具备目标导向的对话能力，AI才能成为我们的得力助手，而不仅仅是一个会说话的大词典。
你觉得未来的AI助手会是什么样子呢？
👇
👇
👇
👇
本文同步自于知识星球《AGI Hunt》
星球实时采集和监控推特、油管、discord、电报等平台的热点AI 内容，并基于数个资讯处理的 AI agent 挑选、审核、翻译、总结到星球中。
每天约监控6000 条消息，可节省约800+ 小时的阅读成本。
每天挖掘出10+ 热门的/新的 github 开源 AI 项目
每天转译、点评 10+ 热门 arxiv AI 前沿论文
星球非免费。定价99元/年，0.27元/天。(每+100人，+20元。元老福利~）
一是运行有成本，我希望它能自我闭环，这样才能长期稳定运转；
二是对人的挑选，鱼龙混杂不是我想要的，希望找到关注和热爱 AI 的人。
欢迎你的加入！
👇👇👇快人一步，掌控AI👇👇👇
