虽然大模型输出的结果令人印象深刻，但 MIT 的一项研究发现它并不能连贯的理解世界。举例来说，一种流行的生成式 AI 模型能正确提供纽约市的逐向导航路线，但不能正确形成纽约市内地图。模型虽然能正确导航，但当研究人员关闭部分街道以及增加绕行线路，其导航能力会显著下降。研究人员进一步发现，大模型还会隐式的在网格之间生成不存在的街道，弯曲和连接遥远的交叉口。
https://news.mit.edu/2024/generative-ai-lacks-coherent-world-understanding-1105
尽管生成式人工智能的输出令人印象深刻，但它对世界并没有连贯的理解
大型语言模型可以做一些令人印象深刻的事情，例如写诗或生成可行的计算机程序，即使这些模型被训练来预测一段文本中接下来的单词。
这种令人惊讶的能力使得模型看起来好像正在隐性地学习有关世界的某些普遍真理。
但一项新研究表明，情况并非如此。研究人员发现，一种流行的 生成式人工智能模型可以近乎完美地提供纽约市的逐向驾驶路线指引，而无需形成准确的城市内部地图。
尽管该模型具有出色的有效导航能力，但当研究人员关闭一些街道并增加绕行路线时，其性能却急剧下降。
深入挖掘后，研究人员发现，模型隐式生成的纽约地图有许多不存在的街道在网格之间弯曲并连接远处的交叉路口。
这可能会对现实世界中部署的生成式人工智能模型产生严重影响，因为如果任务或环境稍有变化，在某种情况下表现良好的模型可能会崩溃。
“一个希望是，由于法学硕士可以在语言方面完成所有这些惊人的事情，也许我们也可以在其他科学领域使用这些相同的工具。但如果我们想使用这些技术来取得新发现，那么法学硕士是否正在学习连贯的世界模型这个问题非常重要，”资深作者 Ashesh Rambachan 说，他是经济学助理教授，也是麻省理工学院信息与决策系统实验室 (LIDS) 的首席研究员。
与 Rambachan 一起撰写了一篇关于该项研究的论文的还有：哈佛大学博士后 Keyon Vafa、麻省理工学院电气工程与计算机科学 (EECS) 研究生 Justin Y. Chen、康奈尔大学 Tisch 大学计算机科学与信息科学教授 Jon Kleinberg 以及麻省理工学院电气工程与计算机科学系和经济学系教授、LIDS 成员 Sendhil Mullainathan。这项研究将在神经信息处理系统会议上发表。
新指标
研究人员专注于一种称为 transformer 的生成式 AI 模型，该模型构成了 GPT-4 等 LLM 的支柱。Transformer 经过大量基于语言的数据训练，可以预测序列中的下一个标记，例如句子中的下一个单词。
但研究人员表示，如果科学家想要确定法学硕士是否形成了准确的世界模型，仅仅测量其预测的准确性是不够的。
例如，他们发现，Transformer 几乎每次都可以预测四子棋游戏中的有效动作，而无需了解任何规则。
因此，该团队开发了两个可以测试 Transformer 世界模型的新指标。研究人员将评估重点放在一类称为确定性有限自动机 (DFA) 的问题上。
DFA 是一个具有一系列状态的问题，就像到达目的地必须穿过的路口一样，也是描述沿途必须遵循的规则的具体方法。
他们选择了两个问题来表述为 DFA：在纽约市街道上导航和玩棋盘游戏奥赛罗。
“我们需要测试平台，以便了解世界模型是什么。现在，我们可以严格思考恢复那个世界模型意味着什么，”Vafa 解释道。
