首页 时事 民生 政务 教育 文化 科技 财富 体娱 健康 情感
更多
旅行 百科 职场 楼市 企业 乐活 学术 汽车 时尚 创业 美食 幽默 美体 文摘

Nature:「人类亲吻难题」彻底难倒LLM，所有大模型全部失败！LLM根本不会推理，只是工具

文摘   2024-11-17 08:05   中国香港  

大模型智能｜分享
来源 | 新智元
编辑 | Aeneas 好困

LLM究竟是否拥有类似人类的符合理解和推理能力呢？
许多认知科学家和机器学习研究人员，都会认为，LLM表现出类人（或「接近类人」）的语言能力。
然而，来自帕维亚大学、柏林洪堡大学、得克萨斯大学休斯顿健康科学中心、纽约大学、巴塞罗那自治大学的研究者却提供了一些最全面的证据，表明目前它们基本没有！
论文地址：https://www.nature.com/articles/s41598-024-79531-8
基于一个全新的基准数据集，研究者对目前最先进的7个模型（包括GPT-4、Llama2、Gemini和 Bard）进行了评估。
他们让模型回答了理解性问题，在两种设置下多次被提示，允许模型只回答一个单词，或给出开放长度的回复。
约翰欺骗了玛丽，露西也被玛丽欺骗了。在这种情况下，玛丽是否欺骗了露西？
史蒂夫拥抱了莫莉，莫莉亲吻了唐娜。在这种情况下，莫莉被吻了吗？
杰西卡和玛丽被爱丽丝亲吻了。杰西卡被塞缪尔亲吻，安德鲁被玛丽亲吻。在这种情况下，玛丽被吻了吗？
鲍勃亲吻了唐娜，芭芭拉亲吻了彼得。唐娜被爱丽丝拥抱。在这种情况下，爱丽丝被拥抱了吗？
为了建立实现类人表现的基准，他们在相同的提示下，对400名人类进行了测试。
基于n=26,680个数据点的数据集，他们发现，LLM准确性有偶然性，但答案却有很大波动。
他们还探讨了理解性问题答案的「稳定性」。结果表明， LLM缺乏强有力、一致的回应。
之后，他们测试了ChatGPT-3.5的一系列低频结构、探索语法，包括身份回避（「渔民捕获的鱼吃虫子」）、比较结构（「去过俄罗斯的人比我去过的次数多」）和语义异常（「……我们应该把幸存者埋在哪里？」这类谜题）。
ChatGPT的表现非常差劲。
研究者将这一证据解读为一种证明：尽管当前的AI模型具有一定的实用性，但仍未达到类人语言的水平。
原因可能在于，它们缺乏用于有效调控语法和语义的组合运算符信息。
最后，研究者强调说：在语言相关任务和基准测试中的出色表现，绝不应该被用来推断：LLM不仅成功完成了特定任务，还掌握了完成该任务所需的一般知识。
这次研究表明，从数量上讲，测试模型的表现优于人类，但从质量上讲，它们的答案显示出了明显的非人类在语言理解方面的错误。
因此，尽管LLM在很多很多任务中都很有用，但它们并不能以与人类相匹配的方式理解语言。
人类利用类似MERGE的组合运算符，来调节语法和语义信息
01
AI对语言的深层含义不敏感
LLM为什么这么容易受到莫拉维克悖论的束缚——在相对简单的任务上却会失败？
这是因为，在需要记忆专业知识的任务中的良好表现，并不一定建立在对语言的扎实理解的基础上。
对人类大脑最擅长的简单、轻松的任务来说，逆向工程却更加困难；而对于人类来说，理解语言却是一件轻而易举的事情，甚至连18个月的幼儿都能表现出对复杂语法关系的理解。
我们这个物种天生就具有不可抑制的语言习得倾向，总是会在文字表面之下寻找意义，并在线性序列中构建出令人惊讶的层次结构和关系。
不过，LLM也有这种能力吗？
很多人会把LLM在各种任务和基准测试中的成功，归结为它们已经具有了类人能力，比如高级推理、跨模态理解和常识能力。
甚至一些学者声称，LLM在一定程度上接近人类认知，能够理解语言，性能与人类相当甚至超越人类。
然而，大量证据表明，这些模型的表现可能存在不一致性！
尽管模型能够生成高度流畅、语义连贯的输出，但在自然语言的一些基本句法或语义属性方面仍会出现困难 。
那么，LLM在回答医疗或法律问题时，为何看似表现良好呢？
实际上，这些任务的完成，可能依赖于一系列完全不同于人类语言认知架构的计算步骤。
LLM在性能上的缺陷，已经引发了我们对其输出生成机制的严肃质疑——
究竟是（i）基于上下文的文本解析（即，能够将特定的语言形式与其相应的意义匹配，并在不同上下文中实现广泛的泛化），还是（ii）机械化地利用训练数据中的特定特征 ，从而仅仅制造出一种能力的假象？
目前，评估LLM的主流方法是通过其（结构良好的）输出，推断它们具备类似人类的语言能力（如演绎推理 ）。
例如，在语言相关的任务和基准测试中取得的准确表现 ，通常被用来得出这样的结论：LLM不仅成功完成了所执行的特定任务，还掌握了完成该任务所需的一般性知识
这种推理方式的核心逻辑，就是把LLM视为认知理论基础。
另一方面，假如LLM真的完全掌握了语言理解中涉及的所有形态句法、语义和语用过程，它们却为何无法稳定运用归因于它们的知识呢？
02
诡异考题，给LLM上难度
为此，研究者特意设计了一份别致的考题，来考验LLM对语言真正的掌握程度！
他们考验了GPT-3和ChatGPT-3.5对一些语法性判断的表现，也就是判断一个提示是否符合或偏离模型所内化的语言模式。
注意，这些提示在日常语言中出现频率较低，因此很可能在训练数据中并不常见。
这个考验的巧妙之处在哪里？
要知道，对人类来说，认知因素（如工作记忆限制或注意力分散）可能会影响语言处理，从而导致非目标的语法性判断，但人类可以通过反思正确处理这些刺激，即在初步的「浅层」解析后能够进行「深层」处理。
然而，对于LLM来说，它们的系统性语言错误并没有类似的「直给」解释。
可以看到，这些句子十分诡异。
比如「狗狗狗狗狗」，「诊所雇佣的护士的医生见到了杰克」，「根本存在缺陷的理念之村未能达到标准」，「当一架飞机在两国边界坠毁，残骸散落在两国境内时，我们应该在哪里埋葬幸存者？」等等。
GPT-3（text-davinci-002）和ChatGPT-3.5在涉及低频结构的语法判断任务上的表现，不准确的回复被标记为红色，准确的被标记为绿色
接下来，研究者着重调查了LLM理解语言的能力是否与人类相当。
他们调查了7个最先进的LLM在理解任务中的能力，任务有意将语言复杂性保持在最低限度。
约翰欺骗了玛丽，露西也被玛丽欺骗了。在这种情况下，玛丽是否欺骗了露西？
这项研究，在现实层面也意义重大。
虽然LLM被训练来预测token，但当它们与界面设置结合起来，它们的能力已经被宣传为远远超过下一个token的预测：商家会强调说，它们是能流利对话的Agent，并且表现出了跨模态的长上下文理解。
最近就有一家航空公司被告了，原因是乘客认为他们的聊天机器人提供了不准确信息。
公司承认，它的回复中的确包含误导性词汇，但聊天机器人是一个独立的法律实体，具有合理的语言能力，因此对自己的言论负责。
因此，研究人员想弄明白，LLM在语言理解任务中的表现是否与人类相当。
具体来说，有两个研究问题——
RQ1 ：LLM能否准确回答理解问题？
RQ2 ：当同一问题被问多次时， LLM的回答是否一致？
按模型和设置（开放长度与单字）划分的准确率如图A所示。
结果表明，大多数LLM在开放长度设置中，均表现较差。
按模型和设置划分的稳定性率如图B所示。
与准确性结果结合起来看，Falcon和Gemini的稳定性显著提高，这分别意味着 Falcon在提供准确答复方面部分一致，而Gemini在提供不准确答复方面部分一致。
( A ）按模型和设置划分的平均准确度。（ B ）模型和设置的平均稳定性
那么LLM和人类的区别在哪里呢？
比较分析表明，人类与LLM在准确性和稳定性方面的表现存在重大差异。
(A）各响应代理和场景的平均准确率。(B）各响应代理和场景的平均稳定性
准确性
1. 在开放长度设定中，LLM的表现显著差于人类。
2. 在单词长度设定中，人类的表现并未显著优于开放长度设定。
3. 在单词长度设定中，人类与LLM之间的表现差距显著缩小，这表明LLM的响应在不同设定间存在差异，而这种差异在人类中并未观察到。
这一结果揭示出，LLM 在不同响应条件下具有显著差异，而人类的表现则相对一致。
稳定性
1. 在开放长度设定中，LLM 的表现显著差于人类。
2. 在单词长度设定中，人类的表现并未显著优于开放长度设定。
3. 在单词长度设定中，人类与 LLM 之间的表现差距显著缩小，这表明 LLM 的响应在不同设定间存在差异，而这种差异在人类中并未观察到。
这一结果揭示，LLM在不同响应条件下表现出了显著差异，而人类的表现则相对一致。
另外，即使是表现最好的LLM——GPT-4，也要明显比表现最好的人差。所有人类参与者，在描述性水平上综合起来都优于GPT-4。
03
准确性和稳定性，LLM比起人类弱爆了
LLM的输出究竟是由什么驱动的？
究竟是（i）类似人类的能力来解析和理解书面文本，还是（ii）利用训练数据中的特定特征？
为此，研究者对7个最先进的LLM进行了测试，使用的理解问题针对包含高频结构和词汇的句子，同时将语言复杂性控制在最低水平。
他们特别关注了LLM生成的答案是否同时具备准确性（RQ1）和在重复试验中的稳定性（RQ2）。
系统性测试表明，LLM作为一个整体在准确性上的平均表现仅处于随机水平，并且其答案相对不稳定。
相比之下，人类在相同理解问题上的测试表现出大多准确的答案（RQ1），且在重复提问时几乎不会改变（RQ2）。
更重要的是，即便在评分对LLM有利的情况下，LLM和人类之间的这些差异仍然十分显著。
语言解析，是指通过为符号串赋予意义来理解和生成语言的能力，这是人类独有的能力 。
这也就解释了，为什么实验中，人类在多次提问或使用不同指令的情况下，能够准确回答并且答案保持一致。
然而，LLM的输出在数量和质量上都与人类的答案存在差异！
在数量上，LLM作为一个整体的平均准确率仅处于随机水平，而那些成功超过随机阈值的模型（如Falcon、Llama2和ChatGPT-4），其准确率仍然远未达到完美水平。
其次，尽管所有LLM在稳定性方面表现高于随机水平，但没有一个能够始终如一地对同一个问题给出相同的答案。
综上所述，LLM整体上并不能以一种可被称为「类人」的方式应对简单的理解问题。
04
LLM更像工具，而不是科学理论
研究者认为，LLM之所以在简单理解任务中无法提供准确且稳定答案，是因为这些模型缺乏对语言的真正理解：它们生成的词语如同语义「黑箱」，只是近似于语言的表面统计和解析过程中较「自动化」的部分。
事实上，不仅是较低的准确率，而且LLM响应的较低稳定性也表明，它们缺乏一种类人的算法，能够将句法信息直接映射到语义指令上，同时对不同判断的容忍度也明显较低。
而人类则拥有一个不变的组合操作器，用于调节语法和语义信息，因此在这方面明显不易出错。
此外，LLM并不适合作为语言理论，因为它们的表征能力几乎是无限的，这使得它们的表征既是任意的，又缺乏解释性基础，属于通用函数逼近器这一类别，而后者已被证明能够逼近任何数学函数 。
论文地址：https://arxiv.org/pdf/1912.10077
论文地址：https://arxiv.org/pdf/2012.03016
因此，与其说LLM是科学理论，不如说它们更接近工具，比如广义导数。
此外，LLM与人类表现之间的差异也具有质的特点。
首先，所有人类参与者无一例外地在所有设定中都提供了单词长度的回答。这表明被试在回答问题时，对所需信息量的理解具有一致性，即使在语用学领域，人类也遵循了由句法推理路径决定的计算效率和相关性原则 。
这与LLM形成了鲜明对比，后者通常会提供冗长的解释，即便在单词长度设定中也如此，从而违背了任务指令。
在这些解释中，LLM的推理被分解为逻辑步骤，但这些步骤中常常包含无关或自相矛盾的信息。例如，在以下提示中：
「Franck给自己读了书，而John给自己、Anthon和Franck读了书。在这种情况下，Franck被读书了吗？」
Gemini的回答如下：「不可能确定Franck是否被读过，原因包括信息有限，单独动作，歧义……」
这个问题的正确答案是「是」。而Gemini不仅给出了错误的答案，还做出了十分冗余的回答。
总的来说，如果研究者试图将遇到的LLM错误映射到语言分析的各个层面上，那么当他们从基本的语音形式转向更复杂的语言组织外层时，错误的发生率似乎会变得更大。
将图1中显示的错误类型映射到语言分析的层次上
最终这项工作证明：LLM连贯、复杂和精致的输出，相当于变相的拼凑而成。
它们看似合理的表现，隐藏了语言建模方法本身固有的缺陷：智能实际上无法作为统计推断的副产品而自然产生，理解意义的能力也不能由此产生。
LLM无法作为认知理论，它们因为在自然语言数据上进行训练，并生成听起来自然的语言，这并不意味着它们具备类人处理能力。
这仅仅表明，LLM可以预测训练文本中某些「化石模式」。
宣称模型掌握了语言，仅仅因为它能够重现语言，就好比宣称一个画家认识某人，只因为他可以通过看她的照片在画布上重现她的面容一样。
参考资料：
https://www.nature.com/articles/s41598-024-79531-8
深度图学习与大模型LLM
关注图机器学习，图表示学习，大模型LLM. 最近顶会顶刊动态以及机器学习基本方法，包括无监督学习、半监督学习、弱监督学习、元学习等
 最新文章
GraphTeam: 基于多智能体协作的图分析大模型，平均准确率提升了 25.85%！！
Tokenization 不存在了？Meta 最新研究，无需 Tokenizer 的架构来了
从线性注意力视角揭秘视觉Mamba，全新MILA模型
NeurIPS 2024 | 基于自适应多尺度超图Transfromer的时间序列预测方法
Transfusion: 单一Transformer架构中同时处理离散数据(文本) 和 连续数据（图像）
北大字节VAR获最佳论文、厦大清华获亚军，NeurIPS 2024最佳论文出炉
Graph与LLM对齐专题 || 基于MolCA的分子图与语言建模：跨模态投影器与单模态适配器
最新RAG综述:15种经典RAG框架综述
ICML 2023 || 基于自然语言理解能力提升药物发现中的活性预测模型
NeurIPS 2024 | 重新审视时间戳信息在时序预测中的作用
中科院院士：青年科学家 5 年内拿不出成果就面临淘汰，有的单位已现「马太」效应，重复给某一人奖励
自我进化！自对齐方法不需要人工注释或者蒸馏，而且效果更好 | NIPS 2024
2024快结束了，还有哪些会议可以投稿的？
开源最新Python包，一个接口调用OpenAI等模型:让开发者轻松使用来自多个提供商的大型语言模型
怒推一万次的顶尖名校公开课-LLM Agents
香港城市大学 AI 机器学习 数据挖掘 大语言模型 全奖PhD/联培PhD
大模型，可以这样学？
大模型，可以这样学？
RAG黑盒被打开了，可视化RAGViz闪亮全场
Nature:「人类亲吻难题」彻底难倒LLM，所有大模型全部失败！LLM根本不会推理，只是工具
港科大广州2025年春季与秋季博士生/研究助理招聘-大模型、AI4SCI、几何机器学习等方向
Token化一切，甚至网络！TokenFormer，Transformer从来没有这么灵活过！
NeurIPS 2024 | 经典GNNs是强有力的节点分类基线模型
LOGS第2024/11/08期||丹麦奥尔堡大学缪浩：面向流式与分布式场景的时间序列分析
Graph与LLM对齐专题 || ProtST：蛋白质序列和生物医学文本的多模态学习， ICML 2023
恋天恋地恋师妹, 防火防盗防师兄, 你会接受同门师兄的追求吗？
Graph与LLM对齐专题 || 多模态分子结构-文本模型MoleculeSTM（2022.12）
把下班后的时间都用来刷手机，对人生对生活究竟有没有影响？
Graph与LLM对齐专题 || MoMu学习分子图和文本的联合表示用于分子描述、跨模态检索、分子属性（2022）
基金委发文：目前约17%资助率过低，危害大，应提升至30~35%！增大青年、面上项目经费
Equitorch: 基于pyg的模块化等变图神经网络包
北邮GAMMA Lab专题解读 | Graph Transformer 最新研究进展
LOGS第2024/10/26期||清华大学李瑞堃：通过识别双曲主干来预测复杂网络的长时动力学
归一化Transformer（nGPT）：（LLM）的训练速度提高多达20倍，同时保持原有的精度水平！
Claude 3.5深夜觉醒，学会模仿人类用电脑！编程干翻o1，Agent一夜变天
图结构赋能语言模型：华为诺亚MILA联合提出基于图的可控数据合成提升大语言模型长逻辑链推理能力
实验室一块GPU都没有怎么做深度学习？
LLMs为零样本图学习器：GNN表示与LLM词元嵌入的对齐
为什么我们的研究生提不出问题？“如果制度把时间限定太死，学生只能选择‘短平快’，丧失了提出难题的勇气和机会。”
NeurIPS 2024 || GLBench: 面向大模型的图学习基准测试集
大模型不会推理，只是高级模式匹配器？无论是OpenAI GPT-4o和o1，还是Llama，都未被发现任何形式推理的证据？
NeurIPS 2024 || 结构信息原理指导的高效智能体探索
西北工业大学 || 诚邀海内外青年英才加盟，其中海外优青岗位：75万+奖励绩效+科研等其他收入+学院一次性奖励5万等，上不封顶
号称击败Claude 3.5 Sonnet，媲美GPT-4o，开源多模态模型Molmo挑战Scaling law
AI博士如何做出有影响力的研究？
ACM Survey || 麦考瑞大学最新《图级别学习》综述，274篇文献，图学习从图核到图transformer的交互和演变
NeurIPS 2024 ｜ SparseLLM：突破性全局剪枝技术，大语言模型稀疏化革命
o1医学领域大胜GPT-4，性能暴涨！顶尖华人团队激动发文：离AI医生越来越近了
PyCharm vs VSCode，是时候改变你的 IDE 了！
刚刚，Llama 3.2 来了！支持图像推理，还有可在手机上运行的版本
 分类
时事
民生
政务
教育
文化
科技
财富
体娱
健康
情感
旅行
百科
职场
楼市
企业
乐活
学术
汽车
时尚
创业
美食
幽默
美体
文摘
 原创标签
时事 社会 财经 军事 教育 体育 科技 汽车 科学 房产 搞笑 综艺 明星 音乐 动漫 游戏 时尚 健康 旅游 美食 生活 摄影 宠物 职场 育儿 情感 小说 曲艺 文化 历史 三农 文学 娱乐 电影 视频 图片 新闻 宗教 电视剧 纪录片 广告创意 壁纸头像 心灵鸡汤 星座命理 教育培训 艺术文化 金融财经 健康医疗 美妆时尚 餐饮美食 母婴育儿 社会新闻 工业农业 时事政治 星座占卜 幽默笑话 独立短篇 连载作品 文化历史 科技互联网
 发布位置
广东 北京 山东 江苏 河南 浙江 山西 福建 河北 上海 四川 陕西 湖南 安徽 湖北 内蒙古 江西 云南 广西 甘肃 辽宁 黑龙江 贵州 新疆 重庆 吉林 天津 海南 青海 宁夏 西藏 香港 澳门 台湾 美国 加拿大 澳大利亚 日本 新加坡 英国 西班牙 新西兰 韩国 泰国 法国 德国 意大利 缅甸 菲律宾 马来西亚 越南 荷兰 柬埔寨 俄罗斯 巴西 智利 卢森堡 芬兰 瑞典 比利时 瑞士 土耳其 斐济 挪威 朝鲜 尼日利亚 阿根廷 匈牙利 爱尔兰 印度 老挝 葡萄牙 乌克兰 印度尼西亚 哈萨克斯坦 塔吉克斯坦 希腊 南非 蒙古 奥地利 肯尼亚 加纳 丹麦 津巴布韦 埃及 坦桑尼亚 捷克 阿联酋 安哥拉