本期推荐一篇最新发表在PNAS上的论文《在心智理论任务中评估大型语言模型》。心智是人类独有的认知能力之一，指的是我们能够理解和预测他人内心的信念、欲望、意图等心理状态。在日常生活中，我们无时无刻不在利用这一能力来判断他人的行为和动机。传统上，心智理论能力是通过“错误信念任务”来评估的，这是一种经典的心理学实验，用来检测个体是否理解他人可能持有与自己不同的信念。本研究旨在评估现代大型语言模型（LLMs）在这一经典任务中的表现，探索它们是否能够像人类一样，在涉及“错误信念任务”的情境中，准确地推测他人心理状态。研究特别关注这些模型在解决错误信念任务时的表现，尤其是它们是否能理解他人对事物的错误认知，以及这种能力是否会随着模型规模和训练数据的增加而不断改进。
为了实现这一目标，研究设计了40个定制任务，涵盖了两种经典的错误信念任务：意外内容任务和意外转移任务。每个任务由8个场景组成，包括一个错误信念场景和三个与之匹配的正确信念控制场景，并且所有场景都有逆转版本。研究团队对11种不同版本的LLM进行了测试，涵盖GPT-1、GPT-2、GPT-3系列及最新的ChatGPT-4等模型。每个模型的表现通过对其理解和预测角色心理状态的能力进行评分，模型必须在多个场景中给出正确答案才能通过任务。为了避免模型仅凭记忆或猜测来应对任务，研究还设计了正确信念控制任务，以确保模型的表现不仅依赖偶然因素。
研究结果表明，随着模型的不断进化，LLMs在解决错误信念任务方面的表现逐渐提高。尤其是ChatGPT-4，成功解决了约75%的任务，其表现接近6岁儿童的水平。相比之下，早期的GPT模型仅能解决20%的任务，远低于ChatGPT-4的表现。这表明，LLMs在理解他人信念和推测心理状态方面，随着模型规模的扩大和训练数据的丰富，展现出了明显的进步，甚至涌现出了类似心智理论的能力。
总体而言，本研究为理解人工智能如何逐步具备更复杂的认知能力提供了重要的实证支持，尤其是在社会互动和心理状态推测等领域。
唧唧堂学院推荐订阅
