System 2 Reasoning via Generality and Adaptation
系统2通过一般性和适应性进行推理
https://arxiv.org/pdf/2410.07866
摘要
尽管在特定任务的应用中取得了显著进展，但当前的模型在深度推理、通用性和适应性方面仍面临挑战——这些是实现人工通用智能（AGI）的关键组成部分。尽管诸如程序合成、语言模型和变压器transformers等方法显示出潜力，但这些方法往往无法在其训练数据之外进行泛化，并且难以适应新任务，限制了它们进行类人推理的能力。本文探讨了现有方法在实现高级系统2推理方面的局限性，并强调了通用性和适应性对AGI的重要性。此外，我们提出了四个关键研究方向来填补这些空白：（1）从动作序列中学习人类意图，（2）结合符号和神经模型，（3）为陌生环境进行元学习，以及（4）强化学习以进行多步推理。通过这些方向，我们的目标是提升模型泛化和适应的能力，使计算模型更接近AGI所需的推理能力。
1 引言
如今，人工智能在特定任务的应用中取得了显著进展，这主要归功于神经网络的成功[15, 28, 41, 61]。此外，基于语言模型[1, 6]和强化学习模型[25, 51]的人工智能模型在多项任务上取得了令人惊讶的人类水平表现。然而，实现人类水平的深度和逻辑推理（被称为系统2推理[29]，这是人类认知和智能的核心概念）仍然是一个开放的挑战。系统2推理的特点是抽象思维、逻辑推理以及适应新奇和复杂情况的能力，这些都是AGI的关键组成部分。
越来越多的人认识到，为了满足AGI的推理需求，人工智能必须在通用性和适应性方面表现出色[24]，这是使模型能够处理未见任务和不可预测环境的两个基本能力。通用性帮助人工智能将学到的知识应用于新情境，而适应性则使模型能够灵活应对变化的情况[14]。这些能力对于系统2推理也至关重要，因为它们是类人智能的基础[33]。
尽管最近取得了进展，但当前的人工智能模型仍受限于其对训练数据和特定任务优化的依赖[57]。例如，大型语言模型（LLMs）[17, 23, 36]和基于模型的强化学习（MBRL）模型[51]虽然在受限环境中表现出色，但往往无法在其训练分布之外有效泛化。这导致现有AI模型与AGI所需的推理水平之间存在关键差距。特别是，大多数模型展示了系统1推理，即快速、基于模式的决策，而缺乏系统2推理中固有的深思熟虑和适应性品质[5, 11]。
为了弥合这一差距，必须确定在AI模型中培养通用性和适应性的策略。抽象推理语料库（ARC）[14]已被提议作为一个基准，专门用于评估AI模型在不依赖大量训练数据的情况下，在陌生情境中进行泛化和抽象推理的能力。先前解决ARC的方法，例如程序合成[2–4, 8, 9, 20, 26, 37, 38, 50, 65]、大型语言模型（LLMs）[13, 22, 27, 40, 48, 53, 59, 62, 63, 66]和变压器的变体[7, 44, 46]，虽然显示出潜力，但在应用于新任务时仍难以进行抽象推理和适应。为了使AI向AGI级别的推理进化，我们必须超越当前的方法，探索新的方向，专注于增强系统2推理。
本文解决了现有AI方法在实现系统2推理方面的局限性，并提出了四个关键研究方向：（1）从轨迹中学习人类意图，（2）整合符号和神经混合模型，（3）采用元学习进行适应，以及（4）使用强化学习增强多步推理。在本文中，我们探讨了每个关键研究方向，以提高AI的系统2推理能力，并展示了如何使用诸如抽象推理语料库（ARC）[14]等基准来评估这些能力，该基准侧重于通用性和适应性。通过探索这些方向，我们的目标是提高AI的通用性和适应性，使AI模型更接近AGI所需的推理能力。
2 背景
2.1 两种推理模式：系统1和系统2
系统1和系统2推理的概念源自心理学，描述了两种不同的思维模式[29]。系统1是快速且直观的，依赖于基于模式识别的自动决策。人类在日常生活中使用系统1，这些情况需要很少的认知努力，例如驾驶或进行简单的算术，其中决策是基于学习到的经验快速做出的。在人工智能中，这可以通过快速学习的神经网络来模拟，当与树搜索结合时，可以复制快速决策[5]。然而，系统1模型在熟悉的环境中表现良好，但在新情况和复杂任务中表现不佳。
另一方面，系统2推理涉及较慢、更深思熟虑的思维过程，需要逻辑推理和抽象思维。与系统1不同，系统2在遇到需要推理和规划的新任务时是必需的，而不是依赖于模式识别。这种推理类型对于解决新挑战和适应动态环境至关重要，正如人类在面对不熟悉的任务时经常需要制定策略一样。将系统2推理引入人工智能将解决当前AI模型在处理更抽象、逻辑驱动的任务方面的局限性，并增强其像人类一样推理的能力[11]。
系统1和系统2在认知机制上有所不同。系统1是快速、直观和基于模式的，而系统2是缓慢、深思熟虑并依赖于逻辑推理的。系统1在熟悉的情况下高效运作，但缺乏适应新环境的灵活性，而系统2对于处理更复杂、不熟悉的任务至关重要。在AGI研究中，整合这两种系统对于实现类人推理能力至关重要，使AI不仅能够复制学习到的行为，还能够抽象思考并适应新挑战。
2.2 通用性和适应性：AGI推理的两个关键组成部分
虽然系统2推理使深度、逻辑思维过程能够处理复杂和新的任务，但要在AI模型中充分发挥其潜力，还需要两个关键组成部分：通用性和适应性。为了实现类人智能，AI不仅必须在特定任务技能上表现出色，还必须展示在广泛环境和任务中进行泛化和适应的能力。这两个能力，通用性和适应性，是人工通用智能（AGI）的基本组成部分。通用性使AI模型能够将学到的知识应用于新情境，使其在不进行大量再训练的情况下在陌生环境中运作。适应性指的是AI根据变化的环境修改其行为的能力，确保其能够处理新任务和挑战。
AI中的通用性至关重要，因为它使模型能够超越狭窄的任务，将其能力扩展到更广泛的问题范围。通用性不仅依赖于从训练数据中学习的模式，还使系统能够提取基本原理并将其应用于不同领域。例如，一个训练用于识别图像中物体的模型可以将其知识泛化到理解新的类别，只需最少的监督。AI模型的通用性G(M, T, K)可以数学定义为：
在公式1中，G(M, T, K)表示模型M在给定领域知识K的情况下，在一组任务中进行泛化的能力。P(Ti|K)指的是模型基于其已获取的知识成功完成新任务Ti的概率。这一公式突显了模型如何将其学到的知识应用于新任务和情境，这是实现AGI级别推理的关键因素。达到这种通用性水平需要AI进行抽象推理，并在看似不相关的任务之间建立联系，就像人类操作一样。
另一方面，适应性确保AI模型可以在不需要大量重新设计或再训练的情况下适应新条件或任务。它反映了模型在环境变化时保持性能的能力。例如，部署在不同物理空间中的机器人系统必须调整其行为以适应各种布局、障碍和交互。没有适应性，即使是最复杂的AI模型也难以在不断变化的现实世界环境中保持相关性，从而限制其在AGI应用中的长期有效性。AI模型的适应性A(M, T, K, E)可以描述为：
在公式2中，A(M, T, K, E)定义了模型在不同环境条件E = {E1, E2, · · · , EN}下适应任务T的能力，给定领域知识K。术语P(Ti|K, Ei)表示在给定全局领域知识K和特定环境条件Ei的情况下，模型成功完成任务Ti的可能性。这一公式强调了适应能力不仅取决于模型的知识，还取决于其对环境变化的灵活响应。
通用性和适应性之间的协同作用最终定义了AGI的推理能力。一个真正智能的系统必须从先前的经验中进行泛化，同时适应新挑战，从而在其推理过程中结合这两种品质。因此，增强通用性和适应性的研究对于开发能够接近人类推理能力并处理远超简单模式识别任务的AI模型至关重要。
2.3 ARC：衡量通用性和适应性的基准
抽象推理语料库（ARC）是一个基准，用于评估AI模型以类似人类认知过程的方式进行推理和泛化的能力[14]。ARC任务涉及输入和输出网格对，根据少数示例对预测新的、未见输入的正确输出。ARC特别具有挑战性的是，它要求系统从有限的数据中推断出潜在的抽象规则，而不依赖于大型数据集或特定领域的信息。每个任务测试模型的抽象能力、模式识别和灵活推理能力，并且任务的结构使得它们不能通过暴力破解或记忆模式来解决。
ARC专门设计用于评估AGI的两个核心组成部分，通用性和适应性。为了在ARC任务中取得成功，AI模型必须从有限的输入-输出示例中进行泛化，并调整其策略以解决新的、未见的任务。因此，ARC挑战AI模型展示在新颖情境中应用学到的知识（通用性）和适应不同条件或规则（适应性）的能力。ARC不仅是通用性和适应性的基准，还作为AI中系统2推理的综合测试。ARC中的任务需要系统2推理的核心通用性和适应性，使其成为评估本文提出的研究方向的理想工具。通过在ARC任务中取得成功，AI模型可以展示在实现系统2推理方面的进展，这是迈向AGI的关键一步。
3 现有方法的分析
在解决ARC任务时，已经探索了几种AI方法，包括程序合成、大型语言模型（LLMs）和变压器。从系统2推理的角度来看，尽管这些方法在泛化方面取得了进展，但在适应新奇和陌生任务时仍面临困难。通过回顾这些方法，我们的目标是突出它们的成功之处，并识别需要进一步研究以改进通用性和适应性的领域。
3.1 程序合成受限于初始DSL的通用性和适应性
程序合成允许AI模型根据给定的规范或数据生成程序来解决任务。在ARC的背景下，程序合成促进了抽象推理和可解释性。然而，ARC任务在通用性和适应性方面提出了重大挑战，这两者对于解决新奇和动态问题都至关重要。尽管研究通过神经方法、对象中心推理和符号或基于逻辑的合成在改进程序合成方面取得了显著进展，但这些方法从根本上受限于其对初始领域特定语言（DSL）的依赖，这限制了通用性和适应性。
神经程序合成通过使用神经网络指导程序生成过程，在改进程序生成方面取得了进展[2–4, 8, 9, 20, 26, 37, 38, 50, 65]。例如，一种方法专注于创建可解释的程序[2]，而另一种方法则使用双向搜索提高效率[4]。类似地，对象中心程序合成利用对象关系来指导程序生成，通过跨任务操作对象特征来增强通用性[20, 37]。另一方面，符号和归纳逻辑程序合成应用逻辑推理将ARC任务分解为更简单的组件，通过基于规则的推理提高通用性[9, 50]。
然而，所有这些方法都依赖于预定义的DSL，这限制了通用性和适应性，特别是在面对超出初始DSL范围的任务时。尽管这些方法取得了成功，但当问题需要超出预定义规则和DSL原语的灵活性时，它们面临适应性挑战。
这些研究表明，程序合成中的一个基本挑战是，用于生成程序的初始DSL影响了通用性和适应性。如公式1和公式2所示，以DSL形式存在的领域知识（K）直接影响模型对任务的泛化能力和适应陌生环境的能力。因此，程序合成的通用性和适应性本质上与DSL的表达能力相关，未来的研究必须探索创建更动态和适应性更强的DSL的方法，使AI能够在更广泛的领域中运作。
3.2 大型语言模型（LLMs）展示了强大的通用性，但面临适应性限制
大型语言模型（LLMs）已成功应用于各种任务，包括抽象推理语料库（ARC）中的抽象推理任务。这些模型特别擅长识别模式并基于大规模预训练生成解决方案。在ARC的背景下，LLMs通过利用归纳推理、符号转换和假设细化来解决任务。尽管它们能够从大数据集中进行泛化，但在适应需要更深层次、更抽象推理的新奇或未见问题时，LLMs仍面临挑战。
最近的几项研究探索了将LLMs应用于ARC任务的不同方法[13, 22, 27, 40, 48, 53, 59, 62, 63, 66]。例如，一项研究使用LLMs进行假设细化，允许模型根据反馈调整其生成的假设[48]。另一项研究专注于将符号问题转换为自然语言解释，LLMs可以在符号推理任务中进行泛化，但在处理更抽象的挑战时面临限制[53]。此外，一些模型应用于模式识别任务，利用LLMs识别和生成模式，尽管这些模型受限于其对预训练的依赖[40]。
尽管LLMs在解决ARC任务时展示了显著的通用性优势，但这种通用性最终源于它们所训练的大量数据（K），这使得它们在未训练数据上表现出弱点是不可避免的。LLMs的这种固有限制引发了质疑，即它们是否真正在进行推理，还是仅仅基于其训练数据进行某种形式的插值[36]。
OpenAI的o1模型试图通过设计解决这些限制，该设计结合了思维链（CoT）推理，以进行更深思熟虑的问题解决[43]。这种方法通过允许模型细化其思维过程并尝试不同策略，可能解决传统LLMs在ARC任务中面临的一些挑战[39]。然而，尽管o1显示出潜力，但其在ARC任务中的有效性和实现AGI的潜力仍不确定[32]。未来的研究将至关重要，以评估这些模型在抽象推理任务中的表现，以及它们是否能够弥合模式识别和真正推理之间的差距。
3.3 变压器也增强了通用性，但在适应性方面遇到困难
变压器在自然语言处理和图像识别等领域展示了显著的能力。然而，当应用于ARC任务时，变压器在通用性和适应性方面经常面临挑战——这是解决新奇和动态问题的关键组成部分。几项研究旨在将变压器模型适应于ARC任务，利用其强大的模式识别和注意力机制来解决复杂的推理任务。尽管如此，这些方法仍受限于其泛化超出训练数据和适应陌生情境的能力。
已经提出了各种基于变压器的模型来更有效地处理ARC任务。一种方法在注意力机制中引入了对称先验，使模型能够处理几何变换并在共享几何规则的任务中进行泛化[7]。另一种模型专注于对象中心推理，通过利用对象检测和关系来解决涉及对象操作的ARC任务，从而增强其通用性[46]。第三项研究旨在通过改进其对数值模式的识别来提高模型的计数能力，这是ARC中定量推理的关键方面[44]。尽管这些模型在处理特定ARC任务方面展示了显著的改进，但它们仍受限于对预定义结构和先验的依赖，这限制了它们对新奇或抽象任务的适应性。
基于变压器的方法在ARC中展示了增强通用性的优势，特别是在涉及几何变换、对象关系或定量推理的任务中。这与先验知识[14]一致，后者将这些概念定义为智能的基础组成部分。然而，这些模型在适应性方面继续遇到困难，因为它们经常受限于预定义的结构，如对称先验、对象检测或计数机制。未来的研究必须探索使变压器更适应未见任务的方法，超越预定义的模式和规则，以更好地处理ARC的动态和抽象性质。
4 迈向系统2推理的研究方向
在前一节中，我们探讨了通用性和适应性是系统2推理的关键组成部分。尽管现有的AI模型在通用性方面显示出混合结果，但它们在适应性方面一直遇到困难，这限制了它们处理新奇和复杂任务的能力。为了解决这些限制，本节提出了四个研究方向，旨在推进系统2推理。AI必须能够从数据中提取抽象知识（K），例如人类意图，并以广义的方式结合这些知识，如在神经符号方法中所见。此外，元学习在使AI能够跨多样化的环境和任务高效适应方面起着至关重要的作用，建立在学习模型的基础上。最后，强化学习作为一个框架，整合了这些研究方向，提供了改进通用性和适应性所需的结构。
4.1 从数据中学习人类意图支持逻辑推理
为了实现系统2推理，通过捕捉人类意图来建立逻辑推理和抽象思维的基础至关重要。人类通过逻辑和抽象过程自然地进行系统2推理，而人类意图包含这些关键元素。因此，从人类意图中学习，而不仅仅是模仿人类行为，可以为推进系统2推理提供坚实的基础。ARC[14]、mini-ARC[30]、1D-ARC[66]、ConceptARC[42]、LARC[2]和MC-ARC[53]等基准使收集人类行为数据以训练AI模型成为可能。ARCreate Playground[31]、O2ARC[52]、ARC-Interactive[56]和ARC-Game[12]等平台对于收集此类数据很有用。此外，像ARCLE[34]这样的环境提供了模型可以从中学习收集的数据以提高推理和适应性的设置。
一旦数据收集完成，必须应用提取人类意图的方法来增强AI的逻辑推理能力。已经开发了几种技术，包括主题建模[10]、序列模式挖掘（SPM）[55]和隐马尔可夫模型（HMM）[49]，以从人类行为中推断意图。
• 主题建模[10]基于共同模式对子序列进行聚类。它使AI能够通过识别重复的动作序列来推断目标。模型必须考虑时间依赖性，以确保动作之间的关系得以保留。频繁共同出现的动作揭示了与特定模式相关的意图，有助于逻辑推理和决策。
• 序列模式挖掘（SPM）[55]识别频繁出现的动作序列，并将状态转换与目标联系起来。SPM通过基于观察到的模式预测动作并将动作与结果联系起来，增强了逻辑推理。
• 隐马尔可夫模型（HMM）[49]使用概率方法对动作和隐藏状态之间的转换进行建模。HMM在模拟时间依赖性、推断目标以及将短期动作与长期目标联系起来方面非常有效。
这些方法在从ARC任务中的人类轨迹学习意图方面特别有效，理解并适应人类策略对于成功至关重要。例如，在一个目标是沿对角线对齐网格的任务中，主题建模可以帮助AI识别重复的旋转和翻转作为人类使用的对角线对齐策略的强烈指标。序列模式挖掘可以通过检测重复的动作序列（如Rotate(CW)后跟Flip(Horizontal)）进一步增强这种理解，这些序列始终导致正确的结果。通过识别这些模式，AI可以开始预测成功的策略并将其应用于其他类似结构的任务。隐马尔可夫模型通过建模动作和隐藏目标之间的转换，将这一推理过程更进一步，使AI能够在更广泛的新奇任务中泛化学习到的策略。结合这些方法使AI模型能够更深入地理解人类推理，增强其逻辑推理和适应性，这是实现系统2推理能力的基本组成部分。因此，将这些技术与通过O2ARC[52]等平台收集的数据相结合，不仅提高了AI进行抽象推理的能力，还增强了其在动态环境中处理复杂多步任务的潜力。
4.2 结合符号和神经模型提高抽象性和通用性
实现系统2推理需要模型超越简单的模式识别，并结合逻辑、结构化的推理能力。一种有前途的方法是通过结合神经网络和符号推理的混合模型来实现这一点。神经网络擅长从数据中学习模式，而符号推理提供了可解释的、基于规则的框架用于逻辑推理。通过整合这两种方法，可以增强抽象推理和泛化到新、未见任务的能力，这对于系统2推理至关重要。
已经开发了几种方法来结合符号和神经模型，增强了通用性和推理能力。
• 神经符号编程（NSP）[45]将神经网络的模式识别优势与符号编程的显式逻辑相结合。在这种方法中，神经网络从数据中学习模式，而符号组件生成可解释的代码，可应用于推理任务。这种混合方法使处理需要从示例中学习和抽象概念推理的复杂任务成为可能，例如程序合成和抽象推理。
• 可微归纳逻辑编程（∂ILP）[19]通过将其与神经网络优化技术集成，扩展了归纳逻辑编程。这种方法允许系统在学习逻辑规则的同时保持神经架构的灵活性。∂ILP通过发现可跨不同领域应用的动态规则，提高了模型的泛化能力，使AI能够以最少的监督适应新、不熟悉的任务。
• 神经网络的符号回归[60]结合了神经网络和符号推理的力量，以揭示变量之间的函数关系。神经网络识别数据中的模式，符号回归将这些模式转换为符号表达式。这种方法在需要推理数学或函数关系的任务中特别有效，增强了模型在不同问题空间中的通用性。
在ARC任务中，混合神经符号模型非常适合从少量示例中进行泛化，并将符号规则应用于新任务。例如，NSP可以学习人类如何对网格应用旋转和翻转变换，然后使用符号逻辑泛化这些变换。∂ILP可以根据观察到的任务模式推断规则，而符号回归可能会识别网格元素之间的潜在数学关系。通过结合神经网络和符号推理，这些混合模型可以更有效地推理任务的结构，增强其抽象推理能力，并能够泛化到各种任务，这是系统2推理的关键方面。
4.3 元学习促进对陌生环境的适应
系统2推理要求AI系统能够快速适应新奇和陌生的任务，这一过程可以通过元学习来支持。与专注于任务特定优化的传统学习方法不同，元学习训练模型“学习如何学习”，使其更能适应各种环境。通过促进更快的适应和改进的泛化，元学习方法使AI系统能够有效应对新挑战，这对于需要在灵活思维和逻辑推理的任务中实现系统2推理至关重要。
已经开发了几种元学习技术来增强AI系统在需要对新奇和不断发展的任务进行推理的环境中的适应性。
• 递归神经过程（RNPs）[47, 64]扩展了神经过程以处理序列数据，使其对需要随时间推理的任务非常有用。在RNPs中，模型从时间依赖的模式中学习，使其能够根据过去的经验预测未来状态。这种能力对于多步推理任务特别相关，使AI能够动态适应不断变化的任务需求。
• 原型网络[54]设计用于少样本学习，模型通过将新示例与原型表示进行比较来进行分类。通过学习这些原型，AI系统可以在最少数据的情况下跨任务进行泛化，使其在需要结构化推理的环境中非常高效。原型网络对于系统2推理特别有益，其中识别和适应新模式是关键。
• 元强化学习（Meta-RL）[21]将元学习与强化学习相结合，创建了一个框架，其中代理不仅适应新任务，还随时间优化其推理。通过结合基于奖励的系统，Meta-RL使AI能够在动态环境中平衡目标推理与适应，增强其长期规划和决策能力。
在ARC任务的背景下，可能需要多个变换来实现目标，元学习可以显著增强适应性。例如，在一个目标是沿对角线对齐对象的任务中，RNP可以跟踪变换序列并根据时间模式调整推理。原型网络可以帮助系统识别对角线对齐中涉及的结构模式，促进跨任务的泛化。Meta-RL将提供平衡长期规划与实时推理的框架，使系统能够根据反馈动态调整其策略。通过利用元学习，AI模型可以增强其推理和适应能力，使其更接近系统2推理的水平。
4.4 强化学习增强适应性和多步逻辑推理
系统2推理不仅需要逻辑推理，还需要在动态环境中适应的能力以及执行多步推理的能力。强化学习（RL）特别适合这一点，因为它使AI系统能够通过基于从环境中获得的奖励优化行动来通过试错学习。通过不断调整行动以最大化长期奖励，RL增强了AI适应陌生任务和执行多步推理的能力，这对于系统2推理都至关重要。
已经开发了几种先进的RL技术来增强适应性和多步推理，为AI系统提供了在各种情境中规划、适应和推理的能力。
• 分层强化学习（HRL）[16]将决策组织成层次结构，其中高层代理设定总体目标，低层代理执行行动以实现这些目标。这种层次结构允许将复杂的推理任务分解为可管理的子任务，改善了多步问题中的推理和适应性。
• 基于模型的强化学习（MBRL）[58]涉及创建环境模型以预测不同行动的结果。通过模拟各种行动序列，MBRL使AI能够规划、推理潜在策略，并根据预测结果调整其决策。这种方法对于需要长期规划和推理未来状态的任务特别有效。
• 关系强化学习（RRL）[18]专注于学习任务中对象和行动之间的关系。通过理解不同实体如何交互，RRL允许AI系统推理对象关系并适应需要空间推理或对象操作的新任务。
在ARC任务中，RL代理可以在ARCLE[34]上进行训练，并利用其学习最优变换序列。例如，HRL可以将复杂的ARC任务分解为子任务，其中层次结构的每一层处理不同层次的抽象，简化了推理过程。MBRL可以模拟不同变换的结果，使AI能够规划并选择最有效的行动序列[35]。RRL通过关注对象关系，使AI能够推理不同变换如何影响空间排列，适应涉及对象交互的新任务。通过这些方法，RL增强了AI进行多步逻辑推理和适应新环境的能力，使其更接近系统2推理。
5 结论
本文探讨了现有AI方法（如程序合成、变压器和大型语言模型（LLMs））在解决ARC任务中的局限性，特别是在通用性和适应性方面。尽管这些方法在通用性方面展示了显著的改进，但它们在适应新奇和陌生环境方面一直遇到困难。它们对预定义结构、模式或大规模预训练的依赖使得当前的AI系统难以实现与系统2能力相关的更深层次、更灵活的推理。
为了解决这些挑战，我们提出了四个关键研究方向，旨在增强系统2推理的通用性和适应性：（1）从动作序列中学习人类意图，（2）整合符号和神经混合模型，（3）采用元学习进行适应，以及（4）使用强化学习进行多步逻辑推理。每种方法都针对当前方法的特定局限性，帮助模型更好地处理抽象推理、在各种领域中进行泛化，并动态适应新任务。
通过从动作序列中学习人类意图，AI可以更好地捕捉潜在目标，从而实现更强的逻辑推理和更类人的推理。符号和神经混合模型通过弥合数据驱动学习和基于规则的逻辑之间的差距，增强了抽象推理，使AI能够超越直接经验进行泛化。元学习通过优化模型以泛化其学习过程本身，促进了更快地适应新环境，解决了陌生任务所需的灵活性。最后，强化学习通过提供顺序决策和长期策略开发的框架，增强了适应性和多步逻辑推理。
迈向系统2推理将需要这些方法协同工作，使模型能够在多样化的任务中进行泛化，并无缝适应不可预见的情况。通过追求这些研究方向，AI系统可以进化到接近AGI级别的推理，不仅展示模式识别，还展示真正的人类级别推理、逻辑推理和抽象思维。
原文链接：https://arxiv.org/pdf/2410.07866
