© 作者｜侯新铭
机构｜中国人民大学
大语言模型在各种自然语言处理任务中表现出色，但在处理复杂现实任务时仍面临各种困难。在这项研究中，我们提出了CoAct框架，将人类社会中的层级规划和执行的协作模式引入LLM系统。CoAct框架包括两个智能体：1）全局规划智能体：负责理解问题范围、制定宏观计划，并向局部执行智能体提供详细的子任务描述；2）局部执行智能体：专注于具体任务的执行和实施。实验结果表明，CoAct在WebArena基准测试中表现优于baseline方法，能够在遇到失败情况时重新规划执行的行动轨迹，取得了更优性能。
论文题目：CoAct: A Global-Local Hierarchy for Autonomous Agent Collaboration
论文链接：https://arxiv.org/abs/2406.13381
1. 引言
人工智能领域正逐步探索开发具备自主性和自我调整能力的新方法，这些研究使得AI系统能够更好地应对复杂的现实世界自然语言处理任务。为了取得达到接近人类水平的能力，这些系统需要强大的规划和推理能力，以及适应错误和不确定性的能力。
尽管现有的大语言模型（LLMs）在各种自然语言处理任务中表现出色，但在面对复杂推理任务时仍存在诸多不足。这促生了之前一系列策略相关的工作，如CoT、ReAct和self-refine。然而，这些研究主要集中在单个LLM和单个记忆流上，表现出单个LLM在处理复杂任务时的局限性，在自主处理现实任务方面仍有很大改进空间，因此，引入多智能体协作的概念十分重要。
当我们构建人工智能系统时，将人类认知能力整合到开发过程中十分自然，这在最近的研究中已被广泛采用。在本文中，我们提出了CoAct框架，将人类社会中的层级规划和协作模式引入LLM系统，增强了LLM的推理能力；具体而言，我们的CoAct框架包括两个智能体：1）全局规划智能体：负责理解问题范围、制定宏观计划，并向局部执行智能体提供详细的子任务描述；2）局部执行智能体：在多层任务执行结构中运作,专注于全局计划中特定任务的详细执行和实施。实验结果展示了CoAct在网络环境WebArena中优于ReAct的良好性能，验证了CoAct在WebArena的各种网站环境中的有效性；此外，我们对CoAct进行了广泛的分析，提出了改进见解和未来相关研究可行的方向。
2. CoAct框架
CoAct是一个基于LLM的多智能体系统，旨在实现不同智能体之间的层级协作。框架包括任务分解、子任务分配与沟通、子任务分析与执行、反馈收集、进度评估和必要时的重新规划。
（1）全局规划智能体
全局规划智能体在复杂任务中起着至关重要的作用。它首先构建全面的计划，将其分为具有明确结果的分阶段子任务；该智能体管理整体计划，确保每个阶段上的定义清晰明确。在局部执行智能体对其发出反馈时，全局规划智能体会审核并提出可能的重新规划，提供指导和调整。它保持了整体计划的完整性，在必要时进行整合和修改，确保最终任务的输出与初始策略一致。
（2）局部执行智能体
局部执行智能体专注于实施全局计划中的具体子任务。该智能体处理任务执行、进行网络导航，逐步确保遵循整体策略。它仔细分析每个子任务，执行顺序操作，并根据全局计划验证这些操作。局部执行智能体基于收集的反馈评估进度，决定是否需要请求新全局规划智能体调整计划，或继续执行下一阶段。此外，其反馈的详细执行结果报告对确保与全局目标的一致性并提供操作和结果的整合至关重要。
3. 实验
我们采用了WebArena论文中采用的ReAct作为baseline模型，对于我们的方法，我们提出了CoAct w/ FS的变体，FS表示强制停止干预，即对话超过指定交换次数时强制终止。
我们在WebArena数据集中评估了我们的方法，该数据集涵盖了多种任务，包括购物、CMS、Reddit、GitLab和地图导航。WebArena是一个自包含的网络环境，旨在开发自主智能体，生成涵盖四个不同类别的网站，真实地再现了现实世界中的功能和数据。WebArena的主要挑战有两个：
1）观察偏差，即LLM在遇到的第一条信息上停留而不验证其准确性；
2）动作重复，即观察解释的失败常使LLM不必要地重复动作并忽略之前完成的步骤。这些挑战阻碍了模型准确高效地执行复杂的基于网络的任务。我们从每个任务中随机抽取100个样本进行实验，以确保覆盖范围广泛且评估具有代表性。我们通过任务成功率（SR）来衡量不同方法的性能。
下表列出了ReAct和我们提出的CoAct在WebArena基准测试中的结果；我们提出的CoAct将ReAct的性能比率提高了超过40%，在强制停止干预时提高了70%；CoAct在所有五个任务中表现优于ReAct，表明其在解决现实任务中的有效性和灵活性。
任务分析：然而可以看出，尽管CoAct明显优于ReAct，但与人类表现相比仍有很大差距。因此，我们有必要理解不同任务的难度，以制定进一步增强模型的策略。为了简化分析，特别地，我们对购物任务进行分析。我们将同时不能被ReAct和CoAct解决的任务归类为困难类；只需要一步处理的任务归类为简单类；其余示例归类为中等类，统计比例为30%：50%：20%（简单：中等：困难）。在任务难度方面的表现中，ReAct在简单、中等和困难示例上的成功率分别为34.0%、5.0%和0.0%；CoAct将这些值分别提高到52.0%、16.0%和0.0%。
对中等难度任务的错误分析：我们特别对“产品信息检索”类别中的失败案例进行了讨论。
我们将错误类型分为如下两类：
1. 规划不足：约40%的失败归因于全局规划智能体的缺陷导致的规划不足。这一类别突出了由于对任务理解不充分而导致初始全局计划不准确所产生的错误。这体现了将网页特定知识整合到CoAct的规划过程中的必要性，未来的努力可能优先需要通过知识检索来确保了对网页结构和内容的细致理解，从而增强模型对任务需求的理解，减少规划不足。
2. 循环和重复的动作：约60%的失败涉及循环和重复动作，最后超过了全局规划代理和局部执行代理之间交互的最大回合限制。我们认为，缓解这类错误需要通过引入记忆和经验学习来优化计划的转移过程，使CoAct能够从过去的交互中学习，减少重复动作的发生，提高整体效率。
其中，我们对评估将网页特定知识整合到我们的方法中的影响进行了初步实验；具体来说，在全局规划过程中，我们引入了使用搜索引擎的搜索步骤，用不超过100字的简短段落来增强文本。我们在购物和Gitlab两个任务上评估了这种方法，下表展示了结果，证明了整合网页特定知识的有效性。
4. 结论
在这项研究中，我们提出了由全局规划智能体和局部执行智能体组成的CoAct 框架，将人类社会中的分层规划和协作模式转移到大型语言模型（LLM）系统中。在 WebArena 基准测试上的实验结果表明，CoAct 能够在面对失败时重新安排处理轨迹，并在长文本形式的网络任务上取得了优于ReAct的良好性能。
关于互联网持续学习圈
