近日，我组提出基于图结构的多智能体协作网络MacNet (Multi-Agent Collaboration Networks)，并对多智能体的协作缩放定律 (Collaborative Scaling Law) 进行了探究。
论文信息
多智能体协作网络 MacNet 示意图
➤ 论文地址
🔗https://arxiv.org/abs/2406.07155
➤ ChatDev链接
🔗https://github.com/OpenBMB/ChatDev
相关成果将开源到 ChatDev 项目，敬请期待。
研究背景
在迅速发展的人工智能领域，大语言模型（LLMs）因其卓越的语言能力在多个领域引发了变革性的转变，能够无缝整合广泛的世界知识。这一突破的核心在于神经缩放定律（Neural Scaling Law），即训练良好的神经网络通常表现出与神经元数量呈幂律尺度关系。在大模型基础之上，被赋予了工具使用、长期记忆、决策规划等高级功能的智能体（Agent）能够自主完成任务，展现出了更高层面的自主任务解决能力。近期，多智能体协作则进一步拓展了智能体能力，展现出群体超越单体的可能性。
受神经缩放定律的启发，一个自然的研究问题浮现：在多智能体协作中增加智能体数量是否会展现类似规律？研究协作缩放定律对于准确估计多智能体系统的计算资源与性能趋势之间的关系至关重要。这种理解有助于优化资源利用，最大限度地减少不必要的浪费，最终实现更具可扩展性、实用性和资源高效的智能体系统。
为了探究协作缩放定律，本文将多智能体系统建模为一个由专业智能体组成的有组织团队，研究它们在自主解决复杂问题时的相互依赖互动推理和集体智慧。通过设计适当的拓扑结构和有效的互动机制，旨在有效提高智能体系统的协同效率和可扩展性。
技术路线
技术上， 通过有向无环图连接多智能体，通过拓扑排序路由它们的交互次序，并从其对话中获取解决方案。即给定任意一个有向无环图，策略性地将智能体部署在该图网络上：每一个节点被部署了一个助理智能体（Assistant），每一条边上部署了一个发令智能体（Instructor），据此构筑出多智能体协作网络MacNet。
左图：本文所采用的代表性拓扑结构
右图：在边和节点上部署不同的智能体
MacNet 采用拓扑顺序来引导智能体按照序列进行交互，使得交互信息在网络上进行“流动”。具体来说，针对每一条单独的边上的多名智能体，拓扑序列中前一个节点输出它的信息并交给发令智能体进行意见指引，发令智能体给出反馈后交与后续相邻的助手智能体进行解决方案的一次精炼。在信息传递时，MacNet仅抽取出智能体给出的解决方案（而不是全程对话）进行网络传输，极大降低超长上下文隐患，有效承载上千个智能体协同工作的同时不会超出上下文限定。
采用拓扑排序来引导智能体按序交互，使得交互信息在网络上进行“流动”
实验评估
不同拓扑结构下多智能体协作的缩放效应
实验评估中，本文在MMLU、HumanEval、SRDD、CommonGen-Hard四个数据集上进行了测试。作为默认设置的链式结构方法在大多数指标上始终优于所有基准方法，表现出显著的优势，实验结果也表明群体智能优于单智能体推理，因为后者相当于高维多智能体组合空间的特征“池化”，缺乏灵活性来探寻更优配置。
横向对比，不同的拓扑结构展现出了各自的优势；例如，链式拓扑更适合软件开发，而网状拓扑在逻辑选择方面表现出色；没有单一的拓扑结构能在所有任务中均显现最佳结果。进一步观察表明，有着较小平均路径长度的“小世界”拓扑结构往往表现出更优越的性能（称之为“小世界协作现象”）。与此同时，实验结果表明在智能体规模增长过程中，协作的性能表现大致呈现出Sigmoid形函数的趋势，且相较神经缩放法则更“早”被观测（即在较小规模体量下便可呈现出涌现效果）。
不同拓扑结构下多智能体协作的缩放效应
总结
本篇论文提出了多智能体协作网络 MacNet，以有向无环图的结构来组织多智能体协同工作，基于此网络对群体智能的协作缩放定律进行了初步研究，并针对六种经典的图结构进行了广泛实验，实验结果证明了本框架能够支持异构拓扑下的大规模智能体协同；同时还发现多智能体协作网在规模增大时表现出 “小世界协作现象”（ 越接近小世界网络属性的拓扑，其综合性能更优越）；此外，该研究归纳出了协同缩放法则，即缩放智能体量的综合性能大致遵循 Sigmoid 形趋势，相较神经缩放法则更 “早” 被观测。该结果有望为多智能体系统的资源预测和优化提供启发、并据此指导或改善未来智能体系统的效率和可扩展性。
相关工作成果
➤ 查看往期推送了解更多智能体相关研究
🔗 新闻 | 我组联合面壁探索大模型驱动自动化软件开发ChatDev
🔗 成果｜多智能体经验迭代精炼框架——实现多智能体经验动态积累以增强任务解决能力
🔗 成果｜我组提出多智能体学习框架：经验式共同学习，增强多智能体协作式软件开发能力
作者简介
/ 钱忱 /
论文主要作者
➤ 官网预约线上直播
🔗 https://2024.baai.ac.cn/
关于我们
清华大学自然语言处理与社会人文计算实验室（TsinghuaNLP）成立于 20 世纪七十年代末，是国内开展自然语言处理研究最早、深具影响力的科研单位，也是中国中文信息学会计算语言学专业委员会及中国人工智能学会因果与不确定性人工智能专业委员会的挂靠单位。实验室在学术总体带头人孙茂松教授及学术方向带头人刘洋教授、刘知远副教授的带领下，围绕以中文为核心的自然语言处理，在语言大模型、跨模态大模型、中文信息处理、机器翻译、知识图谱、智慧教育、社会人文和艺术计算等方面开展系统深入的研究，在国内外具有较大的学术影响。近年来，实验室承担了国家 973 项目、国家重点研发项目、国家社会科学基金重大项目等多项重要研究任务，并与腾讯、华为、搜狗等企业建立密切的学术合作关系。
Website：http://nlp.csai.tsinghua.edu.cn/
Email：thunlp@163.com
GitHub：https://github.com/thunlp
https://github.com/OpenBMB
Twitter：https://twitter.com/TsinghuaNLP
THUNLP 长期开放招聘
