GraphTeam: 基于多智能体协作的图分析大模型
1. 引言
在处理复杂关系数据时,图结构被广泛应用于社交网络、城市计算等领域。然而,尽管大模型在众多领域展现了强大性能,现有基于大模型的图分析方法仍存在明显局限性:一类方法依赖图神经网络(GNN)完成特定任务,迁移性差;另一类方法完全依赖大模型的内部推理能力,表现有限。
为解决上述问题,本文提出了一种多智能体系统 GraphTeam。该系统模拟人类问题解决策略(如类比与协作),通过多个具有不同专长的智能体协同工作,有效完成图分析任务。实验表明,GraphTeam 在六个图分析基准上平均准确率提升了 25.85%,显著好于现有方法。这一研究为图分析领域带来了新思路,同时展示了大模型在多智能体协作中的潜力。
2. 基本信息
标题:GraphTeam: Facilitating Large Language Model-based Graph Analysis via Multi-Agent Collaboration 作者及单位: Xin Li*, Qizhi Chu*, Yubin Chen*, Yang Liu, Yaoqi Liu, Zekai Yu (Beijing University of Posts and Telecommunications) Weize Chen, Chen Qian (Tsinghua University) Yubin Chen (The Chinese University of Hong Kong) 论文链接:https://arxiv.org/abs/2410.18032 代码链接:https://github.com/BUPT-GAMMA/GraphTeam
3. 研究背景
3.1 当前问题
图分析任务在 AI 领域得到了广泛研究,其应用场景包括社交网络、动态图建模等。然而,现有方法存在以下不足:
结合 GNN 的方法:
这些方法通常针对特定任务(如节点分类)进行优化,通用性较差。 例如,GraphGPT 和 GraphTranslator 通过 GNN 编码节点,再将其嵌入大模型的表示空间,但这些方法难以推广到多样化任务。
这类方法将图结构展平为文本描述,完全依赖大模型的推理能力。然而,大模型在处理复杂图分析任务时表现不佳。
3.2 研究目标
为克服上述问题,作者受到人类协作与问题解决机制的启发,提出 GraphTeam。这一系统通过多个智能体分工协作,有效利用外部知识库和工具,提高图分析任务的性能。其目标在于:
克服传统方法的不足,提供一种通用、高效的图分析解决方案。 在多个复杂基准任务上验证其有效性。
4. 方法
4.1 整体框架
GraphTeam 包含三个功能模块,共包含五个智能体:
输入输出规范化模块:
问题智能体(Question Agent):提取问题的关键要素(如图类型、输出格式等),并将问题结构化为便于理解的形式。这一过程确保后续模块能够准确获取问题信息。
答案智能体(Answer Agent):对生成的结果进行格式化处理,确保其符合问题要求,并通过自检机制保证结果的正确性。
外部知识检索模块:
检索智能体(Search Agent):从构建的知识库(包含 Python 库文档与历史问题解决经验)中提取与当前问题相关的条目。知识检索为问题解决提供了必要的外部支持。
问题解决模块:
编码智能体(Coding Agent):根据问题和检索到的知识生成 Python 代码,并尝试运行生成的代码以获取答案。若代码无法正常运行,则使用重试机制修正错误代码。
推理智能体(Reasoning Agent):当编码智能体多次尝试后仍无法生成正确结果时,推理智能体会直接基于输入数据进行逻辑推理,从而得出答案。
相比传统方法,GraphTeam 的多智能体设计显著提升了任务的鲁棒性和通用性,尤其是在复杂任务或特殊格式需求下表现优秀。
5. 实验与发现
5.1 实验设置
数据集: 六个基准,包括 Talk like a Graph、GraphWiz 等。 评估指标: 准确率、代码可执行性等。 基线方法: 包括 GUNDAM、GraphInstruct 等现有最优方法。
5.2 实验结果
整体性能:
GraphTeam 在所有基准上好于 SOTA,平均提升 25.85%。 对于最困难的问题子集,仍保持显著性能优势。
消融实验:
去除编码智能体后性能显著下降(平均 42.24%)。 知识检索模块中的经验库贡献最大,提升了 24.63%。
GraphTeam 在基本任务和列表输出格式上表现优异,但在复杂 GNN 任务和高级输出格式上还有改进空间。