GraphTeam: 基于多智能体协作的图分析大模型,平均准确率提升了 25.85%!!

文摘   2024-12-20 11:58   新加坡  

GraphTeam: 基于多智能体协作的图分析大模型

1. 引言

在处理复杂关系数据时,图结构被广泛应用于社交网络、城市计算等领域。然而,尽管大模型在众多领域展现了强大性能,现有基于大模型的图分析方法仍存在明显局限性:一类方法依赖图神经网络(GNN)完成特定任务,迁移性差;另一类方法完全依赖大模型的内部推理能力,表现有限。

为解决上述问题,本文提出了一种多智能体系统 GraphTeam。该系统模拟人类问题解决策略(如类比与协作),通过多个具有不同专长的智能体协同工作,有效完成图分析任务。实验表明,GraphTeam 在六个图分析基准上平均准确率提升了 25.85%,显著好于现有方法。这一研究为图分析领域带来了新思路,同时展示了大模型在多智能体协作中的潜力。

2. 基本信息

  • 标题:GraphTeam: Facilitating Large Language Model-based Graph Analysis via Multi-Agent Collaboration
  • 作者及单位
    • Xin Li*, Qizhi Chu*, Yubin Chen*, Yang Liu, Yaoqi Liu, Zekai Yu (Beijing University of Posts and Telecommunications)
    • Weize Chen, Chen Qian (Tsinghua University)
    • Yubin Chen (The Chinese University of Hong Kong)
  • 论文链接:https://arxiv.org/abs/2410.18032
  • 代码链接:https://github.com/BUPT-GAMMA/GraphTeam

3. 研究背景

3.1 当前问题

图分析任务在 AI 领域得到了广泛研究,其应用场景包括社交网络、动态图建模等。然而,现有方法存在以下不足:

  1. 结合 GNN 的方法
  • 这些方法通常针对特定任务(如节点分类)进行优化,通用性较差。
  • 例如,GraphGPT 和 GraphTranslator 通过 GNN 编码节点,再将其嵌入大模型的表示空间,但这些方法难以推广到多样化任务。
  • 仅使用大模型的方式
    • 这类方法将图结构展平为文本描述,完全依赖大模型的推理能力。然而,大模型在处理复杂图分析任务时表现不佳。

    3.2 研究目标

    为克服上述问题,作者受到人类协作与问题解决机制的启发,提出 GraphTeam。这一系统通过多个智能体分工协作,有效利用外部知识库和工具,提高图分析任务的性能。其目标在于:

    • 克服传统方法的不足,提供一种通用、高效的图分析解决方案。
    • 在多个复杂基准任务上验证其有效性。

    4. 方法

    4.1 整体框架

    GraphTeam 包含三个功能模块,共包含五个智能体:

    1. 输入输出规范化模块
    • 问题智能体(Question Agent):提取问题的关键要素(如图类型、输出格式等),并将问题结构化为便于理解的形式。这一过程确保后续模块能够准确获取问题信息。
    • 答案智能体(Answer Agent):对生成的结果进行格式化处理,确保其符合问题要求,并通过自检机制保证结果的正确性。
    1. 外部知识检索模块

    • 检索智能体(Search Agent):从构建的知识库(包含 Python 库文档与历史问题解决经验)中提取与当前问题相关的条目。知识检索为问题解决提供了必要的外部支持。

    1. 问题解决模块

    • 编码智能体(Coding Agent):根据问题和检索到的知识生成 Python 代码,并尝试运行生成的代码以获取答案。若代码无法正常运行,则使用重试机制修正错误代码。

    • 推理智能体(Reasoning Agent):当编码智能体多次尝试后仍无法生成正确结果时,推理智能体会直接基于输入数据进行逻辑推理,从而得出答案。


    相比传统方法,GraphTeam 的多智能体设计显著提升了任务的鲁棒性和通用性,尤其是在复杂任务或特殊格式需求下表现优秀。

    5. 实验与发现

    5.1 实验设置

    • 数据集
      • 六个基准,包括 Talk like a Graph、GraphWiz 等。
    • 评估指标
      • 准确率、代码可执行性等。
    • 基线方法
      • 包括 GUNDAM、GraphInstruct 等现有最优方法。

    5.2 实验结果

    1. 整体性能
    • GraphTeam 在所有基准上好于 SOTA,平均提升 25.85%。
    • 对于最困难的问题子集,仍保持显著性能优势。
    1. 消融实验
    • 去除编码智能体后性能显著下降(平均 42.24%)。
    • 知识检索模块中的经验库贡献最大,提升了 24.63%。
  • 任务类别与输出格式分析
    • GraphTeam 在基本任务和列表输出格式上表现优异,但在复杂 GNN 任务和高级输出格式上还有改进空间。

    深度图学习与大模型LLM
    关注图机器学习,图表示学习,大模型LLM. 最近顶会顶刊动态以及机器学习基本方法,包括无监督学习、半监督学习、弱监督学习、元学习等
     最新文章