基于LLM的多智能体运维故障根因分析
文摘
科技
2024-10-25 12:00
北京
![]()
在现代企业运维领域，故障根因分析不仅至关重要，而且难度颇高。尽管单一智能体（Agent）技术为故障根因分析提供了一种有效的解决途径，但在应对复杂的运维故障时，仍存在局限性。本文旨在探索基于大型语言模型（LLM）的多智能体（Multi-Agents）技术在运维故障根因分析中的应用潜力，以期为企业带来更精确、更高效的运维故障诊断解决方案。
目前，Agent技术已成为运维故障根因分析的有效解决方案。这种技术是基于目标导向的软件工程架构，运维人员只需明确目标，Agent便能自主探索实现目标的路径。尽管基于LLM的单Agent技术在运维故障分析上已展现出其价值，但在实际工作中，面对多维度、多层次的故障诊断，其仍有局限性。
![]()
图1：基于LLM的单运维Agent架构
• 单Agent聚焦专一领域，综合分析不足：单Agent聚焦单一运维领域故障诊断，在处理跨系统或跨领域的复杂故障时，往往面临能力限制。这种局限性主要源于它们在角色、知识和可用工具方面的设置以及自主规划能力的不足。例如，专注于网络监控的Agent可能难以诊断那些同时涉及数据库和应用服务器的复合型故障。• 单Agent能力过载，影响分析准确率：即便赋予单个Agent多项运维故障诊断的能力，以应对复杂的运维故障诊断任务，但大型语言模型在解析长文本时的复杂性和长程逻辑的不稳定性，使得Agent在路由对应诊断能力和多轮交互中精确捕捉故障的微妙线索变得具有挑战性，这可能导致故障根因定位不够准确。例如，在一个繁琐的服务调用链中，如果一个Agent无法正确追踪跨服务的请求，就可能错过关键的故障线索。• Agent间协作需人工，影响分析效率：在复杂运维故障根因分析时，由于缺乏统一的协作框架，运维人员必须与每个独立Agent进行多轮沟通，以确定可能的故障原因。例如，如果存在一个专门监控硬件的Agent和一个专注于软件监控的Agent，运维人员就需要分别与它们沟通，了解它们是否检测到异常，并评估这些异常与当前故障的关联性。这种分散的交互模式使故障诊断过程变得繁琐且耗时。综上所述，基于LLM的单Agent技术在分析复杂故障根因中所展现的局限性，凸显了我们向更智能、更协同的故障诊断体系转变的迫切需求。这种转变将提升故障分析的深度与广度，确保我们能更有效地应对运维的复杂性。基于LLM多智能体（Multi-Agents）系统的目标是：确保多个Agent能够高效地协同工作，共同完成那些超出任何一个单一Agent能力范畴的复杂任务。与单一Agent侧重于使用工具的能力不同，Multi-Agents更像是一个由不同专业角色组成的团队，每个Agent扮演着特定的工种，通过分工合作来提升整体的效能。这种协作方式能够快速响应故障，增强系统的安全性和稳定性。例如，当企业的支付处理系统出现延迟，Multi-Agents中的应用Agent识别出服务响应时间异常，安全Agent检测到潜在的SQL注入攻击，而数据Agent发现数据库查询效率低下。这些智能体协作，共享数据并综合分析，迅速定位到根本原因——一个恶意的外部攻击导致数据库索引失效。
![]()
图2：基于LLM的多运维Agent架构
尽管运用Multi-Agents进行故障根因分析时，多次调用同一个大型语言模型，这种做法初看似乎有些违反直觉，实际上，存在几个充分的理由来支持这种做法：• 将复杂的任务进行分解。Multi-Agents设计模式为复杂任务的分解提供了一个高效的框架，它允许我们将运维故障根因分析这一复杂任务拆解为更小、更易于管理和解决的子任务。通过这种方式，不仅确保每个Agent可以专注于其擅长的特定领域，实现整个系统的高效运行和快速响应。而且子任务通常不会导致过长的上下文，从而保持了处理的高效性和准确性。• 提供多智能体间协同机制。通过建立协同机制，我们能够实现任务的有效分配、信息的共享与交流，以及人类参与和影响的有机融合。这种机制确保了每个Agent都能承担与其专业能力相匹配的子任务，同时能够互相共享和交换信息，并接受人类的反馈与指导。• 这种方法确实有效。目前，许多团队已经实验这种方法并取得了显著成效。例如，在D-Bot：基于大型语言模型的数据库诊断系统论文中，分析结果表明， D-Bot（基于GPT-4的Multi-Agents）在识别根本原因方面的成功率达到了77.27%，显著高于单Agent39.09%，同时在效率上也更为出色。多智能体（Multi-Agents）协作框架的核心是如何实现智能体之间的协作和竞争的平衡，即如何使每个Agent都能达到自己的目标，同时也能促进整个系统的性能和效益。为了实现这一目标，Multi-Agents协作框架需要具备以下关键能力：
• 任务的分解与分配：利用基于LLM的自定义Planner进行任务分解，并通过Verifier验证这些分解后的任务是否符合根因分析的目标，可以确保任务分解的有效性和准确性。在任务分配方面，可以采用多种策略来实现Agent之间的任务分配。例如，AutoGen多智能体框架groupchat的speaker_selection_method方法提供了auto、manual、random、round_robin等多种选择Agent的方式。
• 信息的共享和交换：Agent之间的通信是支持集体智能的关键基础设施。每个Agent都能共享和交换自己的信息。从三个角度剖析Multi-Agents通信：
1. 通信范式：Agent之间交互的风格和方法，包括：合作、辩论和竞争。其中，合作模式实现一个或多个共同的目标，通常会挖掘信息以增强集体解决方案；
2.通信结构：Multi-Agents中通信网络的组织和架构，包括：Layered、Decentraized、Centralized、Shared Messae Pool，其中，Shared Messae Pool是由MetaGPT提出，为了进一步提高通讯效率，MetaGPT还是引入了Publish-Subscribe机制，确保Agent可以直接从其他Agent和共享池中获得自己需要的信息；
3. 通信内容：通信内容通常以文本形式呈现。具体内容差异很大，取决于特定的应用。例如，在软件开发中，Agent可能会就代码段相互通信。
![]()
图3：多Agent通信模式
• 学习的方式和方法：在单Agent研究中，通过利用记忆和反思总结的方式实现Agent的自我进化。我们可以探索将这种学习机制扩展到Multi-Agents中，以此来挖掘Agent网络潜在的集体智能。通过这种方式，我们可以增强Agent之间的交互，激发协同效应，从而提升整个系统的智能性和效率。• 人类的参与和影响：使每个Agent都能与人类进行有效的参与和影响，如通过Human-in-the-loop等方式，接受人类的反馈和指导，提供人类的建议和帮助，遵守人类的伦理和法律，如通过规则、约束、监督等方式，使智能体能够根据人类的价值和标准，避免不合理和不道德的行为，提高系统的公平性和透明性。
以“用户缴费后无法开机”场景为例，创建多智能运维故障根因分析opsAgent。采用Centralized模式（即以一个Supervisor节点为中心，管理所有其他单运维Agent节点，并由Supervisor统一与用户交互），实现单运维Agent间的信息共享与交换，基于Qwen2-72B大模型自主分解任务并智能选择下一个Agent来处理，以提高故障诊断的效率和准确性。Step1：准备单运维智能体。构建两个单运维智能SaaSAgent和AntDBAgent。SaaSAgent负责服务故障诊断；AntDBAgent负责数据库故障诊断。Step2：创建并编排多智能体。创建名为opsAgent的多智能体，引用SaaSAgent和AntDBAgent由Supervisor统一协调。根据实际运维需求，我们可以为opsAgent添加更多具有特定功能的Agent。为了提高运行时选择Agent的准确性，建议根据租户、应用系统等因素合理划分每个Multi-Agents的应用范围。Step3：Supervisor提示词。提示词如下："你是负责管理以下Agent之间对话的主管：{SaaSAgent,AntDBAgent}。根据以下用户请求，回答下一个Agent应该采取的行动。每个Agent将执行一项任务，并报告他们的结果和状态。完成后，回复FINISH"。Step4：查看实际运行效果。当用户输入“用户缴费后无法开机”问题后，Supervisor匹配到了SaaSAgent，由其进行诊断后给出了反馈；Supervisor基于用户问题和SaaSAgent的反馈，安排AntDBAgent进行检查；AntDBAgent排查并修复完毕后，反馈给Supervisor；Supervisor安排SaaSAgent进行了最终确认，系统恢复正常。![]()
图4：opsAgent运维故障根因分析效果展示
整个故障排查和修复过程完全由opsAgent自主协同完成，运维人员只需输入发现的问题。这种方法极大地简化了故障诊断的复杂性，并显著提高了故障排查与修复的效率。另外，适当增加opsAgent中Agent的数量，系统将能够处理更加复杂的故障问题，从而进一步提升运维效率和效果。
Multi-Agents在处理复杂的故障根因分析方面具有明显优势，能够显著提升运维故障根因分析的效率。然而，目前这一技术也面临着一些技术和实施上的挑战：
• 算力消耗问题：在Multi-Agents系统中，随着Agent数量的增加，对计算资源的需求也随之增加。在资源有限的情况下，开发这些系统确实面临挑战。一种解决方案是采用量化模型来降低算力消耗，但这可能会对LLM的性能产生一定影响，需要根据实际效果进行权衡。
• 大模型幻觉问题：在Multi-Agents环境中，一个Agent的误判可能会引发连锁反应，影响整个系统的准确性。这不仅需要在单个智能体层面上纠正错误，还需要有效管理Agent之间的信息流动，防止错误信息在系统中扩散。一种有效的方法是使用经过微调的专属运维大模型，以降低幻觉问题的发生。
• 激发集体智能：目前，一些自我学习方法在单Agent上已经证明是有效的。我们可以探索将这些方法并将其引入到多智能体学习中，以充分利用Agent网络潜在的集体智能，增强多智能体之间的协同作用，进一步提升系统的整体性能。
总之，尽管Multi-Agents在智能运维领域具有巨大潜力，但要充分发挥其优势，还需要克服上述技术和实施上的挑战。通过不断的技术创新和优化，我们有望实现更高效、更可靠的智能运维解决方案。
[1] Taicheng Guo, Xiuying Chen, Yaqi Wang, Ruidi Chang, Shichao Pei,Nitesh V. Chawla, Olaf Wiest, Xiangliang Zhang. Large Language Model based Multi-Agents: A Survey of Progress and Challenges. arXiv preprint arXiv:2402.01680,2024.
[2] Xuanhe Zhou, Guoliang Li, Zhaoyan Sun, Zhiyuan Liu, Weize Chen, Jianming Wu, Jiesi Liu, Ruohang Feng, Guoyang Zeng. D-Bot: Database Diagnosis System using Large Language Models.arXiv preprint arXiv:2312.01454,2023.[3] Sirui Hong, Xiawu Zheng, Jonathan Chen, Yuheng Cheng, Ceyao Zhang, Zili Wang, Steven Ka Shing Yau, Zijuan Lin, Liyang Zhou, Chenyu Ran, et al. Metagpt: Meta programming for multi-agent collaborative framework. arXiv preprint arXiv:2308.00352, 2023.[4] QingyunWu,GaganBansal, JieyuZhang, Yiran Wu, Shaokun Zhang, Erkang Zhu, Beibin Li, Li Jiang, Xiaoyun Zhang, and Chi Wang. Autogen: En abling next-gen llm applications via multi-agent conversa tion framework. arXiv preprint arXiv:2308.08155, 2023.[5] 吴恩达：多智能体协作是新关键，软件开发等任务将更高效, https://zhuanlan.zhihu.com/p/694688056.[6]多智能体(Agents)协作框架：人工智能的下一个方向和挑战, https://mp.weixin.qq.com/s/Wc8a-hKm49zOVz9K7pwwIw.[7] 谈复杂Agent策略框架的设计, https://zhuanlan.zhihu.com/p/671618601.[8]An Overview of Multi Agent Frameworks: Autogen, CrewAI and LangGraph https://sajalsharma.com/posts/overview-multi-agent-fameworks/.[9] 2024年大模型Multi-agent多智能体应用技术：AutoGen, MetaGPT, XAgent, AutoAgents，crewAI https://zhuanlan.zhihu.com/p/671355141.[10] multi-agent：多角色Agent协同合作，高效完成复杂任务 https://developer.aliyun.com/article/1343139.
