—1—
muAgent 框架剖析
Agent Base:构建了四种基本的 Agent 类型 BaseAgent、ReactAgent、ExecutorAgent、SelectorAgent,支撑各种场景的基础活动。 Communication:通过 Message 和 Parse Message 实体完成 Agent 间的信息传递,并与 Memory Manager 交互再 Memory Pool 完成记忆管理。 Prompt Manager:通过Role Handler、Doc/Tool Handler、Session Handler、Customized Handler,来自动化组装Customized 的Agent Prompt。 Memory Manager:用于支撑 chat history 的存储管理、信息压缩、记忆检索等管理,最后通过 Memory Pool 在数据库、本地、向量数据库中完成存储。 Component:用于构建 Agent 的辅助生态组件,包括 Retrieval、Tool、Action、Sandbox 等。 Customized Model:支持私有化的 LLM 和 Embedding 的接入。
—2—
muAgent 关键技术
System Content:用于存储管理当前 LLM 输出的时间,Role 信息等。 Info Content:LLM 辅助信息,比如像知识库查询信息、代码库检索信息、工具信息、Agent 信息等。 LLM Content:直接存储和传递 LLM 产生的信息。 LLM Parsed Content:对 LLM 进行解析转成更易操作的 key-value 数据结构,方便对 LLM 内容进行过滤。 Customized Content:用于管理自定义 action 产生的 key-value 数据内容,用于后续自定义Prompt模板的组装构建。
关键技术二:Memory Manager 记忆强化
你的虚拟开发团队记忆力惊人,不管是保存、压缩还是检索聊天历史,他们能在数据库的海洋中自如潜泳。
存储管理:在数据库或本地实现对 chat history 进行 save 和 load 管理,包括 user input、 llm output、observation ouput。
信息压缩:对 chat history 进行关键信息压缩总结 summary context,比如:单文本概况、侧重不同角度进行文本概况、关键信息提取、多文本概况,作为 Prompt context。
记忆检索:提供基础检索功能,检索 chat history 或者 Summary Context 中与问题相关信息,辅助问答。
关键技术三:Prompt Manager – 大脑核心
如何让多个大模型分工并协调好 LLM 并来引导它们产生期望的输出,其本质就是将业务问题抽象并拆解到可执行的 Prompt,让他们像处理业务问题一样精准执行。Prompt Manager 正是这个大脑——将各类 Prompts 巧妙组装,从而驱动 LLM Agents 发挥出惊人的生产力!
muAgent 将Prompt Manager模块中分为 System Prompt、Context Prompt、Customized Prompt三部分:
System Prompt 包括 Role Name、Role Description、Task 等,即希望模型执行的特定任务。
Context Prompt 包括 Doc Context、Code Context、Tool Context、Agent Context、Session Context 等,即希望模型理解的请求所需的背景信息。
Customized Prompt 则是 自定义的一些 Input 和 Ouput,即模型需要处理的数据和期望的输出类型或格式的信号。
关键技术四:Retrieval、Tool、Action – 辅助生态组件,muAgent 框架的得力小助手
Retrieval:好比虚拟团队的知识库管理员,有求必应。集成了 Doc、Internet Search、Code Retrieval 三种检索信息的方式,定义了一个抽象IMRetrieval 类,可支持开发者自定义个性化的知识库,来完成 Agent 的知识库注册。
Tool:工具百宝箱,任你挑选,一键调用解决问题。支持 Agent 完成 Tool的注册和 LangChain Tool 接口的直接使用。
Action:作为 LLM 具体要执行的动作或动作流,会包括 LLM 信息处理、知识检索、工具调用以及代码执行等一个综合性的复杂过程,只要下达指令,他们就能将计划变成现实。
—3—
大模型直播课
—4—
加我微信
有很多不方便公开发公众号的我会直接分享在朋友圈,欢迎你扫码加我个人微信来看👇
⬇戳”阅读原文“,立即预约!
END