TLDR
• MindSearch 是一种基于 LLM 的多智能体网络搜索框架，性能可媲美 Perplexity.ai Pro。
• 它采用 WebPlanner 和 WebSearcher 组件，通过问题分解、并行搜索和分层信息检索来模拟人类思维进行深度搜索。
• MindSearch 能够处理更长的上下文，提供更深入、更广泛、更准确的答案，优于 ChatGPT-Web 和 Perplexity.ai Pro。
引言：迈向更智能的网络搜索
传统的搜索引擎，如同忠实的图书馆管理员，尽职地为我们查找和提供海量的网络信息。然而，当我们面对需要多步骤推理和信息整合的复杂问题时，这些“管理员”往往显得力不从心。例如，如果我们想了解“哪家大模型 API 最便宜？”，简单的关键词搜索可能会返回大量 API 提供商的网页，但难以直接给出答案。
近年来，大型语言模型（LLM）以其强大的推理和信息整合能力，为解决这一难题带来了新的曙光。LLM 就像经验丰富的“侦探”，能够理解复杂的语义，并从海量信息中抽丝剥茧，找到关键线索。将 LLM 与搜索引擎结合，打造更智能的 AI 搜索引擎成为研究热点，也催生了 Perplexity.ai 等明星产品。
然而，现有的 LLM + 搜索引擎方案大多停留在浅层次的应用，例如简单的检索增强生成，难以充分发挥 LLM 的潜力。这些方法就像初出茅庐的“助手”，虽然能够找到一些相关信息，但难以像“专家”一样进行深度分析和推理。它们面临着三大挑战：
• 复杂问题分解： 如同面对错综复杂的案件，LLM 也难以将复杂问题有效地分解成多个原子查询，限制了信息的准确性和完整性。
• 海量信息处理： 搜索结果往往如浩瀚的资料库，如何高效地筛选和整合信息成为瓶颈。
• 上下文长度限制： LLM 的输入长度有限，如同“侦探”的笔记本容量有限，难以处理过长的搜索结果，导致关键信息丢失。
MindSearch 框架概述：深度搜索，智胜未来
为了克服上述挑战，本文介绍一种全新的 AI 搜索引擎框架——MindSearch。MindSearch 采用多智能体设计，将 LLM 的推理能力与搜索引擎的海量信息完美结合，通过模仿人类思维的深度搜索，为用户提供更优质的搜索体验。
MindSearch 的核心组件包括：
• WebPlanner（网络规划师）： 如同经验丰富的“探长”，负责将复杂问题分解成多个原子级的子问题，构建动态搜索图，并协调多个 WebSearcher 进行并行搜索。
• WebSearcher（信息检索师）： 如同训练有素的“警员”，负责根据 WebPlanner 分配的任务，使用搜索引擎执行细粒度网络搜索，收集和汇总与子问题相关的信息。
图 1：MindSearch 框架图。它包含两个主要组件：WebPlanner 和 WebSearcher。WebPlanner 充当高级规划器，负责协调推理步骤和多个 WebSearcher。WebSearcher 进行细粒度的网络搜索，并将有价值的信息汇总回规划器，形成一个简单有效的多智能体框架。
MindSearch 的工作流程如下：
1. 问题分解： 用户提交问题后，WebPlanner 首先对问题进行分析，如同“探长”仔细研读案件卷宗，将其分解成多个能够独立搜索的子问题。
2. 分层信息检索： WebPlanner 将子问题分派给多个 WebSearcher，每个 WebSearcher 就像“警员”被分配到不同的地点进行调查，使用搜索引擎对特定子问题进行分层信息检索，从网络上收集相关信息。
3. 信息整合： WebSearcher 将收集到的信息汇总回 WebPlanner，由 WebPlanner 进行整合和分析，如同“探长”将所有“警员”的调查结果汇总在一起，寻找关键线索。
4. 答案生成： 最后，WebPlanner 根据整合的信息生成最终的答案，并清晰地呈现给用户，如同“探长”根据所有线索推理出最终答案，并将案件报告提交给用户。
核心组件详解：解密 MindSearch 背后的智慧
WebPlanner：运筹帷幄，决胜千里
WebPlanner 是 MindSearch 的大脑，它模仿人类专家解决问题的思路，通过以下步骤实现深度搜索：
1. 问题分解： WebPlanner 首先需要将用户的问题分解成多个能够被搜索引擎理解和处理的子问题。例如，对于问题“哪家大模型 API 最便宜？”，WebPlanner 可以将其分解为“目前有哪些主要的大模型 API 提供商？”和“每个 API 提供商的收费标准是什么？”等子问题。
2. 动态搜索图构建： WebPlanner 将分解得到的子问题作为节点，构建一个动态搜索图。图中的边表示子问题之间的依赖关系，例如，回答“每个 API 提供商的收费标准是什么？”需要先知道“目前有哪些主要的大模型 API 提供商？”。
3. 搜索任务调度： WebPlanner 根据动态搜索图，将子问题分派给多个 WebSearcher 进行并行搜索。同时，WebPlanner 还需要根据搜索结果动态调整搜索策略，例如，如果某个子问题的搜索结果不理想，WebPlanner 可以尝试修改搜索关键词或者添加新的子问题。
WebPlanner 的关键创新点在于将问题求解过程建模为动态图构建过程。这种方式不仅能够更好地模拟人类的推理过程，还为处理复杂问题和超长上下文提供了可能。
WebSearcher：明察秋毫，高效精准
WebSearcher 是 MindSearch 的信息收集者，它负责使用搜索引擎高效地找到与子问题相关的信息。WebSearcher 采用分层信息检索策略，具体步骤如下：
1. 关键词生成： WebSearcher 首先根据 WebPlanner 分配的子问题生成相关的搜索关键词。
2. 初步搜索： WebSearcher 使用搜索引擎对生成的关键词进行初步搜索，获取初步的网页列表。
3. 网页筛选： WebSearcher 根据网页标题、摘要等信息对初步搜索结果进行筛选，保留与子问题最相关的网页。
4. 信息提取： WebSearcher 对筛选后的网页进行深度分析，提取与子问题相关的关键信息，例如，对于子问题“每个 API 提供商的收费标准是什么？”，WebSearcher 可以提取网页中关于 API 价格的信息。
WebSearcher 的设计目标是在保证信息准确性的前提下，尽可能提高信息检索的效率。分层信息检索策略能够有效地减少 WebSearcher 需要处理的信息量，从而提高搜索效率。
性能评估：MindSearch vs. 现有方法
为了评估 MindSearch 的性能，研究团队在封闭集和开放集问答问题上进行了实验，并与 ChatGPT-Web（基于 GPT-4o）和 Perplexity.ai Pro 进行了对比。实验结果表明，MindSearch 在以下方面优于现有方法：
• 深度： MindSearch 能够提供更深入、更详细的答案，因为它能够将复杂问题分解成多个子问题，并对每个子问题进行深入的搜索，如同“探长”对每个线索都进行详细调查。
• 广度： MindSearch 能够从多个来源收集信息，因此能够提供更全面、更客观的答案，如同“探长”会从不同角度收集证据，以确保判断的准确性。
• 事实性： MindSearch 的答案更可靠，因为它能够对信息来源进行评估，并过滤掉不可靠的信息，如同“探长”会仔细甄别证据的真伪，排除干扰信息。
图 2：由人类专家判断的开放集问答问题的主观评价结果。MindSearch 在深度、广度和事实性方面均大幅优于 ChatGPT-Web 和 Perplexity.ai Pro。
系统架构和代码实现
MindSearch 的系统架构采用多智能体设计，WebPlanner 和 WebSearcher 分别扮演不同的角色，协同完成深度网络搜索任务。代码实现主要基于 Python 的 FastAPI 框架，通过消息队列实现智能体之间的通信。
WebPlanner 核心代码
WebPlanner 的核心代码包含以下关键部分：
• 问题分解: 将用户复杂问题分解为多个原子级子问题，例如使用正则表达式或其他 NLP 技术识别问题中的关键实体和关系。
• 动态图构建: 将分解的子问题作为节点，构建动态搜索图，并定义节点间的依赖关系，例如使用
WebSearchGraph类中的add_node和add_edge方法。• 搜索任务调度: 将子问题分派给多个 WebSearcher 并行搜索，并根据搜索结果动态调整搜索策略，例如使用多线程或异步任务管理库。
以下代码片段展示了 WebPlanner 如何使用 WebSearchGraph 类构建和管理搜索图：
from mindsearch.agent.mindsearch_agent import WebSearchGraph
# 初始化搜索图
graph = WebSearchGraph()
# 添加根节点，即用户初始问题
graph.add_root_node(node_content="哪家大模型API最便宜?", node_name="root")
# 添加子问题节点
graph.add_node(node_name="大模型API提供商", node_content="目前有哪些主要的大模型API提供商？")
graph.add_node(node_name="API价格", node_content="每个 API 提供商的收费标准是什么？")
# 添加节点间的依赖关系
graph.add_edge(start_node="root", end_node="大模型API提供商")
graph.add_edge(start_node="大模型API提供商", end_node="API价格")
# ...WebSearcher 核心代码
WebSearcher 的核心代码主要包含 SearcherAgent 类，该类继承自 Internlm2Agent，负责与 LLM 进行交互，并通过调用搜索引擎 API 获取搜索结果。以下对 mindsearch_agent.py 中 SearcherAgent 类的核心代码进行分析：
• 初始化 (
__init__)class SearcherAgent(Internlm2Agent):
def __init__(self, template='{query}', **kwargs) -> None:
super().__init__(**kwargs)
self.template = templateSearcherAgent类的初始化方法接收一个template参数，用于定义与 LLM 交互的 Prompt 模板。• 流式聊天 (
stream_chat)def stream_chat(self,
question: str,
root_question: str = None,
parent_response: List[dict] = None,
**kwargs) -> AgentReturn:
# ...stream_chat方法接收三个参数：该方法首先使用template参数定义的模板，将question、root_question和parent_response整合到 Prompt 中。然后，调用父类Internlm2Agent的stream_chat方法与 LLM 进行交互，并将 LLM 返回的答案封装成AgentReturn对象返回。以下代码片段展示了SearcherAgent类如何生成 Prompt：message = self.template['input'].format(question=question,
topic=root_question)
if parent_response:
if 'context' in self.template:
parent_response = [
self.template['context'].format(**item)
for item in parent_response
]
message = '\n'.join(parent_response + [message])•
question: 当前需要搜索的子问题。•
root_question: 用户最初提交的完整问题。•
parent_response: 父节点的搜索结果，用于提供上下文信息。
WebPlanner 和 WebSearcher 的交互
WebPlanner 和 WebSearcher 之间通过消息队列进行异步通信，实现高效的搜索任务管理和结果收集。WebPlanner 将分解后的子问题和上下文信息发送到消息队列，WebSearcher 从队列中获取任务并执行搜索，将搜索结果发送回队列，供 WebPlanner 整合。
核心 Prompt 分析
MindSearch 使用精心设计的 Prompt 引导 LLM 的行为，例如：
• WebPlanner Prompt: 引导 LLM 将用户问题分解为子问题，并构建动态搜索图。该 Prompt 包含 API 使用说明和示例代码，帮助 LLM 生成符合规范的 Python 代码。
• WebSearcher Prompt: 引导 LLM 根据搜索问题和上下文信息，调用搜索引擎 API 并返回答案。该 Prompt 包含人物设定、回复格式、搜索要求等信息，确保 LLM 生成的回复满足质量要求。
以下代码片段展示了 WebSearcher 使用的 Prompt 示例：
searcher_system_prompt_cn = """## 人物简介
你是一个可以调用网络搜索工具的智能助手。请根据"当前问题"，调用搜索工具收集信息并回复问题。你能够调用如下工具:
{tool_info}
## 回复格式
调用工具时，请按照以下格式:你的思考过程...<|action_start|><|plugin|>{{"name": "tool_name", "parameters": {{"param1": "value1"}}}}<|action_end|>
## 要求
- 回答中每个关键点需标注引用的搜索结果来源，以确保信息的可信度。给出索引的形式为`[[int]]`，如果有多个索引，则用多个[[]]表示，如`[[id_1]][[id_2]]`。
- 基于"当前问题"的搜索结果，撰写详细完备的回复，优先回答"当前问题"。
"""结论与展望：AI 搜索引擎的未来
MindSearch 为 AI 搜索引擎提供了一种全新的解决方案，它通过模仿人类思维的深度搜索，为用户提供更优质的搜索体验。
未来，MindSearch 将继续朝着以下方向发展：
• 处理更复杂的问题： MindSearch 将进一步提高处理复杂问题的能力，例如多语言搜索、跨模态搜索等。
• 处理超长上下文： MindSearch 将探索更强大的 LLM 模型和更先进的算法，以突破上下文长度的限制，从而处理更长的搜索结果。
• 个性化搜索： MindSearch 将根据用户的搜索历史、兴趣爱好等信息，提供个性化的搜索结果。
MindSearch 的出现，标志着 AI 搜索引擎进入了一个新的发展阶段。相信在不久的将来，MindSearch 将为我们带来更加智能、高效、便捷的搜索体验，开启网络搜索的新纪元。
相关链接
• MindSearch 项目主页: https://mindsearch.netlify.app/
• MindSearch 论文: https://arxiv.org/abs/2407.20183
• MindSearch 代码仓库: https://github.com/InternLM/MindSearch
