检索与信息提取：多层级网页遍历检索问答基准，网站浏览智能体，检索增强生成
WebWalker: Benchmarking LLMs in Web Traversal
2025-01-13｜Alibaba Tongyi Lab, Alibaba Group|🔺14
http://arxiv.org/abs/2501.07572v1
https://huggingface.co/papers/2501.07572
https://alibaba-nlp.github.io/WebWalker/
研究背景与意义
在当前的自然语言处理领域，大型语言模型（LLMs）展现出了强大的性能，尤其是在开放域问答任务中。然而，传统的搜索引擎在信息检索时常常只能获取表层内容，这限制了LLMs处理复杂、多层次信息的能力。因此，研究者们提出了WebWalkerQA这一基准，旨在评估LLMs在网页遍历中的能力，特别是它们在提取高质量数据方面的表现。WebWalkerQA的核心在于通过系统性地遍历网站的子页面来获取信息，从而填补了LLMs在处理深层信息时的不足。
该研究提出了WebWalker，一个模仿人类网页导航的多智能体框架，采用探索-批评的范式来增强信息检索能力。这种方法不仅有助于LLMs在复杂的知识密集型场景中更有效地处理查询，还能提升其在动态信息环境中的实用性。通过WebWalkerQA的挑战性测试，研究者们能够更深入地理解现有LLMs在面对复杂网页信息时的表现及其局限性。
研究方法与创新
WebWalkerQA的创新点在于其独特的任务设定和多智能体框架。该基准通过680个来自四个真实场景的问题，涵盖了1373个网页，构建了一个具有挑战性的评估环境。研究者们在此基础上提出了WebWalker框架，利用多智能体系统来模拟人类的网页导航行为。
在方法论上，WebWalker采用了“思考-探索-观察”的策略，探索智能体与批评智能体的结合，使得信息的获取和处理更加高效。探索智能体负责在网页中进行导航，而批评智能体则负责评估所收集信息的有效性。这种结构不仅增强了信息的深度挖掘能力，还提高了LLMs在多步骤任务中的表现。
此外，研究还通过与现有的RAG（检索增强生成）系统的结合，验证了WebWalker在信息检索任务中的有效性。实验结果表明，WebWalker与RAG的结合能够显著提升LLMs在复杂网页场景中的表现，尤其是在需要多层次信息的情况下。
实验设计与结果分析
实验设计方面，研究者采用了多种主流LLMs作为基础模型，通过WebWalkerQA进行评估。实验结果显示，WebWalker在处理单源和多源查询时，均展现出了优越的性能。具体来说，WebWalker在多源查询中表现出更高的准确率，尤其是在需要深入挖掘信息的任务中。
通过对比不同模型的表现，研究发现，随着模型参数的增加，LLMs在长距离信息检索中的能力也得到了增强。然而，即便是性能最强的模型，在WebWalkerQA的挑战下，准确率仍未超过40%，这突显了WebWalkerQA所设定的高难度。
结论与展望
本研究提出了WebWalkerQA这一新基准，旨在评估LLMs在复杂、多步骤信息检索任务中的能力，同时引入了WebWalker这一多智能体框架，以增强信息的深度探索能力。实验结果表明，WebWalker在结合RAG系统后，显著提升了网页导航的效果。
未来的研究可以进一步探索WebWalker在多模态环境中的应用，例如结合视觉信息以增强网页解析能力。同时，针对模型的微调和优化，研究者们可以考虑如何通过训练使LLMs更有效地执行网页遍历任务，以应对不断变化的信息环境。
