论文链接：
作者主页：
AI Agent的「三大短板」：为什么它们还不够「聪明」？
「黑盒思维」：与优秀人类助手能清晰展示解题思路不同，AI Agent 的推理过程往往是个黑箱，我们根本无从得知它是如何得出结论的。 「固步自封」：AI Agent 就像被困在训练时刻的「永恒现在」，无法像人类那样与时俱进，持续获取新能力、更新认知。 「粗放纠错」：当 AI Agent 犯错时，我们只能笼统地说「答案不对」，而无法像指导学生那样，精确指出「这一步推理有问题」。
▲ AMOR和已有构建智能体的代表性方法的比较
AMOR：基于有限状态机的模块化推理方案
▲ AMOR的状态转移图
快速起步 - 预热阶段：就像新员工入职培训，AMOR 通过在 5 万个自动构建的样本上训练掌握基础技能。这些样本被巧妙地分解到各个模块，使得即便是开源语言模型也能快速达到专业水准。 持续进化 - 适应阶段：像经验丰富的职场人一样，AMOR 在实际工作中不断成长。每解决一个问题，它就能积累一分经验，逐步适应特定领域的专业需求。
AMOR 框架的设计充分考虑了通用性和可扩展性。虽然论文主要以文本知识库为例进行验证，但其基于 FSM 的模块化设计天然支持多种应用场景的迁移和扩展：
知识类型扩展：通过定制 FSM 框架内的模块和依赖关系，AMOR 可以灵活支持不同类型的知识库，如结构化数据库、多模态知识等。
任务类型扩展：除了问答任务外，通过重新设计状态转移图，AMOR 还可以支持其他知识密集型任务，如文档摘要、知识推理等。
工具集成扩展：得益于模块化设计，AMOR 可以方便地集成各类专业工具。只需将新工具封装为对应的工具模块，并在 FSM 中定义其调用规则即可。
AMOR实现：模型结构和训练过程
AMOR 采用了一种巧妙的「专家混合」架构（Module-Aware Mixture-of-Experts，简称 MA-MoE）。这种设计灵感来自人类的专业分工：就像一个人可以是优秀的医生，同时在其他领域保持基本能力。具体来说，MA-MoE 为每个功能模块配备了独特的 FFN 参数，并用原始模型的 FFN 参数进行初始化。这就像是在 AI 的「大脑」中划分了专门的「思维区域」。
在预热阶段，AMOR 用标准的 MLE Loss 在 5 万个样本上对 MA-MoE 进行微调。
在适应阶段，AMOR 的训练过程分为三个关键步骤：探索、反馈和利用。
探索（Exploration）：就像学徒需要亲自动手实践，AMOR 会直接处理用户的实际问题。在这个过程中，AMOR 在知识库中搜索相关信息，进行思考和推理，并推断答案。
反馈（Feedback Collection）：这个阶段就像师傅在旁边观察学徒的工作，并给出具体指导，可以直接说「对」或「错」，也可以具体指出正确答案，并且 AMOR 的每个推理步骤都能得到反馈。
利用（Exploitation）：每处理一定数量的问题后，AMOR 会根据收集到的反馈进行「复盘」，使用 KTO Loss 将 MA-MoE 和人类偏好对齐。和预热阶段类似，AMOR 的每个模块在优化时只调整自己的「专业参数」。
AMOR实验：成本更低，效果更好
在 HotpotQA（百科知识问答）、PubMedQA（医学文献问答）和 QASPER（论文长文本问答）三个基准测试中，AMOR 展现出优秀的性能：
AMOR 的 FSM 框架让 AI 的推理过程更加清晰可控，比传统方法提升 30%~40%；
通过在多个开源数据集上预热，AMOR 甚至超越了用 GPT-4 生成训练数据的智能体；
使用过程反馈比结果反馈进行适应更高效：仅需 800 次互动就能达到稳定效果，并且证据收集能力和推理正确率显著提升。
▲ AMOR及基线方法在微调或不微调时的实验结果
实例展示
▲ AMOR（上）和 ReAct（下）回答同一输入问题的样例
按照目前 API 调用成本计算，使用 GPT-4o 处理 1 万个问题，AMOR 比 ReAct 节省数百美元；当使用开源模型时，成本可以进一步降低 90% 以上。这意味着 AMOR 不仅在性能上领先，在商业落地时也具有显著的成本优势。尤其适合大规模文档处理、客服智能问答、专业领域咨询等高频场景的应用。
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
