深度|OpenAI o1 的思维链与周鸿祎的慢思考

科技   科技   2024-09-19 08:57   浙江  
OpenAI 在 9 月 13 日发布的 o1-preview 模型后,o1 系列凭借其强大推理能力和解决问题能力得到大家广泛关注。

有业内人士表示,o1 开创了“强化学习的 Scaling Laws”,即“Inference Law”,算力收益要比训练获得的大得多。

对 Inference 系统 1(快思考)和系统 2(慢思想)的讨论一时间成为业内探讨的热点,而该理论正是出自诺贝尔经济学奖得主 Daniel Kahneman 的著作《思考,快与慢》。

英伟达高级科学家 Jim Fan 在 o1 发布后第一时间表示,大量计算将被转移到服务推理而不是训练前/后,o1 将成为数据飞轮,反过来将进一步优化 GPT 未来版本的推理核心。

周鸿祎对 OpenAI 的前瞻性解读

OpenAI o1-preview 在产品中应用 Inference 的背后,正是通过“思维链(CoT)”实现的。基于强化学习,o1 将棘手的问题分解为更简单的步骤,再交给多个子模型来解决,从而提高模型的推理能力。

o1 的思维链模式与 360 的“慢思考”不谋而合。周鸿祎早在 7 月底 ISC.AI 2024 大会上就提出了用基于智能体的框架打造慢思考系统,从而增强大模型的慢思考能力。

周鸿祎认为,OpenAI 遵循的正是《思考,快与慢》中的双系统理论(Dual Process Theory) —— GPT 和 o 系列分别对应系统 1 和 2。

结合双系统理论,以及 GPT 和 o 系列各自特点,我们能发现:

  • GPT 系列对应系统 1:负责快速、直觉决策,依赖于经验和情感,多模态,快速语言响应;

  • o1 系列对应系统 2:负责较慢、仔细的思考和推理,依赖逻辑和理性分析,多模态,思维链慢速复杂推理;

周鸿祎还表示,双系统理论的重点/核心在于两种系统并非独立而是协同运作,而 OpenAI 内部构建的更加智能的模型或许是 GPT 和 o 系列的融合/系统。

OpenAI 此前在文章中提到,o1 在对推理要求高的领域受欢迎程度远超 GPT4-o,但是语言为中心的领域却相反,表明两者能力所及互补而非冲突。

OpenAI 除了不断改进 o1 新系列外,还会不断改进 GPT 系列,由此也可知,o1 并不是GPT 的继任者,即两者并非冲突关系,相反大概率是互补关系。

根据周鸿祎的推测,OpenAI 内部可能正在构建双系统的大模型 —— GPT 以及 o1 两个系统将协同运作,当 GPT 的快速反应不足以应对复杂情况时,o1 会介入进行更深入的分析。

CoE 架构与 OpenAI 思维链不谋而合

OpenAI 在“双系统”与思维链的实践,与周鸿祎此前在 7 月底 ISC.AI 2024 大会上宣布的“基于智能体框架打造慢思考系统,从而增强大模型慢思考能力”观点不谋而合。

周鸿祎也在近期多次强调,通过智能体框架,让大模型从快思考切换成慢思考,用多个大模型组合协作来解决业务问题。或许这就是通往 AGI 路上,海内外头部 AI 玩家所给出的答案。

7 月底,360 在正式发布的 CoE(Collaboration-of-Experts,专家协同)架构中强化了推理的使用。

不同于 MoE(Mixture-of-Experts)架构的稀疏混合专家模型,一次只能调用其中的一个专家模型回答,CoE 架构则能让多个模型分工协作、并行工作,执行多步推理。

CoE 模型拥有更精细的分工、更好的鲁棒性、更高的效率和可解释性和更强的泛化能力,可以在加快推理速度的同时, 降低 API 和 Token 的使用成本。

CoE 的实际应用,效果超 GPT-4o

目前,CoE 架构在 360 牵头下,已经接入了国内 16 家国内主流大模型厂商的 54 款大模型产品。

产品方面,360 已经有多款基于 CoE 架构的产品上线,360 AI 搜索和 360 AI 浏览器就是基于 CoE 架构的典型应用,涉及多次大模型调用来回复用户意图。

1)CoE 架构实际体验

对于实际体验,用户可以访问 https://www.sou.com/ 打开 360 AI 搜索,在「深入回答」模式中输入“为什么中秋节要吃月饼”,360 AI 搜索便会启动 AI 多任务智能体(Agent)来进行用户搜索意图识别:

值得一提的是, 360 AI 搜索会通过默认的 AI 模型来搜集和总结资料,当然用户也可以在「标准回答」模式中选择任意第三方 AI 模型进行资料的搜集与梳理:

在使用中,360 AI 搜索首先会通过意图分类模型对“为什么中秋节要吃月饼”进行 1 次意图识别。

接下来,360 AI 搜索将调用 1 次搜索改写模型,将用户意图改写成“中秋节吃月饼的起源”、“中秋节吃月饼的文化内涵”以及“不同地区中秋节吃月饼的习俗差异”等 5 个子意图。

随后,360 AI 搜索会通过选择的 AI 大模型对改写的 5 个子意图分别进行搜索,并按一定顺序罗列出来:

最终,通过 AI 大模型从精选的 29 篇参考资料对分类后的 5 个子意图进行总结回复:

360 AI 搜索也支持通过脑图的形式来帮助用户快速找到感兴趣的内容:

此外,360 AI 搜索也支持构建 AI 工作流,使得多个大模型协同运作。比如,面对一道古诗词中译英题目,路由模块就会调用起翻译、反思等多个模型,让这些模型分工配合、共同完成任务:

CoE 架构除了在 360 AI 搜索的应用,还有 360 AI 浏览器中的 AI 助手。用户可以访问 https://bot.360.com/ 来体验其最新的多模态协作功能。

点击左边栏「多模型协作」,用户可以从 16 家国内主流大模型厂商的 54 款大模型中任意选择 3 款大模型进行多模型协作。

在设计思路上,AI 助手设置了“专家”、“反思者”以及“总结者”三个选项,用户需要在每个选项中确定一个模型:

这样即使在第一个专家模型在测试中给出了错误回答,反思模型与总结模型也能通过协作修正结果。

还是以“为什么中秋节要吃月饼”为例,分别选择豆包、文心一言以及智谱清言作为测试模型,首先是豆包作为“专家”给出了初步回答:

接下来,文心一言作为“反思者”对豆包回答的内容进行建议与优化:

最后,由智谱清言作为“总结者”对前两个模型回答进行总结:

目前,AI 助手上线的是三模型协作版本,360 产品团队还计划在 9 月底推出五模型或更多模型协作的版本。

2)CoE 架构的开创性

基于 CoE 架构的方案与 OpenAI o1 通过多个子模型实现“慢思考”的理念类似,而主要差异点在于 CoE 架构集合了国内各家大模型能力,OpenAI 则是基于自研的模型。

360 CoE 架构比 OpenAI 更具开创性的点在于 —— CoE 技术架构不仅为 360 AI 搜索以及 360 AI 浏览器提供了底层技术,同时与国内多家主流大模型厂商通力协作,为国内大模型创造了更开放和多元的环境,而非像 OpenAI 在美国那样。

根据行业专家张俊林的观点,o1-preview 之所以能够更强,其方法本质上是思维链的自动化。

而对于同样应用思维链,且在 7 月底就已推出 CoE 技术架构来讲,则是通过“多系统协同”的方式实现“慢思考”和思维链自动化的。

并且,就在 o1-preview 上线的同时,360 还推出了基于 CoE 架构AI助手-多模型协作(bot.360.com)。用户可以在已经接入 CoE 的大模型中,任意调用三个模型协同工作,实际体验多模型协作中 1+1+1>3 的反思决策效果。

经过 21道复杂逻辑推理题测试结果显示,其效果在多个维度都超越了 GPT-4o,有时还能超越 o1-preview。






有新Newin
无限向新力。
 最新文章