再见GPT!你好,「o」!

旅行   2024-11-12 09:00   北京  

OpenAI正在悄悄告别GPT时代!

万圣节那天,一位Reddit用户询问Sam Altman关于GPT-5和完整版o1的计划。Altman的回答掀开了一个重大转变的序幕:「我们正在优先发布o1及其后续产品」。

这个看似平常的回答背后,隐藏着AI领域一个重大的范式转变。

GPT系列:增长的天花板

The Information最新报道揭示,GPT模型的性能提升正在遭遇瓶颈。与GPT-3到GPT-4那惊人的性能跃升相比,最新的Orion模型提升幅度令人失望。

这种放缓让业界开始反思:

  • 传统的AI扩展定律是否走到尽头?

  • 单纯依靠更多数据和算力的方法是否可持续?

连Andreessen和Ben Horowitz这样的投资大佬也开始公开讨论这个问题。不过,这个「危机」可能正是新机遇的开始。

「o」系列:新的突破口

面对GPT增长放缓,OpenAI找到了新方向:推理模型。这个源自去年备受关注的Q*/Strawberry突破的新方向,展现出了令人兴奋的潜力:

  • 性能会随思考时间增加而提升

  • 采用对数线性计算扩展

  • 能够更好地处理复杂推理任务

更重要的是,OpenAI可能会彻底放弃自2018年就开始使用的「GPT」命名传统。未来,我们很可能会看到将Orion与推理能力结合的「o2」模型,开启全新的AI时代。

新的扩展定律诞生

虽然传统预训练模型的改进遇到瓶颈,但这绝不意味着AI发展停滞。相反,推理范式正在开创新的扩展定律

研究人员Shawn指出:「你能在模型中塞入的知识是有限的,迟早要转向推理或持续学习。有人用小型模型在ARC测试中获得了61分,这说明我们需要更好的检索/搜索能力,而不是简单地增加知识储备」。

目前o1的定价是普通模型的6倍,这确实限制了它的使用范围。但随着技术发展和成本降低,这种基于推理的方法可能会成为AI发展的新引擎。

数据中心:依旧重要

尽管GPT改进放缓,但主要AI开发商并未放弃对数据中心的投资。原因很简单:

  • 即使是微小的预训练模型改进也能带来竞争优势

  • 更好的基础模型能产生更好的推理结果

  • 大型集群对于后期的强化学习和模型微调至关重要

  • 推理模型的运行和优化同样需要强大的计算能力

研究员Alessandro Corona表示:「在足够的上下文下,o1-preview在处理复杂多工具任务时表现出色。但它有时也会犯傻,而且和所有大语言模型一样,在需要更多上下文时往往效率不高」。

从GPT到「o」的转变

这不仅仅是简单的改名,而是AI发展方向的重大转变:

  • 从单纯追求更大的模型到探索更智能的架构

  • 从预训练性能提升到运行时推理能力的增强

  • 从封闭的知识储备到开放的推理系统

如一位研究员所说:「也许GPT只是训练轮。真正的竞赛不是关于更大的模型,而是更智能的架构。当推理成为新的扩展定律时,规模就不再是唯一的追求」

这场AI发展范式的转变正在上演,而OpenAI正带领我们驶向这片未知的新领域。

👇

👇

👇

👇

本文同步自知识星球《AGI Hunt》

星球实时采集和监控推特、油管、discord、电报等平台的热点AI 内容,并基于数个资讯处理的 AI agent 挑选、审核、翻译、总结到星球中。

  • 每天约监控6000 条消息,可节省约800+ 小时的阅读成本;

  • 每天挖掘出10+ 热门的/新的 github 开源 AI 项目;

  • 每天转译、点评 10+ 热门 arxiv AI 前沿论文。

星球非免费。定价99元/年,0.27元/天。(每+100人,+20元。元老福利~)

  • 一是运行有成本,我希望它能自我闭环,这样才能长期稳定运转;

  • 二是对人的挑选,鱼龙混杂不是我想要的,希望找到关注和热爱 AI 的人。

欢迎你的加入!

AGI Hunt
关注AGI 的沿途风景!
 最新文章