OpenAI正在悄悄告别GPT时代!
万圣节那天,一位Reddit用户询问Sam Altman关于GPT-5和完整版o1的计划。Altman的回答掀开了一个重大转变的序幕:「我们正在优先发布o1及其后续产品」。
这个看似平常的回答背后,隐藏着AI领域一个重大的范式转变。
GPT系列:增长的天花板
The Information最新报道揭示,GPT模型的性能提升正在遭遇瓶颈。与GPT-3到GPT-4那惊人的性能跃升相比,最新的Orion模型提升幅度令人失望。
这种放缓让业界开始反思:
传统的AI扩展定律是否走到尽头?
单纯依靠更多数据和算力的方法是否可持续?
连Andreessen和Ben Horowitz这样的投资大佬也开始公开讨论这个问题。不过,这个「危机」可能正是新机遇的开始。
「o」系列:新的突破口
面对GPT增长放缓,OpenAI找到了新方向:推理模型。这个源自去年备受关注的Q*/Strawberry突破的新方向,展现出了令人兴奋的潜力:
性能会随思考时间增加而提升
采用对数线性计算扩展
能够更好地处理复杂推理任务
更重要的是,OpenAI可能会彻底放弃自2018年就开始使用的「GPT」命名传统。未来,我们很可能会看到将Orion与推理能力结合的「o2」模型,开启全新的AI时代。
新的扩展定律诞生
虽然传统预训练模型的改进遇到瓶颈,但这绝不意味着AI发展停滞。相反,推理范式正在开创新的扩展定律。
研究人员Shawn指出:「你能在模型中塞入的知识是有限的,迟早要转向推理或持续学习。有人用小型模型在ARC测试中获得了61分,这说明我们需要更好的检索/搜索能力,而不是简单地增加知识储备」。
目前o1的定价是普通模型的6倍,这确实限制了它的使用范围。但随着技术发展和成本降低,这种基于推理的方法可能会成为AI发展的新引擎。
数据中心:依旧重要
尽管GPT改进放缓,但主要AI开发商并未放弃对数据中心的投资。原因很简单:
即使是微小的预训练模型改进也能带来竞争优势
更好的基础模型能产生更好的推理结果
大型集群对于后期的强化学习和模型微调至关重要
推理模型的运行和优化同样需要强大的计算能力
研究员Alessandro Corona表示:「在足够的上下文下,o1-preview在处理复杂多工具任务时表现出色。但它有时也会犯傻,而且和所有大语言模型一样,在需要更多上下文时往往效率不高」。
从GPT到「o」的转变
这不仅仅是简单的改名,而是AI发展方向的重大转变:
从单纯追求更大的模型到探索更智能的架构
从预训练性能提升到运行时推理能力的增强
从封闭的知识储备到开放的推理系统
如一位研究员所说:「也许GPT只是训练轮。真正的竞赛不是关于更大的模型,而是更智能的架构。当推理成为新的扩展定律时,规模就不再是唯一的追求」。
这场AI发展范式的转变正在上演,而OpenAI正带领我们驶向这片未知的新领域。
👇
👇
👇
👇
本文同步自知识星球《AGI Hunt》
星球实时采集和监控推特、油管、discord、电报等平台的热点AI 内容,并基于数个资讯处理的 AI agent 挑选、审核、翻译、总结到星球中。
每天约监控6000 条消息,可节省约800+ 小时的阅读成本;
每天挖掘出10+ 热门的/新的 github 开源 AI 项目;
每天转译、点评 10+ 热门 arxiv AI 前沿论文。
星球非免费。定价99元/年,0.27元/天。(每+100人,+20元。元老福利~)
一是运行有成本,我希望它能自我闭环,这样才能长期稳定运转;
二是对人的挑选,鱼龙混杂不是我想要的,希望找到关注和热爱 AI 的人。
欢迎你的加入!