大语言模型的进展速度可能正在减缓。
虽然ChatGPT的用户数量在飞速增长，甚至跻身全球第8大站点，但支撑它的基础技术却遇到了前所未有的挑战。
OpenAI的最新旗舰模型Orion传来不太乐观的消息：相比GPT-3到GPT-4的巨大飞跃，这次的进步幅度大幅缩水。
去年5月，Sam Altman还信心满满地向员工表示，Orion即使只完成20%的训练，就已经能与GPT-4平分秋色了。但事与愿违，根据OpenAI内部员工透露，Orion在某些任务上甚至无法稳定超越其前辈。
具体来说，虽然Orion在语言任务上有所提升，但在编程等领域并未显示明显优势。更糟糕的是，它可能会带来更高的运营成本。
AI的进化真的遇到瓶颈了吗？
数据饥荒来袭
问题出在哪？
原来是高质量训练数据已经见底了！
这个问题直接挑战了AI领域的「扩展定律」：即只要有足够的数据和算力，模型就能持续进步。但现实给了我们当头一棒。
为应对这个危机，OpenAI成立了由Nick Ryder领导的基础团队，专门研究数据短缺问题和探索扩展定律的极限。
他们开始尝试用GPT-4和其他推理模型生成训练数据，但这又引发了新的担忧：模型可能会出现「近亲繁殖」现象，新模型继承了旧模型的局限性。
Ben Horowitz一针见血地指出：
「我们投入的GPU算力在增加，但智能水平的提升却停滞不前。」
OpenAI的应对之策
面对这个困境，OpenAI开始转变策略。
他们加强了后训练优化，通过强化学习和人类反馈来提升模型在特定任务上的表现，并与Scale AI等公司合作进行评估。
同时，他们开发了创新的o1推理模型，引入「思考时间」概念，通过增加计算资源来提升输出质量。虽然这个模型的定价是普通模型的6倍，但在数学家和科学家群体中已经获得了积极反馈。
为了应对Anthropic的竞争，OpenAI还在加强代码编写能力，并开发能控制电脑的AI代理，专注于处理多步骤任务。
OpenAI的研究员Noam Brown在TEDAI大会上提出了一个尖锐的问题：
「我们真的要训练那些耗资数千亿甚至上万亿美元的模型吗？总有一天，这种扩展模式会失效的。」
行业新动向
这种变化也影响了整个AI行业。
Meta的Mark Zuckerberg表示，即使模型进步放缓，现有技术也足以支撑大量消费级和企业级产品的开发。
OpenAI计划在明年初发布Orion时可能会改变传统的「GPT」命名方式，这个细节似乎也暗示着LLM改进方向的重大转变。
目前，该模型正在进行严格的安全测试。
Jonathan Frankle(@jefrankle)一语道破天机：
「没有哪个指数增长能永远持续下去。」
Databricks的联合创始人Ion Stoica提出了一个有趣的观察：AI能力的进步可能出现分化。
在编程和复杂问题解决方面仍在稳步提升，但在一般性任务上确实遇到了瓶颈，而合成数据在通用知识方面的帮助也相当有限。
AI的进化可能不会永远保持指数级增长，但这并不意味着创新的终结，而或许，也正是新突破口的开始。
如果传统的扩展方法确实遇到了瓶颈，我们可能需要在AI研究方面开辟新的道路。比如：
探索新的模型架构
开发更高效的训练方法
寻找突破性的算法创新
你认为AI发展的下一个突破口会在哪里？
👇
👇
👇
👇
本文同步自知识星球《AGI Hunt》
星球实时采集和监控推特、油管、discord、电报等平台的热点AI 内容，并基于数个资讯处理的 AI agent 挑选、审核、翻译、总结到星球中。
每天约监控6000 条消息，可节省约800+ 小时的阅读成本；
每天挖掘出10+ 热门的/新的 github 开源 AI 项目；
每天转译、点评 10+ 热门 arxiv AI 前沿论文。
星球非免费。定价99元/年，0.27元/天。(每+100人，+20元。元老福利~）
一是运行有成本，我希望它能自我闭环，这样才能长期稳定运转；
二是对人的挑选，鱼龙混杂不是我想要的，希望找到关注和热爱 AI 的人。
欢迎你的加入！
