今天,OpenAI 的四大创始人 Greg Brockman 结束了漫长的假期(整整三个月)回到工作岗位
引起大家议论的是不是他的回归,而是今天 OpenAI 的 CEO 奥特曼发了条 X
“There is no wall”
大家纷纷猜测,这是 OpenAI 对近期外界传言 GPT5 训练遇到瓶颈的回应
其实不止 OpenAI(chatgpt),Googe(gemini) 和 Anthropic(claude) 三家公司,新版模型全在推迟发布
有好事者去打探了一番后称:预训练阶段的规模化效果已经遇到了瓶颈。
换句话说,“大力出奇迹”不起作用了,简单地堆砌更多的数据和计算力不再是解决所有问题的神器了。
这就像在玩一个游戏,你以为加强角色装备就能通关,结果发现需要更高的策略和技巧。
整理了一下时间线,事情大致是这样的:
-《The Information》首先爆料,称 OpenAI 因为 GPT 系列模型的进化速度放缓,调整了公司战略,GPT-5 的难产已成定局;
接着 Bloomberg(彭博社)火上浇油,将报道范围扩大到 OpenAI、Google 和 Anthropic 三家公司,发现新版模型全线推迟发布,收益递减曲线显而易见;
AI 社区对此普遍认为媒体报道不够客观,认为没有核心从业者的证言,只是拼凑了些碎片信息想炒作大新闻,大家不需惊慌,「静观其变」;
然后,OpenAI 前首席科学家 Ilya Sutskever 恰好出来补刀,对路透社表示大模型扩展法则确实到了极限,必须改变训练模式;
Meta 的首席科学家、图灵奖得主 Yann LeCun 也没放过攻击闭源竞争对手的机会,在 Threads 上表示「我不想说我早就告诉过你,但我确实早就告诉过你」;
Anthropic 的创始人 Dario Amodei 在播客中安抚市场,认为预训练的扩展法则(Scaling Laws)是基于经验而非客观规律,但他仍然押注它会持续有效;
最后,几个小时前,Sam Altman 现身说法,说是墙不存在。
The Information 和彭博社的新闻不重要的,重要的是前 OpenAI 首席科学家,GPT 之父 Ilya 也这么说,大模型训练遇到难题的消息就有点真实性了
不懂技术的 Sam 来谈 AI 技术核心的规律,有点急了,本应该是他手下的 AI 研究学者来说。无奈等级都够不上 Ilya 和 Yann LeCun。
Sam Altman 终于还是被推出来回应大模型预训练陷入瓶颈的行业恐慌了。但是在技术判断上,谁会相信 Sam?
虽然昨天 OpenAI 透露:
OpenAI 将推出一款 AI Agent:Operator,将在 2025 年 1 月发布,届时同时提供开发者 API 接口。
Operator 功能,可以自动执行电脑操作;完成复杂任务,像编写代码、预订旅行、自动电商购物等复杂任务。
但是市场还是非常恐慌
笔者以为,应该用中国传统智慧去分析
危机 = 危险 +机会
关于大模型训练遇到瓶颈的消息,确实是人类科技进展中的一个小插曲,多少有点像在宇宙飞船上发现燃料不足——你以为一切顺利,突然间,哦,不,我们需要停下来想想怎么继续。
Ilya 在采访也中提到,现在大家都在寻找新的突破口。这意味着,科学家和工程师们正在四处摸索,试图找到下一个可以让大模型训练再次飞跃的"金钥匙"。这有点像在宇宙中寻找下一个宜居星球——既充满希望,也充满不确定性。
不过,这也正是人类创新和突破的时刻。
我坚信,There is no wall!