扩大训练规模已经失效了！
OpenAI 联合创始人、AI 领域权威 Ilya Sutskever 在接受路透社采访时表示：预训练（Pre-training）已经遇到瓶颈。
这个消息可算是Ilya 加持的一颗重磅炸弹啊。
要知道，预训练——通过海量无标注数据来训练模型理解语言模式和结构的方法，可是 ChatGPT 成功的关键所在啊！
Sutskever 可并非胡说八道。
作为预训练Scaling Law 的早期倡导者，他的观点值得重视。他表示：
「2010 年代是扩大规模的时代，但现在我们重新回到了探索和发现的时代。所有人都在寻找下一个突破点。」
新方向：测试时计算
既然预训练遇到瓶颈，那下一步该怎么办？
研究人员们已经找到了新的方向：测试时计算（Test-time compute）。
这是什么概念？
简单来说，就是让模型在使用过程中（也就是推理阶段）自己评估多个解决方案，然后选择最优答案。
OpenAI 的 Noam Brown 透露了一个惊人的数据：这种方法带来的性能提升，相当于把模型规模扩大 10 万倍！
硬件市场要变天？
这个转变不仅仅影响 AI 模型的发展方向，还可能颠覆整个 AI 硬件市场。
为什么呢？
因为未来可能需要：
更少的训练环节
更多的推理过程
这意味着市场对专门用于推理的芯片需求会大增。英伟达等公司恐怕得重新考虑他们的市场策略了。
投资界已经嗅到了这个变化。红杉资本（Sequoia Capital）等机构正在调整他们的投资方向。
推理能力才是王道？
Sutskever 现在已经离开 OpenAI，创立了 Safe Superintelligence（SSI）。
虽然他没有透露具体细节，但表示他的团队正在研究一种替代预训练Scaling Law 的新方法。
他强调：「现在比以往任何时候都更重要的是，要找到正确的扩展方向。」
看来，未来的 AI 发展将更注重提升模型的推理能力。通过类似思维链（CoT）这样的方法，让模型具备「思考」的能力，这似乎是目前最有前途的发展方向。
值得注意的是，这并不意味着 AI 发展已经停滞。或许正相反——这代表着我们正在进入一个全新的阶段：
从简单的规模扩张，转向更智能的发展道路。
👇
👇
👇
👇
本文同步自知识星球《AGI Hunt》
星球实时采集和监控推特、油管、discord、电报等平台的热点AI 内容，并基于数个资讯处理的 AI agent 挑选、审核、翻译、总结到星球中。
每天约监控6000 条消息，可节省约800+ 小时的阅读成本；
每天挖掘出10+ 热门的/新的 github 开源 AI 项目；
每天转译、点评 10+ 热门 arxiv AI 前沿论文。
星球非免费。定价99元/年，0.27元/天。(每+100人，+20元。元老福利~）
一是运行有成本，我希望它能自我闭环，这样才能长期稳定运转；
二是对人的挑选，鱼龙混杂不是我想要的，希望找到关注和热爱 AI 的人。
欢迎你的加入！
