2023年11月30日，随着ChatGPT问世，人工智能领域多了一条类似“摩尔定律”的法则：Scaling Law。
Scaling Law意味着只要模型参数、数据量和算力不断提高，AI模型的表现就会持续提升，这条法则一度成为不少专业人士相信通用人工智能（类人AI）能够实现的基石。
现在，这种信念似乎正面临挑战。
11月9日，The Information率先爆料OpenAI研发遇到阻力，下一代大模型性能不及预期，随后彭博社等各路媒体加入，谷歌、Anthropic等AI公司放缓研发的新闻逐一呈现。
眼下，英伟达也被爆出工程问题，Blakewell新架构似乎存在过热问题，面向用户的交互可能延迟。
AI摩尔定律宣言的三大要素：算法、算力、数据都在遭遇问题。
AI大模型这条道是不是走到头了，历史上反复出现的AI寒冬是不是又要来了？
11月21日，王煜全将带来年终专题直播【前哨2025科技前瞻】，解读AI等最前沿的科技趋势。
如果你想了解AI的未来在哪，获取王煜全的独家见解，欢迎点击文首入口，加入前哨科技特训营。
接下来，我们继续聊聊这轮AI发展放缓。
1.OpenAI研发放缓？AI进步停了？
OpenAI的最新旗舰模型Orion (GPT-5)的研发历程，或许能揭示这一问题的端倪。
The information报道，虽然Orion的性能超越了前代GPT-4，但提升幅度远不及GPT-3到GPT-4的飞跃。
一些OpenAI员工甚至认为，Orion在某些任务上的表现并不比前代模型更好，例如在代码编写方面。更糟糕的是，Orion的运行成本更高，性价比却更低。
Google的Gemini模型也面临着类似的困境。即使投入了更大的算力和更多的数据，Gemini的性能提升也不如预期。
相关报道出现，立刻在业内外引发巨大讨论，OpenAI前首席科学家Ilya，这位最知名的Scaling Law支持者，站出来承认Scaling Law的时代已经结束，AI需要新的方向。
无数争论最终聚焦到OpenAI身上，逼得Sam Altman站出来公开回应：“there is no wall.“
AI技术进步没有撞墙？！
2.论文研究给出不同回答
如果说以上更多是媒体捕风捉影，一份学术论文成为专业人士眼中AI放缓的关键证据。
11月发布的论文《Scaling Laws for Precision》给出结论：低精度训练和推理会影响模型质量和成本。
这里先解释下低精度训练和推理的价值。
低精度训练和推理可以显著降低模型的计算成本和内存使用，对超大规模模型训练非常有效，这也就是为什么英伟达的GPU浮点精度从FP32一路降到FP8。
通过使用低精度，AI公司可以在有限的硬件资源下加速训练过程并减少能耗，使得模型的开发和部署变得更加可持续。
此外，低精度推理也能够让AI更快地响应用户请求，特别是在需要实时互动的应用场景中，是非常有效的折中方案。
然而《Scaling Laws for Precision》告诉大家，更低的精度对模型性能提升已经没有好处。
原文太过专业，这里打个比方可能更好理解：使用低精度进行训练会让模型的“有效脑容量”变小，导致它的表现变差，这在训练后同样起效。
FP8这个精度水平可能已经达到一个瓶颈，再继续下降虽然能训练更大的模型，但模型已经记不住更多东西。
如今芯片制程已经很难再有大跨越，降低精度的手段也不起效，这意味着我嘛可能已经进入“AI技术的减速带”，光靠增加模型的大小和数据量已经无法带来明显的性能提升。
3.Scaling Law真的死了吗？
在此我们不经要问一个问题：Scaling Law真的失效了吗？AI真的因此放缓吗？
首先，《Scaling Laws for Precision》并没有宣判Scaling Law的死刑，只是对于降低精度扩大模型这条路走不通而已。
如果你了解科技产业历史就会知道，从1990年代媒体热议"摩尔定律已死"，到芯片制程在2015年真的放缓，相隔20多年时间。
今天宣称Scaling Law已死太过悲观。
其次，AI进步放缓背后还有数据的瓶颈。
今天大型语言模型(LLM)已经充分利用了公开可用的高质量文本数据，继续挖掘网络信息的价值有限，这也导致AI公司想方设法获取各种新的数据，拓展多模态能力背后也有这个原因。
这一切都只是告诉我们，AI进步放缓，并不意味着进步停止。
4.技术组合，超越规模限制
技术进步从来不是单一要素驱动的，每次技术突破背后都有各种新技术的相互组合。
眼下AI领域就正在组合多种技术，尝试突破已有的限制。
OpenAI的推理模型 (o1) 就是一种尝试，在不改变底层模型的情况下，通过增加推理算力来提升模型表现。
MIT等研究人员则提出更具颠覆性的想法：在模型给出答案之前进行少量微调，让模型时刻动态调整。
与此同时，AR、自动驾驶、机器人、芯片技术仍然在进步中，台积电将高数值孔径 EUV 用于研发，谷歌推出基于大模型的端到端自动驾驶方案，AI Agent的技术创新仍在持续。
这些新技术有多大价值？哪些会是未来的产业风口？欢迎长按下方二维码，加入前哨科技特训营了解。
↓点击加入，学会用AI为你工作（iOS用户请在电脑端打开）
↓¥399，掌握王煜全AI产业预测精华（iOS用户请在电脑端打开）
↓全球消费电子展，王煜全与你现场看未来（扫码加入）
此外，我们还为您准备了一份清单
“近期市场相关刺激政策一览表”
