11月9日，硅谷科技媒体The information的一篇文章把Scaling Laws是否还有效的话题推上了头条。
这篇报道称，OpenAI的下一个模型仅比GPT-4有适度改进，比之前的版本进步较小。为此，OpenAI开始改变提升模型性能的策略。
11月12日，路透社采访OpenAI联合创始人Ilya Sutskever。作为作为Scaling Laws提出者之一，他直言，预训练阶段的扩展效果已经停滞不前。“扩展正确的东西比以往任何时候都更重要。"
11月13日，彭博社再“补刀”，称不仅仅是OpenAI的下一代模型（内部代号称 Orion）进步不大，谷歌即将推出的Gemini也未达到预期。
与此同时，Anthropic最新进模型Claude 3.5 Opus也已经推迟发布，并且援引消息人士的话称，“表现并没有达到应有的水平。”
这些报道引发了科技界的担忧：让人工智能大模型变得更智能的Scaling Laws的收益正在递减。
Scaling Law由观察而来，通常用来描述模型性能如何随着规模（如模型参数大小、数据量、计算量）的增加而变化的一系列经验性规律。
过去两年，沿着这条技术路线，大模型迭代的速度确实非常快，性能提升也很好，以至于让部分人觉得沿着这条路实现AGI可能只是时间问题，乐观一点可能只需要几年时间。
不过，最新的一系列报道爆出来的消息，开始让人们产生动摇，因为Scaling Laws的收益正在递减。
日前，硅谷知名VC机构a16z联合创始人Ben Horowitz表示，比较GPT2.0到GPT-4的发展历程，GPU在以同样的速度增加，但最终发现“我们在提高智能方面的速度明显减慢了”。这背后可能跟人类知识已经被大模型耗尽有很大关系。
不过，OpenAI CEO Sam Altman则在X平台上发言——“没有墙(there is no wall)”来反驳模型性能达到上限或者放缓的担忧。
他在Reddit上最近一次Ask Me Anything会议上回答一个问题时表示，OpenAI将在今年晚些时候发布一些“非常好的版本”。
11月14日，在一档播客栏目中，前谷歌首席执行官埃里克·施密特（Eric Schmidt）表示：“没有证据表明规模定律已经开始停止”，并预测在未来五年，人工智能系统的能力将是现在的100倍，能够在物理和数学领域进行推理。
今年10月21日，在微软AI之旅伦敦站活动上，微软CEO萨提亚·纳德拉（Satya Nadella）也谈及Scaling Laws的话题。他在演讲中表示：”Scaling Law是经验观察所得，但它被我们称作定律，并且一直有效。”
更早前的7月份，微软首席技术官Kevin Scott 在接受红杉资本合伙人采访时表示，“尽管其他人可能这样想，但是我们在规模化上并没有遇到边际收益递减的情况。”
不过，不论原因是什么，目前在大模型领域一个不争的事实是，先进模型更新迭代的速度确实降下来了，并且在一些诸如高级数学等需要深度推理和创造力的领域表现不佳。
觉得内容有收获，请您加个关注，标个星～ 谢谢您
