这两天，AI界对Scaling Law（扩展定律）是否已到达“投资收益递减”的争论愈演愈烈，引发了整个行业对未来发展方向的深思。
本篇文章将从多个角度解析这个话题，并探讨其对AI未来发展的启示。
什么是Scaling Law？
Scaling Law是AI领域的核心理论之一，它描述了模型的性能如何随着参数量、数据量和计算资源的增加而提升。传统Scaling Law的核心观点是：
模型性能随着参数规模的增加呈对数线性增长 （参数量） 更大的模型配合更多的训练数据可以带来持续的性能提升 （数据量） 计算资源投入与模型性能提升之间存在可预测的关系 （计算资源）
简而言之，这种理论意味着：只要模型规模、数据和计算能力足够大，模型就会变得更智能——这是AI界近年来的主流发展思路。
什么是投资收益递减（diminishing returns）？
“投资收益递减”是指在持续增加投入的情况下，获得的回报却逐渐减少。这意味着，即便模型的参数量、数据量不断增加，性能的提升幅度也会逐渐变小。对于AI公司来说，这一现象让高额投入的回报变得不再明朗。
最新动向
近日，《The Information》披露称，OpenAI的下一代旗舰模型性能提升不如预期，相较于GPT-3到GPT-4的显著提升，新模型的改进幅度较小，尤其在代码生成等任务上的表现甚至退步，但开发成本却更高。这一爆料引发了行业对Scaling Law前景的质疑：当高质量文本数据接近饱和，大模型的表现是否已触及“天花板”？
这种观点得到了一些AI研究者的共鸣。比如纽约大学教授Gary Marcus，他长期唱衰大模型驱动的路径，甚至在社交媒体上宣称，Scaling Law的“终结”证明了自己的看法。
尽管争议不断，AI界并未一味悲观。多位OpenAI员工在社交媒体上提到，未来模型的扩展可能还会找到新的Scaling路径。
例如，除了关注训练中的Scaling Law，还可以探索“推理阶段”的Scaling规律，挖掘如何在模型实际应用时继续提高效能。这种新的scaling law的说法也间接承认了原先的scaling law遇到瓶颈。
但一个不争的事实就是：硅谷几大主要AI实验室正在陷入困境。训练一个大规模语言模型动辄需耗费数千万美元，同时系统的复杂性导致模型训练常常遇到瓶颈和意外情况。比起GPT-4o，Orion几乎没有任何改进；谷歌的Gemini 2.0，被曝也存在同样问题；Anthropic据传也已暂停Opus 3.5模型的工作。
与此同时，从出走的Ilya也承认自己关于Scaling的说法错了！他纠正说，Scaling law其实只是一个经验假设，并不是定律。他坦言，过去认为“越大越好”的Scaling方法已不再适用，而是要重新定义Scaling的重点，找出Scaling的对象究竟应该是什么。他自曝，SSI在用全新方法扩展预训练，不过Ilya没有透露技术细节。
有趣的是，昨天拱火的The Information，今天又急忙发出一篇文章来灭火。他们强调，昨天的文章只是在说改进大模型必须找到新方法，并不是说Scaling Law已经终结。
就在刚刚，路透社也发文表示，由于当前方法受到限制，OpenAI和其他公司正在寻求通向更智能AI的新途径。
就在昨天，Anthropic CEO Dario Amodei接受了Lex Fridman长达五个小时的访谈，里面的信息非常丰富，技术出身，比起Sam Altman，真的是非常实诚。
内容包括：
AGI 何时到来 Scaling Hypothesis的定义以及是否结束 Anthropic的产品策略 LLM可解释性研究 AI发展时间线的介绍和预测
里面干货满满，值得AI从业者认真观看，相信B站很快就会有搬运的视频。不过我看推上马库斯好像还是不买账。
资本市场的反应
资本方是最敏锐的，红杉资本和A16z在内的著名风投机构，如今已经投入了数十亿美元，资助OpenAI、xAI等多家AI实验室的开发。他们不可能不注意到最近圈内盛传的Scaling Law碰壁事件，而重新考虑自己的昂贵投资是否会打水漂。
红杉资本合伙人Sonya Huang提到，大模型的现状或将推动行业重点从“训练模型”转向“模型推理”，即分布式的推理服务，这也意味着对推理基础设施需求的上升。“我们现在发现了第二个Scaling Law，这是在推理阶段的Scaling Law……所有这些因素导致对Blackwell的需求非常高。”
作为AI的应用开发者，我个人的判断，有一些趋势是非常明确的：
实际应用加速：现有大模型的能力已经足以支持众多应用，推动AI加速落地。 现有技术的不断演进：如RAG技术（检索增强生成）和多智能体系统将有效解决大模型的“幻觉”问题，为AI系统的可靠性加分。 成本下降：未来模型调用成本将进一步下降，有望使企业应用更具性价比。 商业化爆发：随着技术成熟，预计2025年B端AI应用将迎来一轮爆发式增长。 高估值困境：不过Scaling Law的受阻将不再能够支撑OpenAI和Anthropic高达几百亿甚至上千亿的高估值
天际资本的张倩也提到投资的确定性问题。
对创业者与投资者的启示
对于创业者和投资者来说，当前正是重新审视AI战略的时机。与其一味追逐“不确定的更大模型”，不如聚焦已有技术，在细分领域深耕细作。专注于用AI解决实际问题，既能降低投入风险，也更易于快速获取成果。事实上，AI行业可能正处在一个从“野蛮生长”向“理性发展”转变的关键时期。
如果你觉得今天的分享有帮助，记得点赞、收藏并转发，下次找起来更方便哦！
