首页时事民生政务教育文化科技财富体娱健康情感

旅行百科职场楼市企业乐活学术汽车时尚创业美食幽默美体文摘

Scaling Law遇阻，AI 性能或难再有大提升

科技 2024-11-18 19:45 北京

文丨海中天

AI模型是不是遇到了性能瓶颈？可能真是如此。

外媒The Information报道称，下一代OpenAI模型的性能似乎不会有太大提升，这不是一个让人高兴的信号，它意味着生成式AI可能遇到了瓶颈。

OpenAI的下一代模型叫Orion，据测试或者使用过的人透露，相比于GPT-4，它的提升不会特别大。从GPT-3到GPT-4进步明显，Orion相比GPT-4的进步小很多，执行编程任务时更是如此。

行业曾经认为，模型的进化会遵循所谓的“尺度定律(Scaling Law)”，未来的模型会越来越先进，但The Information的报道似乎正在推翻这一结论。

OpenAI CEO山姆·奥特曼（Sam Altman）今年2月曾表示：“尺度定律是上帝决定的，常数是由技术人员决定的。”奥特曼认为，当模型的规模变大，获得更多数据和算力，AI会变得越来越聪明。

奥特曼可能会坚持自己的观点，认为注定的公式决定AI会变得更聪明。从另一个角度看，OpenAI内部已经有员工在质疑所谓的定律，硅谷也发现领先模型遇到了瓶颈。

尺度定律终结了吗

目前Orion还没有训练完，为了提升性能，它采用一些额外措施，比如根据人类反馈建议优化训练后的模型。

Orion一年前公布，虽然从最新的报道看性能不会带来惊喜，但在正式推出前仍然有可能出现戏剧性提升。媒体的报道在警告行业，投入几十亿美元拼命训练，估值无限高，最终带来的新模型可能不会让人惊叹。

为什么会这样？主要有两个原因。

首先是数据，它是尺度定律公式的重要组成部分，企业正在快速消耗网上数据，快要耗光了。

企业用人类创造的数据训练模型，比如文本、视频、论文、小说，但人类创造的数据供应有限。根据Epoch AI的预测，2028年之前可用的文本数据就会被消耗光。为了克服困难，企业正在让AI合成数据，但这类数据存在缺陷。

企业软件开发商Databricks的联合创始人Ion Stoica说：“面对一般知识性问题，目前的LLM（大语言模型）似乎进入了瓶颈期。”事实数据比合成数据更有用。

其次是算力问题，它也是AI性能能否提升的关键，算力不是无限的。奥特曼上个月曾表示，在调配算力时，公司面临诸多限制，很难做决定。

早就有专业人士发声，指出今年发布的AI模型和即将出现的模型进步都不大。

收益递减无法避免

纽约大学教授Gary Marcus认为，AI研发注定会碰到南墙，他还刊文强调，AI出现了“收益递减”现象。

今年6月OpenAI的竞争对手Anthropic发布Claude 3.5模型，Gary Marcus使用新模型后认为，Claude 3.5在推理、编程、数学方面有些微进步，其它模型也一样有进步，但都不大。

Gary Marcus认为，AI市场投入大量美元，AI模型却并没有出现可持续的指数级增长。

OpenAI和Safe Superintelligence的联合创始人Ilya Sutskever也持相似观点。看到The Information的报道后他告诉媒体，扩大预训练规模的作用已经遇到了瓶颈，做正确的事变得更重要了。

AI企业肯定不会放弃，它们一定会寻找各种办法大幅提升AI模型性能。Anthropic CEO Dario Amodei认为，明年AI模型训练将会进入新时代，训练一个模型可能要100-1000亿美元。奥特曼曾透露，GPT-4的训练成本达到10亿美元。

投入巨额资金之后，AI模型到底会变得有多聪明？我们只能拭目以待。

训练的成本太高企业难以承受

谷歌母公司Alphabet准备更新Gemini模型，但有消息称模型并没有达到内部预期。Anthropic准备发布新Claude模型，也就是3.5 Opus，虽然业界十分期待，但推出时间却已经延迟。

也就是说，加上OpenAI，三大知名AI开发商都遇到了麻烦。由于缺少人类创造的高质量数据，没有充足的编程数据拿来训练，Orion的编程性能难以让用户满意。

从另一个角度看，为了获得些微的性能提升，企业却投入大量金钱，这样下去还能持续多久？

2027年之前，训练一个AI模型可能要100-1000亿美元，如果是1000亿美元，比全球三分之二国家的GPD还要高，数据触目惊心，说明AI模型的规模和成本正在飞速膨胀。

成本最大的来源是算力，算力并不便宜。根据Leopold Aschenbrenner的估计，GPT-4在训练时消耗了2.1e+25 FLOPs的算力。购买这些算力要多少钱呢？大约4000万美元。

听起来不多，但事情远没有那么简单。

首先，你要搭建训练集群，用来处理模型训练问题。比如GPT-4，它需要1万块与H100相当的GPU，每块25000美元，总计2.5亿美元。其次，训练需要耗费大量电力，还要建设数据中心，安装降温设备，搭建网络，等等。整个集群的成本约为5亿美元。

花100-1000亿美元训练一个模型？听起来简直疯了。如果亏损严重，即使是谷歌这种富可敌国的企业也会退缩。

不缺少乐观者望向下一站

在美国硅谷，仍然有很多人对AI性能的提升感到乐观。

今年7月，微软首席技术官Kevin Scott说：“与别人的看法不同，我们认为随着训练规模的扩大边际收益不会降低。”

有些新策略可能带来帮助，比如，在开发过程中增强推理部分，让AI变得更聪明。简单来说，就是在模型训练完之后加入模型之前未见过的数据，优化输出结果。

今年9月OpenAI发布OpenAI o1，它重点关注推理优化。

尽管如此，对于尺度定律是不是能驱动AI模型不断提升性能这个问题，许多行业人士仍然保持怀疑。如果未来出现的模型表现不佳，人们会对所谓的“AI繁荣”重新评估。

如果想继续优化模型，首先还是要解决数据问题。公开互联网、出版图书虽然有很多文本数据，但低垂的果实已经被摘取。

合成数据可能不是一个好选择，经过几次递归训练后模型可能会崩溃。

企业最终可能还是要依赖推理，增强模型的推理能力。问题在于，目前即使是最先进的推理模型也很容易被愚弄。有些专家建议用较大的“老师”模型通过更精炼的高质量信息训练“学生”模型。

如果LLM模型真的遇到瓶颈且无法突破，接下来可能会通过专业化来提升。例如，微软用所谓的小语言模型取得一些突破，它专注于任务和问题类型。未来的AI可能会关注更狭窄的特殊领域。

如果您有什么想说的，欢迎在评论区留言讨论！

投稿或寻求报道，欢迎私信“投稿”，添加编辑微信。

如果您想要获取最新的科技趋势分析、行业内部的独家见解、定期的互动讨论和知识分享、与行业专家的直接面对面交流的机会！

欢迎扫描下方二维码，添加头部科技创始人、AI头号玩家俱乐部主理人张晶晶微信！

头部科技是技术新世界的记录者、探索者和推动者。我们致力于普及细分场景的科技解决方案，打造科技和人才创新知识图谱。无论你身处技术公司或传统行业，在这里都可以找到智能化、数字化升级的案例和伙伴。在无限的时空中，和你共同探索科技原力是我们的荣光。

最新文章

CES 2025前瞻：AI无处不在

硬碰硬开局！28家美国实体被列入管制管控名单，1600亿基金再砸硬科技！

惊呆网友！微软论文意外“泄密”OpenAI模型参数引热议，GPT-4o mini仅8B？

WAIC创投生态 | 2025 Future Tech项目路演1月9日名单出炉！

一年亏10亿股价反涨406.45%！国产AI芯片的春天要来了？

OpenAI彻底蜕变！摆脱“非营利”标签束缚或为IPO铺路

2025中关村智能网联汽车创新发展论坛震撼来袭

国产之光刷屏AI圈！DeepSeek-V3成当前最强开源大模型

传ChatGPT将拥有全新“无限”记忆功能？！OpenAI的一篇帖子引热议

2025中关村智能网联汽车创新发展论坛即将开幕！

三分之二产品在用中国芯？美国又针对中国传统芯片下手了

3年半亏损2.5亿，“协作机器人第一股”难当第一

红杉：AI为赚钱发愁搜索成为热点

人才流失！OpenAI资深研究员、初代GPT缔造者Alec Radford离职

涉及20+实验室，打磨2年！华人小伙儿领衔的开源生成式物理引擎Genesis令人惊叹！

国家电网发布国内首个千亿级多模态电力行业大模型

量子计算哪家强？潘建伟、朱晓波等科学家公布“祖冲之3.0”处理器进展对阵谷歌Willow

不服就干！谷歌重磅新品三连发反击OpenAI玩ChatGPT搜索

月付2000美元！OpenAI CFO称博士级AI要来了，能“替代”人类雇员

新能源+数智化浪潮下，信息通信创新如何改变电力行业？

OpenAI长文爆料反击马斯克诉讼：“你不能通过诉讼获得AGI”

不甘示弱！微软祭出小型语言模型Phi-4，在数学竞赛上超过GPT-4o和Gemini1.5

12月20日，上海见｜梧桐荟 “产·投·研”沙龙第6期——芯片级散热技术发展应用与投资机会

Sora试用报告：错误不少，一起找茬

黄仁勋：扫过最多厕所的CEO

“Open AI 12天”上新第4弹：Canvas协作工具正式开放，但实际并没想象中那么好？

刚刚，OpenAI Sora来啦！AI视频新纪元已开启

杨植麟响应仲裁风波，起底人性月之暗面

每月200美金订阅，OpenAI 「十二夜」圈钱忙

大厂小厂肉搏，中国大模型进入淘汰赛

NeurIPS 2024最佳论文！

一图一世界，一飞一菩提

ChatGPT问世2年，我们的世界哪里变了

智能体，大模型进化下一站

从Neuralink开始美国脑机接口研究迎来春天

绿色氢能，零碳飞行

亚马逊向英伟达芯片发起冲锋

AI将进化超级智能，还是逐步崩坏？

为什么能源需要AI？ | 2024能源人工智能创新发展大会圆满举办

AI广告，正在不完美中开创新时代

北京今年最大一笔融资诞生，国产半导体乘风而起

储能沙龙 | 新质生产力与储能行业协同发展及投资机遇沙龙成功举办

蘑菇车联新突破：路侧数据上车，赋能多品牌车辆

具身大模型，国内最大融资诞生

Scaling Law遇阻，AI 性能或难再有大提升

共谋AI未来发展，2024 AI创新应用发展交流会成功举办

AI的尽头，是能源

活动预告 | 梧桐荟 “产·投·研”沙龙第5期——储能产业专场

120亿独角兽，自主工业品牌变身

电力领域出了一个国际级领先技术

分类

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉