AI革命降速？专家称OpenAI新模型提升或微乎其微｜黑智编译

文摘 2024-11-15 17:00 日本

据《The Information》报道，OpenAI最新一代模型的更新速度正在放缓，这一趋势引发了硅谷的广泛讨论：AI模型是否已经到达了性能瓶颈？过去，AI领域的快速发展很大程度上归功于新模型不断带来的性能跃升。

来源｜Business Insider‍‍‍

编译｜杨雪涵

据《The Information》报道，OpenAI下一代旗舰人工智能模型相比之前的版本改进幅度较小，这表明蓬勃发展的生成式AI产业可能正在接近平台期。

该报道援引了一些使用或测试过该模型的员工的话称，OpenAI的下一代模型Orion与GPT-4相比，仅有微小改进。尤其是在编码任务上，Orion的技术进步比从GPT-3到GPT-4之间的进步还要小。

这一消息再次引发了关于开发更加先进的模型和AI扩展定律（关于模型如何改进的理论规则）可行性的讨论。

OpenAI CEO Sam Altman今年2月在X平台上表示，“扩展定律是由上帝决定的；而常数往往由技术团队的成员决定。”

他所提到的这些“定律”表明，随着模型规模的增加以及数据和计算能力的提升，AI模型会变得更加智能。

尽管奥尔特曼认为AI的智能提升程度或许由某种既定定律决定，但《The Information》报道指出，技术团队成员对这些定律持怀疑态度。与此同时，硅谷正围绕越来越多的证据展开激烈讨论，这些证据均表明，主流AI模型正面临着性能瓶颈。

对于《Business Insider》的置评请求，OpenAI并未立即作出回应。

扩展定律是否已经走到尽头？

据《The Information》报道，尽管Orion的训练尚未完成，OpenAI已经采取了额外措施来提升性能，例如基于人类反馈进行训练后的改进。

这一模型在一年前首次亮相，未来在正式发布前可能会有显著提升。但这也表明，未来几代的AI模型可能都难以像过去那样实现显著改进，而此前这些模型曾帮助公司成功融资数十亿美元，并获得了高额估值。

主要原因有两个。

数据是扩展定律方程中的关键要素之一。然而，随着公司迅速耗尽线上可用数据，数据资源变得日益稀缺且难以获取。

为了训练AI工具和功能背后的模型，这些公司已经抓取了大量人类创作的数据，包括文本、视频、研究论文和小说，但这些资源较为有限。研究公司Epoch AI在6月预测道，企业可能会在2028年前耗尽可用的文本数据。虽然公司正试图通过利用AI生成的合成数据来突破这一限制，这种方法仍存在问题。

“对于一般知识性问题，目前我们的确看到了大语言模型（LLM）性能的停滞迹象，”企业软件公司Databricks的联合创始人兼执行主席Ion Stoica在接受《The Information》采访时表示，并补充道，“事实数据”比合成数据更为有用。

此外，计算能力也是提升AI性能的关键因素，但也并非无限。正如OpenAI CEO Sam Altman在上个月的Reddit AMA中提到的那样，公司在分配计算资源方面正面临着巨大的挑战。也难怪一些业内专家预测，今年乃至未来的AI模型，其性能提升幅度可能无法再像之前那样显著。

收益递减

纽约大学名誉教授、AI热潮的直言批评者Gary Marcus认为，AI的发展注定会遇到瓶颈。他一直坚信，人工智能行业已经显示出了“收益递减”的迹象。继《The Information》报道后，他在Substack上发文，标题为“证实：LLM确实已达到收益递减的点”。今年6月，OpenAI的竞争对手Anthropic发布了Claude 3.5模型，Marcus在看到该模型在高级推理、编程和多语言数学等领域的边际显著提升后，认为它的表现“与其他许多模型差不多”。

Marcus指出，AI市场投入了数十亿美元，试图通过颠覆竞争脱颖而出，但实际上，这只是为了验证其发展正在“趋于同质化，而非持续的指数增长”。OpenAI和Safe Superintelligence的联合创始人Ilya Sutskever也表达了类似的观点。在《The Information》报道发布后的星期一，他向路透社表示，扩大预训练规模的效果已经趋于平缓，并补充道：“如今，选对方向比以往任何时候都更加重要。”

AI行业仍将不断探索新方法，力求实现显著的性能突破。Anthropic的CEO Dario Amodei预测，AI模型的训练将于明年进入一个新时代，训练成本可能达到1000亿美元。Altman 曾表示，GPT-4 的训练费用已超过 1 亿美元。在如此巨额资金投入到 AI 模型中的情况下，其智能水平究竟能达到何种程度，仍有待观察。

尽管部分专家对AI模型的扩展潜力持怀疑态度，但硅谷的许多领导者依然保持乐观。OpenAI首席执行官Sam Altman和微软首席技术官Kevin Scott就是其中的代表之二。

在2024年7月接受Sequoia Capital的"Training Data"播客采访时，Kevin Scott表示，尽管有人认为AI的进展已经趋于平缓，但他并不认同这种观点。他强调，AI 模型的扩展仍具有巨大的潜力，目前尚未达到规模扩展的边际收益递减点。

这种乐观态度反映出了硅谷对于AI技术不断突破的期待。硅谷认为，通过持续的技术创新和资源投入，AI模型的性能和应用领域将不断得到拓展。

欢迎点击“阅读原文”报名榜单……

*本号系数智云科旗下人工智能领域垂直号。黑智，人工智能领域产业服务平台，专注AI行业报道，探讨AI商业价值。

点击关注人工智能领域垂直号黑智

了解更多AI产业资讯

👇👇👇

http://mp.weixin.qq.com/s?__biz=Mzg3Njk3NjIxMg==&mid=2247494592&idx=1&sn=d26a0e051a982d00f6928296205cde88

黑智

人工智能领域产业服务平台，专注AI行业报道，探讨AI商业价值。

最新文章

AI革命降速？专家称OpenAI新模型提升或微乎其微｜黑智编译

这家帮你叠衣服打扫卫生的机器人公司，估值20亿美金｜黑智编译

峰瑞资本李罡：具身智能前程远大，但每个“人”奔跑在曲折道路上

【京港AI应用加速器】首轮面试结束，最后报名机会不容错过

【聚焦互联网3.0】朝阳加快建设互联网3.0高地

任正非最新讲话：华为要向美国学习开放性、包容性

一个福建极客，正在帮实体商超重获生机

【品牌方专属邀请】集聚20+AI电商企业，推动品牌AI产业化升级……

文献书记围绕“应用场景创新促进科技成果转化”调研北京市数字人基地

184个项目报名，ITEC2024人工智能 & 互联网3.0专场赛亮点一览

ITEC2024全球创业赛人工智能及互联网3.0专场赛成功举办

2024怀柔黑马科技服务论坛举办，怀柔黑马科技加速实验室成果显著

角逐万亿隐形蓝海市场：开源情报如何靠AI更新换代

【征集通知】关于公开征集《朝阳区关于支持互联网3.0创新发展的若干措施》2024年度支持项目的通知

【征集通知】关于公开征集《朝阳区促进通用人工智能创新应用发展的若干措施》2024年度支持项目的通知

【征集通知】关于公开征集2024年朝阳区通用人工智能算力合作伙伴的通知

寻找具身智能潜力企业！2024具身智能最具投资潜力榜评选启动

安筱鹏：超越AI大模型的“加拉帕戈斯”效应

刚刚，Sam Altman发布最新预测：几千天后，人类将进入智能时代！

【最高110万资助】两地政策加持，公益项目京港AI应用加速器正式启动招募

京港洽谈会新亮点：京港AI应用加速器正式启动

吴泳铭：AI最大的想象力是接管数字世界，改变物理世界

谷歌AI机器人项目的终结：“登月计划”为何夭折｜黑智编译

OpenAI发布重磅模型o1，AI推理能力突破，智能水平向人类靠拢

大模型能力壁垒真的消失了吗？李彦宏内部讲话曝光..

高光时刻！一文看全苹果今年最重大发布会：iPhone 16、Apple Watch Series 10、新款 AirPods

AI驱动电商丨朝阳AI电商应用加速器正式开营，赋能电商企业创新发展

走出弯路：中国半导体正在走向“一个确定的未来”

牛文文：老板到底要不要做网红？

征集开始！天津市滨海新区“滨城人才服务证”专属卡面设计征集需求书发布

知网状告秘塔AI搜索侵权；腾讯回应“苹果税争议”：希望三赢正与苹果协商；美国司法部考虑分拆谷歌｜AI产业周报

张一鸣宿华帮忙出主意、黄仁勋帮忙“插队”买H100，“沐神”复盘创业第一年的进展、纠结和反思

技术精英团队领衔，打造世界级具身智能大脑，千寻智能宣布完成近2亿元天使轮融资

马斯克“复仇诉讼”OpenAI及其创始人；黄仁勋抛售近5亿美元股票；Figure AI新人形机器人“入职”宝马｜AI产业周报

如何破解“对赌回购”难题？20位大咖分享了7条方案！

Mistral AI：被法国总统赞扬，估值超60亿美元，直面微软、监管挑战｜黑智编译

星地AI应用孵化器路演日举行：24个AIGC创业项目、上百家投资机构参加，覆盖AIGC、大语言模型等多领域

苹果施压腾讯字节跳动或禁止微信抖音更新；微软将OpenAI列入竞争对手名单；英特尔宣布裁员 1.5 万人｜AI产业周报

黄仁勋对话扎克伯格：抨击闭源、互送夹克、预判下一波AI浪潮

朝阳区创投机构科技创新产业政策宣讲会顺利举行

网传百川智能A轮融资50亿元；Meta推出史上最强开源模型Llama 3.1；OpenAI推出SearchGPT｜AI产业周报

持续学习如何终结大模型的灾难性遗忘？这里有一份来自创业公司的实操案例

朱啸虎：投资AIGC企业的秘密全都藏在这九张图里

重磅发布！一文读懂北京市AI 电商应用现状及发展趋势

五大理由，速来报名！“创客北京2024”报名即将截止

关于开展新设市级政府投资基金储备项目常态化征集的通知

梅花创投吴世春：坚持向前走就是胜利

推动数实融合，2024全球数字经济大会互联网3.0高层论坛举办

牛文文：403天，一个中国AI实践者的观察与体验

疏通AI初创企业成长堵点、卡点，星地AI应用孵化器第三次活动如期举行

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉