首页时事民生政务教育文化科技财富体娱健康情感

旅行百科职场楼市企业乐活学术汽车时尚创业美食幽默美体文摘

OpenAI 下一代模型遭遇重大瓶颈，前首席科学家透露新技术路线

科技 2024-11-14 12:00 广东

OpenAI 的下一代大语言模型「Orion」可能遭遇了前所未有的瓶颈。

据 The Information 报道，OpenAI 的内部员工称 Orion 模型的性能提升没有达到预期，与从 GPT-3 到 GPT-4 的升级相比，质量提升要「小得多」。

此外，他们还表示 Orion 在处理某些任务时并不比其前身 GPT-4 更可靠。尽管 Orion 在语言技能上更强，但在编程方面可能无法超越 GPT-4。

图源：WeeTech

关注 AI 第一新媒体，率先获取 AI 前沿资讯和洞察

报道指出，训练高质量文本和其他数据的供应正在减少，这使得找到好的训练数据变得更加困难，从而减缓了大语言模型（LLMs）在某些方面的发展。

不仅如此，未来的训练将更加耗费计算资源、财力甚至电力。这意味着开发和运行 Orion 以及后续大语言模型的成本和代价将变得更加昂贵。

OpenAI 的研究员诺姆·布朗（Noam Brown）最近在 TED AI 大会上就表示，更先进的模型可能「在经济上不可行」：

我们真的要花费数千亿美元或数万亿美元训练模型吗？在某个时候，扩展定律会崩溃。

对此，OpenAI 已经成立了一个由负责预训练的尼克·雷德（Nick Ryder）领导的基础团队，来研究如何应对训练数据的匮乏，以及大模型的扩展定律（scaling laws）将持续到什么时候。

Noam Brown

扩展定律（scaling laws）是人工智能领域的一个核心假设：只要有更多数据可供学习，并有更多的计算能力来促进训练过程，大语言模型就能继续以相同的速度提升性能。

简单来说，scaling laws 描述了投入（数据量、计算能力、模型大小）和产出之间的关系，即我们对大语言模型投入更多资源时，其性能提升的程度。

举例来讲，训练大语言模型就像在车间生产汽车。最初车间规模很小，只有几台机器和几个工人。这时，每增加一台机器或一个工人，都能显著提高产量，因为这些新增资源直接转化为生产能力的提升。

随着工厂规模的扩大，每增加一台机器或工人带来的产量提升开始减少。可能是因为管理变得更加复杂，或者工人之间的协调变得更加困难。

当工厂达到一定规模后，再增加机器和工人可能对产量的提升非常有限。这时，工厂可能已经接近土地、电力供应和物流等的极限，增加的投入不再能带来成比例的产出增加。

而 Orion 的困境就在于此。随着模型规模的增加（类似增加机器和工人），在初期和中期，模型的性能提升可能非常明显。但到了后期，即使继续增加模型大小或训练数据量，性能的提升也可能越来越小，这就是所谓的「撞墙」。

一篇近期发表在 arXiv 上的论文也表示，随着对公共人类文本数据需求的增长和现有数据量的有限性，预计到 2026 年至 2032 年之间，大语言模型的发展将耗尽现有的公共人类文本数据资源。

图源：arXiv

即使诺姆·布朗指出了未来模型训练的「经济问题」，但他还是对以上观点表示反对。他认为「人工智能的发展不会很快放缓」。

OpenAI 的研究人员也大都同意这种看法。他们认为，尽管模型的扩展定律可能放缓，但依靠优化推理时间和训练后改进，AI 的整体发展不会受到影响。

此外，Meta 的马克·扎克伯格、OpenAI 的山姆·奥特曼和其他 AI 开发商的首席执行官也公开表示，他们尚未达到传统扩展定律的极限，并且仍在开发昂贵的数据中心以提升预训练模型的性能。

Sam Altman（图源：Vanity Fair）

OpenAI 的产品副总裁彼得·韦林德（Peter Welinder）也在社媒上表示「人们低估了测试时计算的强大功能」。

测试时计算（TTC）是机器学习中的一个概念，它指的是在模型部署后，对新的输入数据进行推理或预测时所进行的计算。这与模型训练阶段的计算是分开的，训练阶段是指模型学习数据模式和做出预测的阶段。

在传统的机器学习模型中，一旦模型被训练好并部署，它通常不需要额外的计算来对新的数据实例做出预测。然而在某些更复杂的模型中，如某些类型的深度学习模型，可能需要在测试时（即推理时）进行额外的计算。

例如，OpenAI 所开发的「o1」模型就使用了这种推理模式。实际上，整个 AI 产业界正将重心转向在初始训练后再对模型进行提升的模式。

Peter Welinder（图源：Dagens industri）

对此，OpenAI 前首席科学家伊利亚·苏茨克弗（Ilya Sutskever）最近在接受路透社采访时承认，通过使用大量未标记数据来训练人工智能模型，以使其理解语言模式和结构的预训练阶段，其效果提升已趋于平稳。

伊利亚表示「2010 年代是扩展的时代，现在我们再次回到了探索和发现的时代」，并且指出「扩大正确的规模比以往任何时候都更加重要」。

Orion 预计将在 2025 年推出。OpenAI 将其命名为「Orion」而非「GPT-5」，这也许暗示着一场新的革命。虽然暂时受理论限制而「难产」，我们仍然期待着这个拥有新名字的「新生儿」能给 AI 大模型带来新的转机。

文｜范津瑞

http://mp.weixin.qq.com/s?__biz=MjM5MjAyNDUyMA==&mid=2651029174&idx=2&sn=171049bca7265ad84fbff021eed06285

AI 第一新媒体，「超级个体」的灵感指南。 #AIGC #智能设备 #独特应用 #Generative AI

最新文章

首发体验| AI学会发红包了！国产Agent一句话控制手机电脑，我看到了「摸鱼自由」的未来

字节跳动起诉前实习生并索赔 800 万/华为百万级轿车 48 小时预订量达 2108 台/支付宝上线「AI 帮找工作」功能

Sora 泄露事件背后，艺术家为什么要集体反抗 OpenAI？

AI 视频巨头重磅更新！提示词都不用费劲写了，从未有过这样的视频创作方式

OpenAI 再获软银 15 亿美元投资 / 比亚迪回应要求供应商降价:非强制要求/《王者荣耀》卫冕 10 月全球手游收入冠军

Sora 遭遇严重泄露！艺术家愤怒「复仇」OpenAI，测试渠道全网疯传

史上最薄 iPhone 或全面取消实体SIM卡/预售价百万起，华为发布尊界S800/英伟达展示AI语音模型

Mate 70 发布！华为最强 AI 手机来了，余承东高呼对得起「那四个字」

网易云音乐怒斥 QQ 音乐「剽窃式创新」/华为Mate70系列支持 AI 手势隔空传送/库克来华：没中国就没苹果今天的成就

国行 iPhone 16 实现 AI 自由，三步就够了

微信内测原图原视频 14 天自动清理功能/iPhone17系列仅Pro机型搭载5倍光学变焦/AI助力，陶哲轩宣布等式理论计划成功

AI 聊天机器人让用户去死，大学生吓到崩溃，官方紧急道歉

AI或成华为Mate70最大卖点/苹果Siri大升级，2026年拟超ChatGPT/可口可乐AI广告翻车|Hunt Good周报

刚刚，黄仁勋获港科大荣誉博士，演讲大秀中文，称 AI 可能是人类历史上最重要的技术

你画 AI 猜，这个开源 AI 图像神器，在玩一种很新的 P 图

小米将承担 SU7 自动泊车异常维修费用/麦当劳和支付宝力推「碰一下点餐」/OpenAI 正考虑推出自研浏览器

国产大模型黑马的首个推理模型来了，和 o1 PK后，我发现了AI深度思考的大问题

《黑神话：悟空》获金摇杆奖年度游戏/胖东来回应「员工结婚不许要彩礼」/OpenAI 薪酬曝光，奥特曼年薪仅 55 万

农夫山泉钟睒睒炮轰张一鸣，要求道歉/马斯克：AGI最晚2026年实现，人形机器人超100亿/曝华为鸿蒙智行销售车型明年翻倍

初代星舰最后一飞！首次在太空点燃猛禽发动机，马斯克、特朗普现场观看

iPhone 17 Air 厚度曝光，将是苹果最薄手机/余承东展示华为Mate70 细节/阿里通义千问发布新开源 AI 模型

马斯克与 OpenAI 决裂内幕全曝光！这封邮件让他破防，怒斥「我受够了」

从 GPT-2 开始玩 AI 的博士生，把论文做成了上线 Steam 的独立游戏｜AI 新职人

华为Mate70系列开启预售，预约人数超200万/《黑神话：悟空》获TGA年度游戏提名/英伟达AI芯片被曝存在过热问题，交付推迟

马斯克新 AI 破解千年难题却被紧急喊停？这个「玩笑」怎么让 AI 圈一夜未眠

首发 | Kimi 首个多模态功能体验，AI 一键为音乐生成 MV，月之暗面不再只卷长文本

华为 Mate 70 定档海报提前曝光/AI 疑似证明黎曼猜想，已被叫停/vivo X200 系列更新改善炫光

看着这个 AI 奶奶把骗子耍得团团转，可把我高兴坏了

马斯克再谈约架扎克伯格：随时奉陪/传满血版 o1 下月推出/苹果或将推出 AI 智能家居中控屏 | Hunt Good 周报

Kimi 发布新模型对标 OpenAI o1！月之暗面创始人回应近期争议

给马斯克上了瑞士卷大考后，我终于拿捏这个国产 AI 视频模型的最强新功能

17 岁高中生写了个神级 Prompt，直接把 Claude 强化成了满血 o1

余承东曝Mate70将在本月26日发布/美团哈啰单车在郑州停运，哈啰已恢复/OpenAI 拟打造AI 经济区与中国竞争

AI 最可怕的不是取代人类，是已经让我们不相信看到的是真照片

iPhone 15成Q3全球销量最高智能手机/OpenAICEO辟谣AI发展「撞墙」论/B站上市后首次单季度盈利

OpenAI 最新产品全曝光！奥特曼驳斥 AI 发展撞墙，Ilya 认错，秘密寻找下一个重大突破

苹果广告又翻车，给 AI 产品做创意怎么就不能 Think different

OpenAI 下一代模型遭遇重大瓶颈，前首席科学家透露新技术路线

曝小米AI眼镜将于明年发布，雷军预期出货30万台/马斯克新职务官宣，狗狗币大涨/苹果或将推出 AI 智能家居中控屏

黄仁勋最新演讲：每家公司都将成为 AI 制造商 | 万字实录

OpenAI 总裁宣布回归！结束「最长假期」，将专注重大技术挑战

2025 放假安排公布，增加两天假期 / 李子柒恢复更新，播放量破亿 / 百度发布首款 AI 眼镜

百度发布首款 AI 眼镜！比 Meta 爆款更卷，苹果也在押注的智能眼镜正在爆发

支付宝崩了上热搜，官方致歉/字节豆包发布新模型，AI 一句话 P 图/罗永浩发文怒喷餐厅卖预制菜

人类智力锁死在了 2021，OpenAI CEO 预言 AGI 可在 5 年内实现 | 万字专访实录

独家首测：全新 Mac mini 的 Type-C 接口能供电了？实测后，我们发现了苹果的秘密

OpenAICEO ：AGI将于2025年到来 / iPhone 部分旧款机型降至半价 / 开封夜骑爆火，官方喊话夜骑大学生

黄仁勋两万字访谈实录：希望英伟达拥有 5 万名员工和 1 亿个 AI 助手

传 Sora 两周内推出/OpenAI 元老、北大校友翁荔宣布离职/Google 版「贾维斯」泄露 | Hunt Good 周报

打败 Midjourney，匿名屠榜的 AI 生图黑马，让人人都能设计海报

分类

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉