OpenAI模型提升速度放缓

文摘 2024-11-10 20:56 上海

新模型Orion性能提升幅度显著缩小。这意味着，随着高质量新数据减少，AI模型改进速度或将放缓。OpenAI成立了一个团队，研究能让AI模型保持改进的新方法。

高质量数据不够用，拖累AI模型改进速度——OpenAI这位AI领头羊又遇到了难题。

据The Information今日消息，一些测试过Orion的OpenAI员工发现，虽然Orion的性能超过了OpenAI现有的所有模型，但其性能质量提升程度远远小于从GPT-3到GPT-4的飞跃。这意味着，随着高质量数据趋于有限，AI模型的改进速度可能会放缓。

不仅如此，Orion的训练中涉及来自旧模型（例如GPT-4与一些推理模型）的AI生成数据，这可能导致其重现旧模型的一些行为。

为此，OpenAI成立了一个“基础”团队，以在高质量新数据供应减少的情况下，研究能让AI模型保持改进的新方法。据悉，公司计划基于AI合成数据训练Orion，并在后期训练中对模型作出更多改进。

目前，OpenAI正在推进Orion的安全测试，计划于明年年初发布这一模型，其可能会打破“GPT-X”的命名惯例，以反映模型开发的变化。

值得注意的是，OpenAI在今年收购了Chat.com域名，该域名已重定向至OpenAI的AI驱动聊天机器人ChatGPT。

▌“撞上数据墙”

早在2020年，OpenAI就曾在一篇论文中提出Scaling law定律，意指大模型的最终性能主要与计算量、模型参数量和训练数据量三者的大小相关，而与模型的具体结构（层数/深度/宽度）基本无关。换言之，仅仅增加模型规模和训练数据，就能显著提升人工智能能力，而无需取得根本性的算法突破。

AI界许多公司都一度将Scaling Law奉为圭臬，但如今，也有越来越多的质疑声出现。

Meta AI人工智能研究院(FAIR)研究员及高级经理田渊栋指出，“我画过一张图，一开始数据量越大，模型性能表现越好，但模型离人类越近就越难获得新的数据，模型就越来越难以改进，最后总会有些corner case（边角案例，即无法想到的或不常见的案例）解决不了，这是data driven（数据驱动）最大的问题。”

非营利研究机构Epoch AI在今年7月更新的一篇论文中指出，未来数年内，（原始）数据增长的速度将难以支撑AI大模型扩展发展的速度，在2026-2032年之间的某个时间点，数据存量将耗尽。

实际上，OpenAI已不是第一次遭遇“数据资源不足”的问题。此前已有媒体报道指出，在训练GPT-5时，OpenAI因文本数据不足，正在考虑使用YouTube公开视频转录出的文本。

如今OpenAI再度碰上数据资源难题，甚至因此影响到了新模型进展。“但这代表‘天塌了，’”The Information这篇文章的作者之一Amir Efrati指出，OpenAI正在作出调整，或许将有新的Scaling Law取代旧Scaling Law。

值得一提的，当地时间11月9日，OpenAI安全系统团队负责人翁荔（Lilian Weng）宣布将离开已经工作了近7年的OpenAI。她公开分享了发给团队的离职信，但其中并未言明具体离职原因及未来职业去向，仅表示“是时候重新出发，探索新的领域了”。

科创板日报

服务新质生产力发展，是科创板、新兴产业及未来产业发展的重要新闻媒体，提供媒体、数据、投行、城市产业发展等服务体系，由上海报业集团主管主办，财联社出品。

最新文章

南京+合肥！

鸿蒙生态，华为最新发声！

特朗普提名FDA局长！

事关半导体，这场沙龙干货满满！

热！科创板超240家企业宣布回购

市场拉锯，科创板这33支股票却创新高

2000亿AI芯片龙头宣布增资！

隐身涂料企业冲刺科创板！

利元亨：研发固态电池设备

中科飞测：明场纳米图形晶圆缺陷检测设备已小批量出货

雷军入股！

平台经济，重磅政策指导！

上海拟打造“天空之城” 三年划设低空航线400条

胜科纳米科创板IPO过会拟募资2.97亿

股价暴涨33%！“雪花”风头盖过英伟达

OpenAI正筹谋入局浏览器市场！

翔宇医疗培育第二增长曲线脑机产品最快今年可售

快手，被公安机关警告处罚！

国内首个低空管理与服务操作系统发布

重组魅影：QFII资金何缘频频压哨进场？

李斌，回应蔚来净利仍未转正！

2家科创板公司参设半导体基金

地方国资频频收购上市公司

蒋凡，重回“擂台”！

AI投资又一主线浮现：美对冲基金大举买入核电股

国资委：目前最紧迫的是要向前瞻性战略性新兴产业集中

黄仁勋：Blackwell已交付13000个未来只会供不应求！

朱啸虎出手！首投AI硬件项目

四川部署算力高质量发展

10城入选“5G+工业互联网”融合应用试点城市

并购重组之风吹向医药赛道专家提醒注意这些风险

极米科技：车载业务明年或形成一定收入

意法半导体牵手华虹背后！

欧冶半导体，融进第7轮！

工业机器人，中国升至全球第三！

国产半导体设备，提速！

华为折叠屏背后技术曝光！

北京，定了一个千亿产业！

它们，集体“出手”小红书！

启明创投，内变！

天河，世界第一！

全球市值最高公司，增速放缓！

81亿！四川新基金

国资委发布6户央企12名人事任免

全球首个，华为+联通！

欧盟计划强迫中企转让技术

上市首日涨超320%！金天钛业登陆科创板

AI泡沫是否破裂就看英伟达“成绩单”了

英伟达产业链又跑出一只十倍股带来什么启示？

微软欲打造AI智能体生态

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉