Scaling Law原来源于百度？！Anthropic创始人的爆料外网都震惊了

科技 2024-11-27 19:46 湖北

11月27日消息，“大多数人不知道，关于Scaling Law的原始研究来自2017年的百度，而不是2020年的OpenAI。”

近日一则上述内容刷爆AI圈子，引发对百度研究能力的赞叹。

而事情的起因，则是Anthropic创始人Dario Amodei在一档播客节目中爆料：最早在百度工作时发现Scaling Law。

Dario Amodei是AI届的大牛，很多人知道他曾是OpenAI的初期员工，后来离开并创办Anthropic。事实上，Dario Amodei也是百度的“前员工”。

公开资料显示，Dario Amodei于2014 年 11 月至2015 年 10 月期间在百度工作，当时他在百度硅谷人工智能实验室（SVAIL）工作，致力于将深度学习模型扩展到大规模高性能计算系统。

再回到这则爆料中，这里先介绍一下Scaling Law（尺度定律）：当模型的参数量、训练数据量和计算量增加时，模型的性能会按照一定的幂律关系提升‌。

如同芯片领域的从业者会以“摩尔定律”来理解、前瞻、指导芯片发展一样，Scaling Law被大语言模型（LLMs）研究者们认为是理解大模型发展的“金科玉律”，其重要性不言而喻。

这次Dario Amodei的爆料，可谓给Scaling Law的发现来了个“正本清源”，把百度推上了大模型研究先锋的位置上。

Anthropic创始人Dario爆出Scaling Law“正源”

今年11月12日，在Lex Fridman的播客节目中，Anthropic的联合创始人&CEO Dario Amodei探讨了Claude、AI模型的扩展规律、AGI、AI未来等多个话题，其中，在谈到大模型的扩展规律（Scaling Laws）与模型发展，他提到“他的观察最早来自于此前在百度工作时对语音识别系统的研究。”

Dario Amodei称，2014年与吴恩达在百度研究AI的时候，他就已经发现了模型发展的规律Scaling Law，“随着你给它们提供更多数据，随着你让模型变大，随着你训练它们的时间越来越长，模型的表现开始越来越好。当时我并没有精确地衡量，但我和同事们都非常非正式地感觉到，给这些模型的数据越多、计算越多、训练越多，它们的表现就越好。”

后来在Open AI的GPT-1的语言模型中得到了验证。他认为，随着模型变得越来越大，它们能够捕捉到更复杂的语言和认知模式，这一规律不仅适用于语言模型，还适用于图像、视频等其他领域。

随着Dario Amodei的爆料，更多行业人士扒出了关于Scaling Law起源的线索。

一位Meta研究员再次发布推文爆料：

"大多数人不知道，关于缩放定律的原始研究来自 2017 年的百度，而不是 2020 年的 OpenAI。

他们描述了模型参数和数据集标记对损失的影响。还对图像和音频进行了测试。

他们只是用 LSTM 代替了 Transformers，而且没有将他们的发现命名为“定律”。"

百度2017年论文被扒出
一作研究被OpenAI 引用

上述推文将Scaling Law起源的讨论热度再度推高，有媒体人士跟帖贴出了百度在2017年发表的《DEEP LEARNING SCALING IS PREDICTABLE, EMPIRICALLY》论文。该论文详细讨论了机器翻译、语言建模等领域的Scaling现象。

图片来源：百度《DEEP LEARNING SCALING IS PREDICTABLE, EMPIRICALLY》

此前曾在Open AI工作，参与了GPT-3等重要项目开发的AI专家Gwern Branwen曾较早注意到了Scaling Law 。他经常提起：百度的这篇论文确实被忽视了。

这个故事还有后续。到2019年，百度的几位研究员Joel hestness、Gregory Diamos继续这项研究，再次发表了一篇论文《Beyond human-level accuracy: computational challenges in deep learning》。

而这篇论文，被OpenAI引述在其2020年的论文《Scaling Laws for Neural Language Models》中——这也是OpenAI举世闻名Scaling Law发现之作。

图片来源：OpenAI 论文《Scaling Laws for Neural Language Models》

扒到这里，Scaling Law原来源于百度的结论算是实锤了。

尽管外部对百度对Scaling Law的研究贡献因为爆料才刚刚被认知，对于百度而言可能“略感遗憾”。

不过也正是对Scaling Law的早期研究，让百度早在多年前就投入了AI大模型研究，并在2019年发布了第一代文心大模型——几乎与OpenAI处于同一时期。2023年，更是成为全球第一家推出生成式AI产品的科技大厂。

—【 THE END 】—

往期精彩文章回顾：

丨鸿蒙智行尊界S800预售启动，华为余承东微博透露火爆订单情况

丨三星Galaxy S25系列通过无线电核准：首发骁龙8至尊版For Galaxy

丨明日发布，余承东官宣Mate 70新功能“AI隔空传送”

http://mp.weixin.qq.com/s?__biz=MTE3MzE4MTAyMQ==&mid=2651383461&idx=2&sn=79b9509bc073be19b6dc36da87bd09f0

TechWeb

TechWeb专注于互联网消费领域，每日专业提供互联网产品、智能设备及互联网服务等方面的最新资讯。

最新文章

马斯克与王传福都回避的险路，乐道能帮李斌走通吗？

TechWeb微晚报：赛力斯拟82亿收购问界工厂，微软在美遭反垄断调查

冰箱彩电大沙发齐了！比亚迪腾势N9内饰发布：主打豪华精致

OPPO杭州总部项目被曝停工多时最新回应来了！

百万级定价，华为尊界要卖给谁？

比亚迪仰望U9“飞跃”功能上线行驶中可四轮离地

荣耀300系列定档12月2日：三剑齐发档位最薄颜值最高

TikTok将在沙特设区域总部 CEO周受资透露打算明年Q1设立

价格屠夫！真我Neo7起售价公布：不高于2499元

三星Galaxy S25 Ultra跑分出炉：搭载高频版骁龙8至尊版

2024华为影像大赛颁奖盛典举行，展现温暖人心的影像故事

赛力斯拟82亿元全资收购问界汽车超级工厂相关申请获受理

网易想复制小红书？内容社区网易小蜜蜂App上线

索赔800万！字节跳动起诉前实习生，因其篡改代码攻击模型训练

5499元起的Mate 70系列，能再掀起华为风暴吗？

Scaling Law原来源于百度？！Anthropic创始人的爆料外网都震惊了

TechWeb微晚报：汽车4S店退网潮加剧，鸿蒙智行尊界S800预售启动

上汽与大众完成续约上汽大众合资延长至2040年

35岁中年人，倒逼BBA苦追新势力

小米折叠屏手机市场份额激增185%，跻身全球前五强

苹果MacBook Pro革新在即：OLED屏幕升级指日可待

博世全球裁员5500人：因汽车业务压力加剧，但中国区不受影响

iQOO Neo10系列即将登场：6100mAh蓝海双芯电池+120W超快闪充

鸿蒙智行尊界S800预售启动，华为余承东微博透露火爆订单情况

三星Galaxy S25 Ultra渲染视频出炉：边框缩减四大钛系配色亮眼

汽车行业变局：4S店退网潮加剧，资金流动性成燃眉之急

94岁巴菲特公布遗产分配细节：只留0.5%个人财富给3个孩子价值逾50亿元

售价5499元起！华为Mate 70系列正式发布

TechWeb微晚报：萝卜快跑拟于香港试运营，广电总局整治“霸总”微短剧

消息称特斯拉上海储能超级工厂已接近建成预计明年一季度投产

继欧盟之后苹果在巴西也有被罚款风险

消息称高通对收购英特尔兴趣降低因收购交易太复杂

尊界S800外形曝光！华为百万豪车长这样？

史上最强！REDMI K80 Pro影像规格揭晓：全焦段5000万旗舰三摄

台积电2nm厂举行设备进机仪式预计明年量产

vivo S20 Pro核心参数曝光：多个维度全面升级

三星Galaxy S25系列通过无线电核准：首发骁龙8至尊版For Galaxy

消息称百度萝卜快跑拟于香港地区试运营最快年底前机场首阶段测试

荣耀300系列定档12月2日：多项突破剑指档位之王

京东声明：恶意攻击创始人的部分造谣者已被公安机关惩处

英伟达第四财季营收若达到预期全财年营收就将超过1200亿美元

小米首款纯电SUV，年轻人第一台“法拉米”真要来了？

TechWeb微晚报：特斯拉Model Y限时降价，网易游戏多名员工被处罚

网易云音乐发长文称QQ音乐抄袭酷狗音乐：DIY功能是我先做的

哪吒新能源汽车制造公司10亿股权被冻结？公司回应

可口可乐全AI广告，只有30s，却给人留下终生阴影

小米15 Ultra将在1月登场：后置四颗最强影像旗舰

消息称LG Innotek在为iPhone 17摄像头模组做准备投资将超3700亿韩元

不只是裁员5500人博世还计划减少近10000名员工的工作时间和薪酬

明日发布，余承东官宣Mate 70新功能“AI隔空传送”

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉