首页时事民生政务教育文化科技财富体娱健康情感

旅行百科职场楼市企业乐活学术汽车时尚创业美食幽默美体文摘

Ilya向全世界宣布：预训练结束了！全球AI数据耗尽，超级智能才是未来

科技 2024-12-14 15:55 北京

新智元报道

编辑：Aeneas 好困

【新智元导读】全球顶会NeurIPS 2024中，Ilya登场演讲，向全世界宣告：预训练结束了！数据如同化石燃料般难以再生，未来，AI的发展方向就是具备自我意识的超级智能。

刚刚，Ilya现身NeurIPS 2024，宣布：预训练从此将彻底终结。

短短16分钟的发言，足以震撼全场。

是的，他的原话是——

正如我们所知的那样，预训练毫无疑问将会终结，与此同时我们也不会再有更多数据了。

原因在于，我们只有一个互联网，训练模型需要的海量数据即将枯竭，唯有从现有数据中寻找新的突破，AI才会继续发展。

Ilya的预测是，以后的突破点，就在于智能体、合成数据和推理时计算。

未来，我们会走向何方？

Ilya告诉我们：接下来登场的就是超级智能（superintelligence）——智能体，推理，理解和自我意识。

十年再登巅峰，Ilya感谢前同事

11月底，NeurIPS 2024时间检验奖公布，Ilya和GAN之父获奖。

论文地址：https://arxiv.org/abs/1409.3215

Ilya感谢了自己的两位合著者Oriol Vinyals和Quoc Le，放出了下面这张图。

这是在十年前，2014年蒙特利尔NeurIPS 会议上一次类似演讲的截图。Ilya说，那是一个更加纯粹的时代。

而如今，图中的三位青葱少年已经长成了下面的模样。

Ilya要做的第一件事，是展示10年前同一个演讲的PPT。

他们的工作，可以用以下三个要点概括——

这是一个基于文本训练的自回归模型；它是一个大型神经网络；它使用了一个大规模的数据集。

10层神经网络，只需几分之一秒

下面，Ilya与我们探讨了「深度学习假设」。

如果你有一个10层的大型神经网络，它就可以在几分之一秒内，完成任何人类能做的事。

为什么要强调几分之一秒内？

如果你相信深度学习的基本假设，即人工神经元和生物神经元是相似的，并且你也相信真实神经元的速度比人类快速完成任务的速度更慢，那么只要全世界有一个人能够在不到一秒内完成某项任务，那么一个10层神经网络也能做到。

只要把它们的连接，嵌入到你的人工神经网络中。

这就是我们的动机。

我们专注于10层神经网络，因为在那个时候，这就是我们能够训练的神经网络。如果你能突破10层，你当然可以完成更多事。

下面这张PPT，描述的是他们的「主要想法」。

核心观点就是，如果你有一个自回归模型，并且它能够足够好地预测下一个Token，那么它实际上会抓取、捕获、掌握接下来任何序列的真实分布。

在当时，这是一个相对新颖的观点。

尽管它并不是第一个被应用于实践的自回归神经网络，但Ilya认为，这是第一个令他们深信不疑的自回归网络：如果把它训练得足够好，那么你就会得到想要的任何结果。

当时，他们尝试的是翻译。这个任务如今看来平凡无奇，当时却极具挑战性。

接下来，Ilya展示了一些可能很多人从未见过的古老历史——LSTM。

不熟悉的人会觉得，LSTM是Transformer出现之前，深度学习研究者所使用的工具。它可以被看作是一个旋转了90度的ResNet，但更复杂一些。

我们可以看到积分器（integrator），如今被称为残差流（residual stream），还涉及一些更为复杂的乘法操作。

Ilya还想强调的一点是，他们当时使用了并行化。

不过并不是普通的并行化，而是流水线并行化（pipelining），每层神经网络都分配一块GPU。

从今天来看，这个策略并不明智，但当时的他们并不知道。于是，他们使用8块GPU，实现了3.5倍的速度。

从这里，Scaling Law开始了

最终，Ilya放出了那次演讲中最为意义重大的一张PPT，因为，它可以说是「Scaling Law」的开端——

如果你有一个非常大的数据集，训练一个非常大的神经网络，那么可以保证成功。

从广义上来说，后来发生的事情也的确如此。

接下来，Ilya提到了一个真正经得起时间考验的想法——联结主义（connectionism），这样说深度学习的核心思想。

这种理念认为，如果你愿意相信人工神经元在某种程度上有点像生物神经元，那么你就会相信，超大规模神经网络并不需要达到人类大脑的级别，就可以用来完成几乎所有人类能做的事。

但它与人类仍然不同。因为人类大脑会弄清楚自己如何配置，它使用的是最优的学习算法，需要与参数数量相当的数据点。

在这一点上，人类仍然更胜一筹。

所有这些，最终都引出了「预训练时代」。

这个时代，可以用GPT-2、GPT-3和Scaling Laws定义。

此处，Ilya格外感谢了前同事Alec Radford，Jared Kaplan和Dario Amodei。

这项技术，是推动我们今日所见所有技术进步的核心驱动力。

预训练时代，即将终结

然而，我们所知的预训练路线，毫无疑问会终结。

为什么？

这是因为，尽管计算能力正通过更好的硬件、更优的算法和更大的集群不断增长，但数据量并没有增长——我们只有一个互联网。

甚至可以说，数据是AI的化石燃料。它们是以某种方式被创造出来的，而如今，我们已经达到了数据峰值，不可能再有更多数据了。

当然，目前现存的数据，仍能支持我们走得很远，但我们只有一个互联网。

接下来会发生什么？Ilya给出了下列预测。（或者只是提到他人的猜测）

首先，智能体会有一些突破，这些能自主完成任务的AI智能体，就是未来的发展方向。

其次，还会有一些模糊的合成数据，但这到底意味着什么？很多人都会取得有趣的进展。

最后，就是推理时计算了，最引人瞩目的例子，就是o1。在预训练后，我们接下来该探索什么？o1给出了生动的例子。

下面，是一个来自生物学的例子。

这张图，展示了哺乳动物的身体大小与大脑大小之间的关系。

在生物学中，一切都很混乱，但上面这个紧密联系，却是一个罕见的例子。

从人类及其近亲的进化分支上看，包括尼安德特人、能人等等，大脑与身体比例的缩放指数都不同。

这意味着在生物学中，确实存在不同比例缩放的先例。

如今我们所扩展的，可以说是第一个我们知道该如何扩展的事物。这个领域中的每个人，都会找到解决办法。

而我们在相关领域，也取得了惊人的进步。10年前这个领域的人，还会记得当时是多么无能为力。过去2年进入深度学习的人，可能都无法感同身受。

超级智能是未来，还会与意识结合

最后Ilya谈到的，就是超级智能（superintelligence）了。它是公认的发展方向，也是研究人员们正在构建的东西。

从本质上来说，超级智能与现在的AI完全不同。

目前，我们拥有出色的LLM和聊天机器人，但它们也表现出某些奇怪的不可靠性——时常会感到困惑，但却能在评估中表现出远超人类的能力。

虽然我们还不知道如何调和这一点，但最终迟早会实现以下目标：AI将真正具备实际意义上的智能体特性，并将正学会推理。

由于推理会引入了更多的复杂性，因此一个会推理的系统，推理量越多，就会变得越不可预测。相比之下，我们熟知的深度学习都是可以预测的。

举个例子，那些优秀的国际象棋AI，对于最顶尖的人类棋手来说就是不可预测的。

所以，我们将来不得不面对的，是一些极其不可预测的AI系统——它们能够从有限的数据中理解事物，同时也不会感到困惑。

同样，自我意识也是有用的，它构成了我们自身的一部分，同时也是我们世界模型中的一部分。

当所有这些特性与自我意识结合在一起时，就会带来与现有系统完全不同性质和特性的系统，它们将拥有令人难以置信的惊人能力。

当然，虽然无法确定如何实现、何时实现，但这终将发生。

至于这种系统可能带来的问题，就留给大家自己去想象吧。

毕竟预测未来是不可能的，任何事情都有可能发生。

参考资料：

https://x.com/_jasonwei/status/1867696401830096970

https://x.com/blueberry_feed/status/1867764724206629224

https://x.com/tmychow/status/1867695173783925071

智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。

最新文章

27亿刀天价员工首个成果，谷歌版o1算出最难高考数学题！物理代码难题闪电秒解

刚刚，GPT开山一作被曝离职OpenAI！被Ilya感谢，ChatGPT无名英雄选择单飞

2025英伟达奖学金名单公布，7位华人入选！中科大浙大校友在列，人均6万美元

全球百模争霸，国产大模型拿下多个冠军！智源FlagEval全球评测榜单出炉

一键生成万字专利！中科院发布多智能体框架AutoPatent，含1933个「草稿-专利」数据对

Meta斯坦福全新多模态Apollo，60分钟视频轻松理解！7B性能超越30B

招人！新智元邀你勇闯ASI之巅

OpenAI开通ChatGPT热线了！美国电话就能打，老人机也能玩，15分钟免费

全球最强GPU订单曝光，TOP 1微软一年买爆近50万块！xAI晒首批GB200提前过年

28年数据枯竭？AI炼出数据飞轮2.0，智能体+多模态数据湖硬核掘金

AI改变数学的一年！黎曼假说、朗兰兹猜想，盘点2024年数学里程碑

全面超越CoT！Meta田渊栋团队新作：连续思维链

2025年，AI Agent还会是风口吗？11个问题揭秘智能体技术发展全貌

招人！新智元邀你勇闯ASI之巅

OpenAI圣诞第9天：满血o1 API放出，开发者大狂欢！实时API升级音频token暴降60%

Pika 2.0横扫Sora惊艳全网，一键颠覆广告业！上传自拍秒变好莱坞大片，和明星同框不是梦

用上AI，升职提前4年？清华等分析6790万篇论文：科学界收缩，不用AI的领域无人问津

稳定学习预后标志物，多种癌症生存曲线证实！清华最新成果登Nature顶级子刊

沃顿商学院教授发文解析o1：能力仍有短板，「人机协同智能」或成AGI最重要难题

招人！新智元邀你勇闯ASI之巅

谷歌逆风翻盘暴击OpenAI，90天王者归来！44页报告押注25年三大技术前沿

举报人「自杀」，OpenAI表示震惊！NYU教授发长文悼念：警钟仍在回响

谷歌版Sora来了，4K高清暴击OpenAI！视频生图新卷王，更理解物理世界

ChatGPT搜索，全球免费！Her动嘴实时搜，暴打谷歌边聊边搜

北大开源全新图像压缩感知网络：参数量、推理时间大幅节省，性能显著提升 | 顶刊TPAMI

语言游戏让AI自我进化，谷歌DeepMind推出苏格拉底式学习

招人！新智元邀你勇闯ASI之巅

视频一键拆分PS层！DeepMind新模型效果碾压同级，物体、背景完美分离，还能脑补

图像领域再次与LLM一拍即合！idea撞车OpenAI强化微调，西湖大学发布图像链CoT

Nature再发招聘调查：学术界和工业界大不同，帮你避坑从简历到面试的N个细节

招人！新智元邀你勇闯ASI之巅

MIT教授NeurIPS歧视言论炸雷，中国女学生霸气反击！AI大佬集体痛斥，道歉信来了

OpenAI官方爆料，长文开怼马斯克：靠打官司实现不了AGI！

Claude 3.5编程收入暴增10倍，抢走Cursor反杀OpenAI！估值180亿初创3年颠覆硅谷

招人！新智元邀你勇闯ASI之巅

「中美科技合作协定」终于续签！但AI半导体等关键技术却遭排除

Ilya向全世界宣布：预训练结束了！全球AI数据耗尽，超级智能才是未来

26岁OpenAI举报人疑自杀！死前揭ChatGPT训练黑幕

欧洲万亿美元科技巨头为0，被美国「泰坦」无情碾压！LeCun转评

招人！新智元邀你勇闯ASI之巅

ChatGPT「睁眼」了！OpenAI版「Her」满血上线，还有圣诞限定彩蛋

LSTM之父：我也是注意力之父！1991年就发表线性复杂度，遥遥领先Transformer 26年

再也不怕显存爆炸了！高效重建「几何精准」的大规模复杂三维场景，中科院提出CityGaussianV2

Meta公布黑科技：戴上腕带即可隔空打字，引领神经接口AR革命

招人！新智元邀你勇闯ASI之巅

ChatGPT崩溃4小时！DDL打工人、期末大学生全慌了

2024 ACL Fellow名单出炉！微软高剑峰等4位华人科学家入选

OpenAI深夜被狙，谷歌Gemini 2.0掀翻牌桌！最强智能体组团击毙o1

谷歌Gemini再添猛将！GPA 5.0毕业即DeepMind高级科学家，开挂博士给科研新人7点建议

超图计算+目标检测，性能新SOTA！清华发布Hyper-YOLO：用超图捕捉高阶视觉关联

分类

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉