北京时间12月14日早间消息，在NeurIPS 2024大会上，OpenAI联合创始人、SSI创始人伊利亚·苏茨克维（Ilya Sutskever）发表演讲时表示，模型预训练将会结束，因为AI的化石燃料“数据”已经用尽了。
X 上平台上有现场听众发布了Ilya演讲 PPT的截图。在一页 PPT中，Ilya指出，预训练将会结束。他解释成，算力因为更好的硬件、更好的算法、更大的集群而快速增长，但是数据则没有，因为我们只有一个互联网，而这是人工智能的化石燃料。
这个帖子还引来xAI创始人 Elon Musk的评论。他评论成：“很好的比喻。”
Ilya Sutskever还表示，未来推理将导致“极其不可预测”的行为，并且自我意识将在人工智能系统中出现。
Sutskever被广泛认为是通过在预训练中使用更多数据和计算力来实现生成式AI重大突破的早期倡导者，这最终催生了ChatGPT。Sutskever今年早些时候离开OpenAI创立了SSI。
今年11月，他在接受媒体采访时表态称，大模型预训练效果正趋于平缓。
他当时表示，"2010年代是扩展的时代，现在我们再次回到了探索和发现的时代。每个人都在寻找下一个突破，"Sutskever说。"扩展正确的东西比以往任何时候都更重要。”
他还表示，SSI正在研究一种替代预训练扩展的方法，但是没有透露更多细节。
最近一段时间，有关Scaling Law在大模型预训练环节是否有效的争论一直没有停止，但是声音并不相同，几家研发前沿大模型的代表厂商都坚持说Scaling Law还有效，但也有很多声音表示预训练的效果已经大幅放缓。
在NeurIPS 2024大会上，Ilya Sutskever、Oriol Vinyals 和 Quoc V. Le 合著的论文《Sequence to Sequence Learning with Neural Networks》获颁时间检验奖（Test of Time award）。这篇论文在 NeurIPS 2014上发表，已被引用超过 27000次。
NeurIPS大会表示，随着大型语言模型和基础模型的快速发展，人工智能和应用发生了范式转变，该领域受益于这项工作奠定的基础。这是奠定编码器-解码器架构的基石工作，启发了后来基于注意力的改进，从而导致了今天的基础模型研究。
参考链接：
https://x.com/indigo11/status/1867714438461370474
https://blog.neurips.cc/2024/11/27/announcing-the-neurips-2024-test-of-time-paper-awards/
觉得内容有收获，请您加个关注，标个星～ 谢谢您
