scaling law将迎来大修改

文摘   2024-09-05 06:45   北京  

scaling law是资本乐见的游戏还是科学?但是从实践来说,这不是一条可持续发展的路。


Ilya 的新公司,十个员工,融资十亿美金。
他对 Scaling Law 最近有了新的思考,原文看图:



苏茨克韦尔是早期的“规模扩展”倡导者,该假设认为,若给予大量的计算能力,人工智能模型的性能将会提升。这个想法及其实施引发了一波对芯片、数据中心和能源领域的人工智能投资浪潮,为像 ChatGPT 这样的生成式人工智能的进步奠定了基础。

苏茨克韦尔表示,他将以与前雇主不同的方式来对待规模扩展,但没有透露细节。

“每个人都只说规模扩展假设。每个人都忽略了一个问题,我们在扩展什么?”他说。

“有些人可以长时间工作,他们只是会更快地沿着同样的道路前进。这不是我们的风格。但如果你做一些不同的事情,那么你就有可能做出特别的事情。”

行恒编程1对1
Python、R、CS编程1对1咨询辅导,一对一在线/线下会议教学模式,超过100次的高分成功辅导真实案例。智算中心运营方案规划与大模型AI咨询服务,2021年开始从事大模型架构工作。
 最新文章