特斯拉的Scaling Law是什么?

文摘   科技   2024-10-24 20:06   上海  
我们的新书正在发售,老铁们帮我们带带货吧!
今天的特斯拉earning call可以说是近年来最振奋人心的一次。结合10.10的roboday,特斯拉揭示了科技发展两大原则:第一性原理造车(降本+增效),和scaling law做自动驾驶(more compute,better performance)。

我们之前针对Robotaxi和FSD的scaling law,有过深度的分析,这次earning call也把我们的很多结论进一步证实和强化了。特斯拉从2023年中开始采用H100训练端到端的V12模型,随着训练算力的不断提升(也包括模型参数、架构和数据的指数级提升),模型的性能显著提升。最早的V12是在大约几千H100上训练的,而V12.5则是在约数万H100训练的,按马斯克的说法,已经比V12提升百倍。到今年底,特斯拉还会有额外五万H100,基于此训练的V13也会有更大的性能提升(按照马斯克的说法,是5-6倍miles between intervention的提升),2024年总共的性能提升会超过3个数量级。明年,随着更多的H100,和GB200的引入(传闻有10万+的booking),模型能力会进一步提升,直到超过人类平均水平。相信这也会进一步提高FSD软件的Adoption。

那么,接下来还有哪些scaling的方向呢?首先是HW5.0的引入。HW4.0的算力只有百T级别,是很低的,如果HW5.0能把算力提升到1000T甚至2000T以上,模型的能力能够进一步跨越。其次,是类似ChatGPT o1,强化学习+合成数据,system1+system2。o1本质上通过强化学习+合成数据,解决复杂任务reasoning数据不足问题,而FSD目前由于太过于优秀,corner数据出现的频率太低,这一点和reasoning数据的缺乏是类似的。

最后,与XAI模型的结合,进一步提升模型能力。XAI目前在GPU infra领域的进展是世界第一的,马斯克也提到XAI的Infra技术,已经对于特斯拉的超大规模集群有很大的帮助了。未来可以期待有更多的合作。

如果想进一步讨论特斯拉的FSD和robotaxi的scaling law,欢迎联系我们的销售!



我们正在发售一篇报告,其内容是:

3Q24季度调研:MSFT、META、AMZN

尚有数篇报告正在调研中,其内容是:

AI咨询行业:PLTR、AI、ACN

ASIC调研与技术趋势

3Q24季度调研:NVDA

AI客服的进展与影响:NICE、FIVN、NOW

我们已经发售了十篇报告:

算力需求场景测算

AI与GPU在META中的应用

微软Copilot进展、GenAI售卖场景以及如何影响公有云选择

北美算力租赁厂商近况及供需平衡情况

互联技术以及未来发展趋势

美国数据中心与电力情况

2Q24季度调研:META与MSFT

AI手机

草莓与前沿大模型进展

Robotaxi与FSD的Scaling Law

除了报告外,我们也承接定制化的投研需求。

对报告感兴趣,有定制化投研需求,或者对我们的日常调研纪要(每月超过50篇AI调研纪要)感兴趣的请联系下面的久谦销售同事,或者点击共识粉碎机底栏菜单页的投研服务:



算力租赁崩了吗?


解密OpenAI高管集体离职与o1模型十问十答续


共识粉碎机
寻找与共识的不同
 最新文章