这些天没事瞎忙,终于有时间再写篇公众号。
只聊2个话题
1. 英伟达(可能是这两年来最不重要的一次业绩);
2. 被聊烂了的 Scaling law;
180K
英伟达
虽然一些卖方仍然乐此不疲地调整着预测数字,但是这可能是英伟达两年以来最不重要的一次业绩。
从 AI 周期开始,所有人都靠着英伟达的业绩来捕捉AI 的 “真实度”,但是这一次,身边一些买方 / 产业朋友,对于业绩预期的讨论明显降低了。
1. AI 现在似乎不是市场的“唯一叙事”了(当时AI几乎靠着一己之力把美股拉起来);现在 "特朗普交易" 也算很有动能。
2. NVDA的基本面 / 故事 已经被市场广泛理解(大家并不需要再靠capex来确认AI是不是一项真的东西)
3. 财报数字的边际惊喜 / 惊吓已经变得很低(大家习惯了较小幅度的超预期;几个B的上修或者下调并不代表什么;尤其是之前云大厂的 capex 已经有些端倪)
反而是对于 scaling law 的讨论,和 The Information 的一些小道消息,左右了不少市场的情绪 (这部分在后面详细讨论)。
无聊的预期数字就不聊了,整理一些比较有意思的数据;
1. 在Reddit 等散户活跃的社区,英伟达被提到的次数从9月的25%-30%,降到了5-10%;作为对比,特斯拉在同一个时期从2-4%,升到了现在的15-20%;(值得注意的是,英伟达48%的交易量是来自于散户)
2. Long only 对于英伟达一直都只是“market weight” (1.0x weighting);从这个程度上,英伟达在 Long only 里面的仓位,仍然低于常见的 Mega cap (META, NFLX, GOOGL, AMZN, MSFT等)- 数据源自 BofA Savita 的13-F vs S&P 500 framework.
3. 过去两年来的英伟达上涨,几乎都来自于“预测上调” / estimate driven,而非来自于“估值膨胀” / multiple expansion;一些数据:
23年8月到现在,英伟达 FY25的 EPS 向上修正了 183%,而P/E倍数仅扩大了 15%。相反,标普 500 指数的倍数在此期间扩大了 32%。
也就是说,尽管英伟达上涨超过 200%,但并没有变得“更贵”。实际上,相对于市场,NVDA 变得更“便宜”了。
180K
2. 被聊烂了的 Scaling law;
自从 The information 爆出 scaling law 碰壁之后,每天收到卖方的comments 都是在激辩;
大摩几乎专门开了一个专栏,每天收集 Scaling law debates - Day 1,Day 2,Day 3....
老实说,每天一大堆科技大佬,投资大佬在推特你一句我一句,看久了属实有点审美疲劳。
我不是技术出身,并没有太多资格指点江山。但是或许我们都应该更加 Open minded一点,直接承认,这个辩论其实是一个开放性的讨论罢了,现在根本没人有答案。
不过这可能完全不影响 AI 叙事延续。
Sequoia 在7月的时候提出,现在的Capex 支出,已经完全符合博弈理论 / Game theory;
在博弈理论里面,纳什平衡(Nash equilibrium)一直都不是代表着各方的“最优解”;换句话说,难道Google你发现 Scaling law 的南墙之后,你敢停下来,任由竞争对手继续买卡训练吗?
在Sequoia提出这个之前,我一直都有类似的想法,所以也花了不少时间研究一些博弈模型在AI capex的应用(譬如Richardson model)
太复杂的模型因子就没必要聊了。但是如果把军备竞赛的概念套到 capex 的结构里面,其实一切都好理解很多。
某种程度上,在“军备竞赛”里面,苏联不会在乎武器研发是否能够有所大成(类比scaling law能否实现);苏联在乎的只是,我的武器能不能比美国的好,够不够打死美国(就算模型的表现力只有10%的提升)。
我上面的思考并非空中楼阁。
- AI 军备竞赛的动态,扎克伯格等CEO都有过类似的表述。
- 这里我重复引述甲骨文 Larry Ellison 在Analyst Day 的一段(9月12日);
“好的。我认为关于人工智能——我的意思是,到2029年,我们对人工智能的依赖,我可以保证人工智能不会成为问题,因为简单的说法是,竞赛仍在继续。
我是说,这就像一场一级方程式赛车。我的意思是什么呢?实际上并不是只有一个赢家。我是说,你有三个人在领奖台上,但实际上只有一个赢家。
总会有人比其他人更优秀。很多人都在尝试,并且确实在竞争。如果你听过黄仁勋的讲话,我相信你听过,因为我看过他的演讲。我知道我和埃隆·马斯克一起在诺布帕洛阿尔托吃过晚餐,我和黄仁勋也一起吃过晚餐。
我会形容那顿晚餐是:甲骨文的我和埃隆在向黄仁勋乞求GPU。请收下我们的钱。请收下我们的钱。顺便说一下,我请的晚餐。请收下我们的钱。不,不。请多收一点。你收得不够。我们需要你收更多的钱,拜托。这次谈得还不错。
是的,我的意思是对GPU的需求,希望成为第一,构建世界上最强大的神经网络,抢占先机是非常重要的。无论是自驾车领域的抢占,还是在癌症活检切片的读取上,或者在合成视频和制作电影上——这影响到很多方面。
进行蛋白质设计、构建设计,我的意思是,我们非常参与小分子和蛋白质等更大分子的设计,特别是在癌症治疗方面。设计癌症治疗药物,我是说,成为第一是非常重要的,而参与这场竞争的人都非常聪明,他们明白自己需要在某个领域做到最好。
他们希望成为第一,因此他们投入了大量时间和金钱去乞求黄仁勋:我们正在构建数据中心,我的天啊,核反应堆,你开玩笑吗?这听起来完全是虚构的,但并不是。你需要大量的电力来为这些GPU集群提供能量——我说的是一大片GPU集群。我不确定,是否有类似的事情发生过?
你知道基本的赌注是什么吗?你知道构建一个前沿模型的成本吗?在接下来的三年里,如果你是想构建前沿模型的公司之一,你会花多少钱,有人知道吗?有人想猜猜吗?100亿?有人吗?1000亿?是的,1000亿。这会让你进入这个游戏。
拿出你的1000亿,你见过《莫莉的游戏》吗?你进来时说,给我钱。好的,这不是莫莉的游戏,这是一个更大的游戏。投入你的1000亿,你就进入了竞争。不多的人,不多的公司,不多的国家,会参与其中。我会去那里。所以这很好,顺便说一下,对我们来说非常好。我们到2029年没问题。
关于这段话大家可能各有看法,但是里面的一些 spirits却是很清晰的
“模型性能提升变得更加困难” 这一观点在考虑持续的军备竞赛,及其 Capex支出时并不是悲观的,反而是是极其乐观的!
1. 想要拿下这场AI军备竞赛,光有钱是不够的(反而是需要构建护城河);
2. 反过来思考,如果 AI模型竞争仅仅需要的是钱,那么任何有资金的人都可以暂时退出军备比赛,等搞清楚 Scaling law到底撞墙没有,再重新入场。
3. 如果新的参与者可以靠钱赶上,那么AI模型领导地位将变得模糊且短暂,市场也不会愿意为“AI模型#1”赋予溢价。(你可以想想一些capex要求高,但是却没有壁垒的行业,譬如航空公司;利润和估值都很低)
4. 难道只是因为“提升变得更困难”,那么“AI宏图大业”的成本就上升了?历史上,当某件事情变得更加困难,更有门槛,更加昂贵时,难道这就算是悲观吗?
在这样的困难下活下来,是更好的选择,还是更不好的选择?算是一个premium,还是discount?
如果实质性的护城河出现(部分是资金,部分是技术经验,部分是人才,部分是数据),那么最终的领导者有机会获得巨大的利润。因此,护城河的形成等于价值创造,而现在可能就是AI模型构建护城河的时候!
话说回来,
在过去18个月中,scaling效益递减的情况一直存在(并不是因为 the information 爆出了什么惊天大发现);集群需要按倍数增长才能推动基础模型的10个额外智商点(10 additional IQ points);大厂是在知道这个假设的前提下,进行大规模的capex投资
NVDA在networking、rack-scale、NVLink、软件方面的投资都旨在使Blackwell及未来几代能够通过更大的集群规模提升训练性能;
某种程度上,即使Hopper开始“平台期”,无法证明模型训练在Blackwell上有任何暂缓的迹象。
The information 在最近受到了不成比例的关注度;这两天又传出了英伟达B系列的一些交付问题。
这两天一些“专家”都在建议,暂停订阅 the information ;)
180K