引言 — 夜跑酣畅淋漓,依然有周董作伴,再继续一篇这个系列的文章。比起关于NVL72的计算题,今天和行业,好友相关的音乐和小说,更希望得到大家的关注,敬请帮忙分享。
NVL72的信息来源于Semi Analysis,透露了接下来NVL也会有X86这样浓眉大眼的版本:米兰达!
原文已上传至知识星球。
最近的文章
大模型的聚光灯照向以太网: ETH-X的scale up网络
如题,这篇小文包括三个部分,即
音乐
小说
计算题
I. 音乐
冰火两重天。在我的工作经历中,这个感觉在这两年特别突出。
一边是如火如荼的芯片,和人工智能,依旧是社会媒体的关注焦点,最近还有一部讲芯片行业的电视剧播映。晓明哥的形象差点意思,主演我还是推荐郭达·斯坦森。
一边是行业环境和就业情况,陆续有好友,同事受到影响。当想敲成文字时,却不知如何表达。分享一首《稻香》来感受一下生活中,其他的闪光点。
II. 小说
推荐好友的一个小说。
这位好友也是IT奶爸一枚,做过芯片,写过Android,调过内存。
第一次认识还是在大学食堂,二十年过去了,眼神依然清澈,许多讨论和选择也都很有个人的见解,不像我的随波逐流。
他的学习和工作能力自不必多说,
写小说也是多年的功底
大学时,一起组过乐队,弹一手好吉他。
两年前,他提议我们再到公司年会上玩一次,十几年过去了,我当然也很心动。
可惜我想了一下还是没有答应,理由也无非是碌碌之工作,繁琐之生活。我一如既往地随波逐流,也留下了一个复习青春的遗憾。
小说链接如下,请大家帮忙分享。
毕竟,不想当小说家的IT民工,不是一个好吉他手。
III. 计算题
NVL72 一个柜子120KW。
NVL36 每个柜子66KW,两个加起来132KW。
多了这十多KW,主要是翻倍的NVSwitch。
尽管总体功率增加了 10kW,但是单个机架功耗要求比较低,因此将会成为主流机型。
最后一种外形是采用定制的 "Ariel "板而不是标准的 Bianca 板的特殊机架。
SemiAnalysis认为,Meta 公司将主要使用这种型号。由于 Meta 的推荐系统需要进行训练和推理工作,他们需要更高的 CPU 内核和更大的内存/GPU 比例,以便存储大量嵌入表并在 CPU 上执行前/后处理。
外观与标准的 GB200 NVL72 类似:但将 Bianca 板换成了 Ariel 板,后者拥有 1 个 Grace CPU 和 1 个 Blackwell GPU。与 NVL36x2 类似,每个 NVSwitch 托盘有 18 个 1.6T 双端口 OSFP 机架,可水平连接到一对 NVL36 机架。
SemiAnalysis认为,Meta 的大部分配置将是普通的 NVL36x2,因为它更面向 GenAI 工作负载,而 Ariel 版本将仅用于其最大的推荐系统工作负载。
最后,在 2025 年第二季度,将推出 B200 NVL72 和 NVL36x2 外形,它将使用 x86 CPU,而不是 Nvidia 内部的 grace CPU。这种外形被称为"米兰达"(Miranda)。
每个计算托盘的 CPU 与 GPU 之间的比例将保持不变,即每个计算托盘 2CPU 和 4 GPU。
X86版本与Grace CPU 版本相比,NVL72/NVL36x2 的前期资本成本更低,不过 Nvidia 的收入也更少。由于 NVL72/NVL36x2 使用的是 x86 CPU,因此 CPU 与 GPU 之间的带宽要比 Grace C2C 低得多,后者与 GPU 之间的双向传输速率高达 900GB/s(450GB/s)。此外,由于 x86 CPU 无法在 CPU 和 GPU 之间共享功耗以优化工作负载,因此所需的总峰值功率要高得多。
功耗计算:
在NVL576的连接和成本计算上,Semi Analysis的判断也和我之前的计算一致,认为在TCO上是一个不切实际的落地产品:NVL576 的额外 BOM 成本是一个天文数字,Nvidia 需要在光纤连接上支付 560 多万美元(每个 GPU 9700美元)。
参考文献:
Semi Analysis:GB200 Hardware Architecture - Component Supply Chain & BOM
高阅读量文章