引言 — 周末了,聊一点轻松的,包括一道关于互联TCO的计算题 。
最近写得不多。
如题,这篇小文包括三个部分,即
音乐
视频
计算题
I. 音乐
之前我推荐过一个跑步歌单,说那个歌单的主人曲风很杂,意外发现凤凰传奇的一首歌曲跑起来很带感。
然后今天发现这个up主在b站也发了一个180步频歌单,曲风不杂了。。。凤凰传奇合集。😅
我谢谢你。
通过这个小事,我也意识到个人认知的样本局限性,我认为在网易云音乐发现的小众的宝藏歌单,在B站很普遍,歌单更多,选择性也更大。
我承认,是我的训练样本不够,碳基文明的局限性。推理是肯定打不过硅基了,训练我觉得也够呛。
II. 视频
推荐一个B站的视频,zomi酱,讲人工智能,全面而仔细,应该来自华为昇腾。认识几位华为和国产GPU厂商的朋友,实力都很强,加油!我最近也写了几篇以太网的文章,也是觉得这是一个更多人可以去合作并且受益的方向。
作为守方的NV才会考虑护城河,比如CUDA,NVLINK和Grace。
攻方的考虑,按照毛主席的话就是团结一切可以团结的力量。
除了NVLINK,IB的发展过程更加明显。
这不是IB和以太网的第一次竞争了,记得早些年工作的时候,IB也一度把以太网打得很慌。
当时针对数据中心和云计算的流量需求,也提出了以太网的改进以及各种over:IB over Ethernet,Fiber channel over Ethernet,Ethernet over IB等等。
从结果上来看,一个开放的生态更加重要,毕竟这不是一个百米冲刺,而是一个马拉松式的长跑。
III. 计算题
回归主业,再聊一下这道关于网络互联的计算题。
NVL72不是第一代。
在之前有DGX H100 NVL256 Superpod和GH200的NVL32。
为什么感觉没有听过?
我们先分析一下H100 NVL256的Superpod,它基于DGX的8卡服务器,NVLINK支持256个H100的互联,但据称从未上市,可能的原因是成本效益比太高。
这个SuperPOD使用128个L1 NVswitches和32个L2外部的NVSwitches,阻塞率是2:1,也就是每台机器的出口带宽相当于机内带宽的一半。
但是根据分析,使用NVL256来组建更大规模的集群,在2048个GPU以下,一直都维持了30%的更高成本,对比只用DGX 8卡服务器来搭建。
当我们重新来看NVL256到NVL36/72的变化,改为铜背板连接之后,客户的接受意向和市场反响明显更高。
NV声称,采用铜设计之后,成本降低约6倍,每个NVL72机架节省20KW功耗。
对于NVL576,需要通过额外的NVLINK交换机实现。
然而如果实现无阻塞的互联,那么相当于把机架内的问题在机架之间重演一遍,因此有理由相信NV可能会保持2:1甚至4:1的阻塞率,也就是使用36个或者18个L2交换机。
而在这些交换机之间保持用OSFP的光连接。
目前按照非官方渠道估计,NVL36和NVL72会占NV的Blackwell的出货量30%甚至更高。
而投资界朋友的TCO计算更加仔细,计算到不同范围的NV互联的$per GPU,因此对于NVL576的客户接受表示怀疑。
高阅读量文章