Nvidia 的 GB200 NVL4 解决方案通过在单个主板上实现四个 B200 GPU 和两个 Grace CPU,将事情提升到一个新的水平。
Nvidia 发布了两款产品:GB200 NVL4,这是一款具有两个 Grace CPU 的怪物四通道 B200 GPU 模块,以及针对风冷数据中心的 H200 NVL PCIe GPU。
GB200 Grace Blackwell NVL4 超级芯片是标准(非 NVL4)双 GPU 变体的更有效的变体,具有多达四个与 NVLink 相连的 B200 Blackwell GPU 和两个基于 Grace ARM 的 CPU,全部位于一个主板上。该解决方案针对 HPC 和 AI 混合工作负载,具有高达 1.3TB 的一致性内存。Nvidia 宣传 GB200 NVL4 的模拟性能是 Nvidia GH200 NVL4 的 2.2 倍,训练是 1.8 倍,推理性能是 Nvidia GH200 NVL4 的 1.8 倍,是其直接前身。
英伟达表示,GB200 NVL4 超级芯片将于 2024 年下半年从各种供应商处提供,例如微星、华硕、技嘉、纬创资通、和硕、华擎机架、联想、惠普企业等。
Nvidia 的 H200 NVL 是一款双插槽风冷 GPU,具有 PCIe 5.0 连接 (128 GB/s)。该冷却器针对机架安装解决方案进行了优化,采用流通式设计,其中进气从右向左流动;没有鼓风机式风扇。
性能比 Nvidia 即将推出的 SXM 外形尺寸的 H200 略差。H200 NVL 的额定 FP64 为 30 TFLOPS,FP32 的额定值为 60 TFLOPS。Tensor 核心性能的额定值为 FP64 的 60 TFLOPS、TF32 的 835 TFLOPS、BFLOAT16的 1671 TFLOPS、FP16 的 1671 TFLOPS、FP8 的 3341 TFLOPS 和 INT8 的 3341 TFLOP。
然而,Nvidia 表示 H200 NVL 比它所取代的 H100 NVL 快得多。它具有 1.5 倍的内存容量和 1.2 倍的内存带宽,为 HPC 工作负载提供高达 1.7 倍的推理性能和 1.3 倍的性能。Nvidia 还快速与 Ampere 进行了比较,指出 H200 NVL 比 Ampere 的同等 GPU 快 2.5 倍。
H200 NVL PCIe GPU 针对绝大多数数据中心配置进行了优化,包括风冷服务器机架。Nvidia 表示,根据一项调查,大约 70% 的企业机架使用风冷和 20kW 或更低的功率。作为 PCIe GPU,数据中心提供商可以重复使用其现有机架,并且只需更换 GPU,从而减少浪费并显著降低升级硬件的成本。H200 NVL 还配备了 NVLink,每个 GPU 提供高达 900 GB/s 的带宽,并使系统提供商能够在单个钻机中连接多达四个 GPU 以提高性能。
Nvidia 的新型风冷 GPU 问世时,Nvidia 的 Blackwell GPU 出现严重的过热问题。尽管使用成熟的液体冷却系统运行,但由于 GPU 在机架中的散热量高达 120KW,系统集成商被迫重新设计支持 Blackwell GPU 的服务器机架。H200 NVL 甚至不是 B200 的劲敌,但 Nvidia 的风冷数据中心 GPU 凸显了低功耗风冷 GPU 的显着优势。
H200 NVL 将从戴尔、HP Enterprise、联想和 Supermicro 等各种供应商处获得。此外,新 GPU 将在 Aivres、ASRock Rack、Asus、Gigabyte、Ingrasys、Inventec、MSI、Pegatron、QCT、Wistron 和 Wiwynn 的平台上提供。
关注+星标“硅基LIFE”,每日获取关于人工智能、芯片领域最新动态。 加微信fusion9000,进“硅基LIFE”粉丝交流群交流并接收实时滚动推送的最新信息