NVIDIA HGX B200的一些照片及其液冷板方案的思考

科技 2024-11-13 11:51 北京

NVIDIA HGX B200的一些照片

NVIDIA HGX B200 是NVIDIA推出的最新一代高性能计算平台，基于Blackwell GPU架构。它集成了多个先进的技术和组件，旨在提供卓越的计算性能和能效。

HGX B200风冷模组

使用了HGX B200风冷模组的整机高度达到了10U，其中HGX B200风冷模组的高度约占6U。

Exxact TensorEX 10U HGX B200 Server

6x 5250W Redundant (3 + 3) power supplies

SuperServer SYS-A22GA-NBRT（10U）

6x 5250W Redundant (3 + 3) power supplies

在 OCP 2024 全球峰会上展示了一些 NVIDIA HGX B200 的新照片。与 NVIDIA HGX A100/H100/H200 相比，它的一大变化是 NVLink Switch芯片移到了组件的中心，而不是位于一侧。这最大限度地缩短了 GPU 和 NVLink Switch芯片之间的最大链接距离。NVLink Switch并且只有2个，而不是上一代的4个，且尺寸比上一代的明显变大。

在边缘侧的连接器附近是PCIe Retimer，而不是NVSwitch了。这些Retimer通常使用较小的散热器，因为它们的TDP大约在10-15W之间。

没有装散热器的HGX B200主板-1

没有装散热器的HGX B200主板-2

HGX B200主板上Retimer芯片散热器

在EXAMAX连接器的上表面的丝印显示这是一块 Umbriel GB200 SXM6 8 GPU 底板，部件编号为：675-26287-00A0-TS53。仔细观察，发现Retimer芯片厂家为Astera Labs。

NVIDIA HGX B200 Astera Labs Retimer芯片放大图

HGX B200主板整体芯片的外围均有一层黑色的铝合金材质的安装框架，用于固定散热器和黏贴导热材料用。

NVIDIA HGX B200主板散热器安装框架

下面是在2024年 OCP全球峰会上展示的 NVLink Switch 芯片。

NVIDIA HGX B200 NVLink Switch芯片放大图

HGX B200液冷板方案的思考

NVIDIA为B200设定了两个TDP，1200W和1000W，前者定位液冷，后者定位风冷。此外，B100 还提供与之前的 H100 SXM 相同的 700W 范围，允许 OEM 制造商重复使用 700W 的风冷设计。当然，TDP 限制越高，时钟频率和启用的算术单元数量就越高，从而提高性能。事实上，FP4（Tensor 核）的性能对于 B200/1200W为20PFLOPS，对于B200/1000W 为 18PFLOPS，对于B100/700W 为14PFLOPS。

OAI系统采用了4x2冷板（即水管）回路，蓝色即低温液体先流入OAM 1-4上面的冷板，（吸热升温一些）然后再流经OAM 5-8的冷板。这就像风冷散热中一排气流先后经过2个CPU的散热片。

相比之下，8x1冷板回路Layout则将低温液体直接平均分配到8个OAM，这样不会有一半OAM温度偏高的问题，但包括水管在内的成本应该也会高一些。

OAM 1.5规范中冷板组件4并2串示意图

4并2串与 8*1方案

H100 8+4（4并3串方案）

H3C R5500 G6 H100模组液冷4并3（2 GPU并+1Switch串）串

H100 8+4--GPU4并2串+Switch 2并2串

结合上述H100冷板方案，B200冷板方案思考如下：8个GPU和2个Switch共分为2组，上面4个GPU+1个Switch为一组，剩下的为另一组，两组液冷方案一样。每组冷板2进2出，上部2个GPU并联后与Switch串联，下部2个GPU也是并联后于相同的Switch串联，即Switch冷板上共4个进出水接头。

当然，分水器也可以设计为6进6出，即8个GPU用其中的4进4出，GPU采用4并2串的方案，2个Switch使用另外的2进2出，各自接到分水器上。此方案需要更多的考虑管路走线路径和空间的问题。但不论哪种方案，都需要经过详细的仿真评估和实际的整机结构设计而定。

HGX B200冷板方案思考

以上方案为个人见解，欢迎大家交流。

关注我们获取更多精彩内容

往期推荐

● 2024数据中心标准大会完整日程发布，直面AIDC变化与未来

● 数据中心标准大会主旨论坛：七大维度解读“AI之光，照耀未来”

● 探寻奇点：柴发机组的机遇和挑战

● 风生水起智算中心液冷新动能

● 加速蜕变智算中心电气与制冷新趋势

● 飞驰快车道——多维解构智算中心未来发展

http://mp.weixin.qq.com/s?__biz=Mzg4OTA3Mzk1Nw==&mid=2247563050&idx=2&sn=92dd7fa30e8eb01fc4c7662a0cdd61c2

CDCC

数据中心标准、技术沟通交流平台

最新文章

嘉宾助阵智算中心全产业链的“智算闯关”之旅

人工智能对我国经济发展的深刻影响

CDCC 2024数据中心标准大会胜利闭幕：七色光融合，精准映射AIDC发展蓝图

CDCC 2024数据中心标准大会盛大开幕 | AI七色光，照耀智算中心未来路

会议日程 | 明日聚齐七色光，看清智算中心未来路

参会指南 | 倒计时1天携手共迎AIDC未来

全球智慧全链驱动 | 11月20日维谛技术智算专场日程抢先看！

英伟达Blackwell AI芯片过热难题：数据中心部署或将延期？

2024数据中心标准大会全日程

大算力助推智未来，携手共绘智蓝图

倒计时2天 | 2天盛会深挖AIDC要点热点

港通天下数启新篇——数据港十五年跨越式发展纪实

倒计时3天 | 上中下游齐聚直面AIDC挑战

电子垃圾对生成式人工智能的挑战

直播预约 | CDCC施耐德电气专场：算领未来，赋能无限！

会议全日程——2024数据中心标准大会

产品｜Navitas 推出首款采用 GaN 和 SiC 供电的 8.5kW AI 数据中心电源

极往知来——算力重构，未来已来

2024数据中心标准大会精彩全日程揭秘：AI赋能，预见未来产业变革

70GW装机容量！全球最大风光制氢项目计划出炉！

智算中心的悟空之道

更快！更稳！！更可靠！！！智算中心网络新架构

液冷：不只是技术革新，更是散热哲学

NVIDIA HGX B200的一些照片及其液冷板方案的思考

2024数据中心标准大会完整日程发布，直面AIDC变化与未来

“引领•聚电潮行” 2024卡特彼勒中国电力日精彩落幕

总投资约120亿元！火山引擎内蒙古和林格尔算力中心正式开工

动图详解：九种换热器的工作原理，一定要收藏！

国产万卡液冷智算中心的设计要点

《能源法》审议稿与表决通过稿对照表

芯片巨头，突生变数！美国芯片“卡脖子”的钝刀与快刀

豪掷520亿美元，亚马逊为何深度布局核能？

加速蜕变智算中心电气与制冷新趋势

风生水起智算中心液冷新动能

中央广播电视总台某数据中心现状分析与节能探索

今晚20:00 CDCC直播间，带你深入智算中心的心脏——关键网络技术解析！

与传统通信光纤相比，空芯光纤有哪些优势

探寻奇点：柴发机组的机遇和挑战

谷歌、万国数据将在泰国投资数据中心

黄龙数据中心UPS改造实践

数据中心标准大会主旨论坛：七大维度解读“AI之光，照耀未来”

海外数据中心已告别铅酸电池

算-电-热-碳视角下算力中心多要素协同的机制、技术与模式

美国监管机构拒绝亚马逊与Talen的核电协议

451 Research | OCP全球峰会：以GB200 NVL72架构为主导的盛宴

【直播预约】11月7日 CDCC直播间再谈智算中心关键网络

从500W处理器功耗谈冷板式液冷的大爆发

顶层思路——对IDC业务成功的因素的分析和理解

柔佛地价暴涨3倍！马来西亚为何能成为“数据中心新贵”？

散热下一场革命：浸没式液冷技术中的热界面材料（TIM）兼容性挑战

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉