Blackwell GB200:英伟达GPU重塑AI服务器

科技   2024-10-26 09:01   四川  


一、Blackwell系列:GB200计算能力远超H100CSP厂商资本开支提升

B200集成2080亿个晶体管,采用台积电N4P制程,为双芯片架构,192GB HBM3E,AI算力达20petaFLOPS(FP4),是Hopper的5倍。GB200机架提供4种不同主要外形尺寸,每种尺寸均可定制。与H100 相比,GB200 NVL72将训练速度(如 1.8 T 参数 GPT-MoE) 提高了 30 倍。

二、服务器细节拆分:主板从HGXMGXGB200 NVL72价值量提升

GB200主板从HGX模式变为MGX,HGX是NVIDIA推出的高性能服务器,通常包含8个或4个GPU,MGX是一个开放模块化服务器设计规范和加速计算的设计,在Blackwell系列大范围使用。MGX模式下,GB200 Switch tray主要为工业富联生产,Compute Tray为纬创与工业富联共同生产,交付给英伟达。据Semianalysis,有望带来机柜集成、HBM、铜连接、液冷等四个市场价值量2-10倍提升。

三、铜连接:DACs市场较快增长,GB200 NVL72需求较大

高速线缆中,有源光缆适合远距离传输,直连电缆高速低功耗。据LightCounting,高速线缆规模预期28年达28亿美元,DACs保持较快增长,Nvidia的策略是尽可能多地部署DACs。

四、HBMHBM3E将于下半年出货,英伟达为主要买家

HBM 目前已经量产的共有HBM、HBM2、HBM2E、HBM3、HBM3E 五个子代标准。其中HBM3E将于下半年出货,HBM4或于2026年上市。

五、冷板式液冷较为成熟,GB200 NVL72采用液冷方案

AI大模型训推对芯片算力提出更高要求,提升单芯片功耗,英伟达B200功耗超1000W、接近风冷散热上限。液冷技术具备更高散热效率,包括冷板式与浸没式两类,其中冷板式为间接冷却,初始投资中等,运维成本较低,相对成熟,英伟达GB200 NVL72采用冷板式液冷解决方案。

下载链接:
《2024年AI算力“卖水人”系列报告合集》
1、AI算力“卖水人”系列(1):2024年互联网AI开支持续提升 2、AI算力“卖水人”系列(2):芯片散热从风冷到液冷,AI驱动产业革新
3、AI算力“卖水人”系列(3):NVIDIA GB200:重塑服务器、铜缆、液冷、HBM分析
《数据中心技术与趋势合集》
1、中伦互联网数据中心全解读 2、中国第三方数据中心服务商分析报告 3、面向AI 智算数据中心网络架构与连接技术的发展路线展望 4、新一代智算数据中心基础设施技术白皮书 5、中国数据中心产业发展白皮书
《2024全球人工智能开发与应用大会》
1、大语言模型在计算机视觉领域的应用 2、大模型的异构计算和加速 3、大模型辅助需求代码开发 4、大模型在华为推荐场景中的探索和应用 5、大模型在推荐系统中的落地实践 6、大语言模型的幻觉检测 7、大语言模型在法律领域的应用探索


GPU技术篇
GPU分析:全球竞争格局与未来发展
2023年GPU显卡技术词条报告
英伟达GPU龙头稳固,国内逐步追赶(详解)
GPU/CPU领域散热工艺的发展与路径演绎
探析ARM第五代GPU架构
新型GPU云桌面发展白皮书
十大国产GPU产品及规格概述
GPU平台生态:英伟达CUDA和AMD ROCm对比分析
GPU竞争壁垒:微架构和平台生态
GPU微架构、性能指标、场景、生态链及竞争格局(2023)
大模型训练,绕不开GPU和英伟达
Nvidia/AMD竞争:GPU架构创新和新兴领域前瞻探索
走进芯时代:AI算力GPU行业深度报告
独立GPU市场,AMD份额大跌?
CPU渲染和GPU渲染优劣分析
NVIDIA Hopper GPU:芯片三围、架构、成本和性能分析
国内GPU厂商及细分行业前景(2023)
ChatGPT对GPU算力的需求测算与分析
AMD RDNA2 GPU架构详解

GPU研究框架(2023)



免责申明:本号聚焦相关技术分享,内容观点不代表本号立场,可追溯内容均注明来源,发布文章若存在版权等问题,请留言联系删除,谢谢。

推荐阅读
更多架构相关技术知识总结请参考“架构师全店铺技术资料打包(全)”相关电子书(41本技术资料打包汇总详情可通过“阅读原文”获取)。
全店内容持续更新,现下单“架构师技术全店资料打包汇总(全)”一起发送“服务器基础知识全解(终极版)和“存储系统基础知识全解(终极版)pdf及ppt版本,后续可享全店内容更新“免费”赠阅,价格仅收249元(原总价339元)。


温馨提示:

扫描二维码关注公众号,点击阅读原文链接获取架构师技术全店资料打包汇总(全)电子书资料详情


架构师技术联盟
分享项目实践,洞察前沿架构,聚焦云计算、微服务、大数据、超融合、软件定义、数据保护、人工智能、行业实践和解决方案。
 最新文章