一、Blackwell系列:GB200计算能力远超H100,CSP厂商资本开支提升
B200集成2080亿个晶体管,采用台积电N4P制程,为双芯片架构,192GB HBM3E,AI算力达20petaFLOPS(FP4),是Hopper的5倍。GB200机架提供4种不同主要外形尺寸,每种尺寸均可定制。与H100 相比,GB200 NVL72将训练速度(如 1.8 T 参数 GPT-MoE) 提高了 30 倍。二、服务器细节拆分:主板从HGX到MGX,GB200 NVL72价值量提升
GB200主板从HGX模式变为MGX,HGX是NVIDIA推出的高性能服务器,通常包含8个或4个GPU,MGX是一个开放模块化服务器设计规范和加速计算的设计,在Blackwell系列大范围使用。MGX模式下,GB200 Switch tray主要为工业富联生产,Compute Tray为纬创与工业富联共同生产,交付给英伟达。据Semianalysis,有望带来机柜集成、HBM、铜连接、液冷等四个市场价值量2-10倍提升。三、铜连接:DACs市场较快增长,GB200 NVL72需求较大
高速线缆中,有源光缆适合远距离传输,直连电缆高速低功耗。据LightCounting,高速线缆规模预期28年达28亿美元,DACs保持较快增长,Nvidia的策略是尽可能多地部署DACs。四、HBM:HBM3E将于下半年出货,英伟达为主要买家
HBM 目前已经量产的共有HBM、HBM2、HBM2E、HBM3、HBM3E 五个子代标准。其中HBM3E将于下半年出货,HBM4或于2026年上市。五、冷板式液冷较为成熟,GB200 NVL72采用液冷方案
AI大模型训推对芯片算力提出更高要求,提升单芯片功耗,英伟达B200功耗超1000W、接近风冷散热上限。液冷技术具备更高散热效率,包括冷板式与浸没式两类,其中冷板式为间接冷却,初始投资中等,运维成本较低,相对成熟,英伟达GB200 NVL72采用冷板式液冷解决方案。1、AI算力“卖水人”系列(1):2024年互联网AI开支持续提升
2、AI算力“卖水人”系列(2):芯片散热从风冷到液冷,AI驱动产业革新3、AI算力“卖水人”系列(3):NVIDIA GB200:重塑服务器、铜缆、液冷、HBM分析1、中伦互联网数据中心全解读
2、中国第三方数据中心服务商分析报告
3、面向AI 智算数据中心网络架构与连接技术的发展路线展望
4、新一代智算数据中心基础设施技术白皮书
5、中国数据中心产业发展白皮书1、大语言模型在计算机视觉领域的应用
2、大模型的异构计算和加速
3、大模型辅助需求代码开发
4、大模型在华为推荐场景中的探索和应用
5、大模型在推荐系统中的落地实践
6、大语言模型的幻觉检测
7、大语言模型在法律领域的应用探索
GPU研究框架(2023)
免责申明:本号聚焦相关技术分享,内容观点不代表本号立场,可追溯内容均注明来源,发布文章若存在版权等问题,请留言联系删除,谢谢。更多架构相关技术知识总结请参考“架构师全店铺技术资料打包(全)”相关电子书(41本技术资料打包汇总详情可通过“阅读原文”获取)。温馨提示:
扫描二维码关注公众号,点击阅读原文链接获取“架构师技术全店资料打包汇总(全)”电子书资料详情。