本文转载自IT大嘴巴公众号
春江水暖鸭先知, 数据中心耗电情况如何?供电品牌最有发言权。
据数据中心相关供电服务商预测:2024-2025年blackwell芯片系列机柜单机柜(假设单机柜36-576个GPU)峰值功率或将达到130-250kW;2026-2027年,blackwell ultra和rubin系列机柜峰值功率或将达到250-900kW;2028-2029年rubin ultra系列机柜峰值功率或将超过1MW。
由此看来,随着我们对算力的无尽追求,数据中心能耗也将迎来“井喷”,甚至将成为限制算力发展的最大难题。
算力的尽头是电力,电力的尽头是节能
这也揭示了当下数据中心发展的本质——算力的尽头是电力。
无论是火爆的大模型应用还是传统的科学计算,都对算力有着近乎无限的需求,而这种需求也意味着数据中心需要保证足够的电量支持。但很遗憾,电力的供应并不是无限的。根据国际能源署(IEA)发布的《2024-2026年分析与预测》显示,2022年数据中心、人工智能(AI)和加密货币行业的全球电力消耗占比为2%,预计到2026年将翻倍至1000太瓦时以上,而中国的用电量年增幅是这一数字的两倍。
大城市的耗电情况更是不容乐观。据国家能源局、南方电网等公开数据显示,2022年全年北京用电量为1280.8亿千瓦时,2023年全年上海总用电量为1848.81亿千瓦时、深圳用电量1128.6亿千瓦时。要知道,三峡电站2020年全年发电量为1118亿千瓦时,换句话说这些一线超大型城市每年的耗电量就相当于甚至超过三峡水电站,因此对于大城市来说,能耗控制已经成为刻不容缓的问题。
数据中心作为耗电大户,更是首当其冲。为此,北京、上海、广州、深圳等一线城市都严格出台了新建数据中心节能与能耗的指导性文件,分别要求将PUE控制在1.35、1.25、1.248和1.25 以下。因此,无论从能源利用的角度还是从绿色环保的压力来看,数据中心PUE降低已经成为大势所趋。不过另一方面,出于对算力的无限追求,无论是CPU还是GPU在提升算力的同时也在进一步提升能耗。此消彼长之间,电力应用更是捉襟见肘,而目前看来最简单最直接的办法就是把有限的电力应用在无限的算力需求当中,即——采用比风冷散热效率更高的液冷解决方案。
新建数据中心青睐液冷,老旧数据中心亟待升级
其实液冷解决方案由来已久,早在十多年在科学计算领域就已经有了成熟应用。不过当时,通用计算的能耗普遍较低,当大部分单个机柜耗电量还控制在3000瓦的时候,液冷技术的确显得颇为超前。但是如今,随着生成式AI的大面积普及,我们对于算力的需求越来越大,这就为液冷技术普及提供了必要的“土壤”。
“液冷发展驱动的主要原因是由于人工智能市场对GPU需求的提升,就是用电的提升。新一代训练GPU在用电上比以往的用电要提升两倍甚至三倍水平,那么液冷就成为一个必选”,在谈及液冷为什么呈现爆发式增长的时候,联想中国基础设施业务群战略总监黄山解释说。“所以我们把联想一直以来积累的、在科学计算领域的领先技术用到市场中,这一方面为技术本身增加了市场出口,同时也可以加速研发、构建我们新的技术优势”。
其实说起联想液冷的发展也是由来已久,早在2005年联想就走上了液冷服务器的探索之路,并凭借随后推出的Neptune海神温水水冷技术打造出了核心竞争力。与其他使用油或者冷却液的散热方式不同,联想特色的“去离子水”在保障散热的同时成本也可以实现进一步降低;而随着Neptune海神技术的发展,如今第六代 Neptune 海神液冷系统在水温调控方面已达成了 “进液 45 摄氏度,出液 60 摄氏度” 的精准控温水平,并可以将这些温水巧妙应用于办公环境供暖等余热回收再利用领域,有效提升了能源的综合利用效率,也符合当下绿色低碳、节能环保的发展理念。
正是得益于多年的技术深耕与积累,11月15日,联想发布了全新的“联想问天海神”液冷品牌,旨在为本土客户提供符合国家标准,匹配中国数据中心设计、兼容本地处理器和软件生态的液冷解决方案。联想官方表示,通过出色的并行水回路设计及微通道散热器设计,可降低 CPU、GPU 等部件的性能抖动,Linpack效率可提升 5%-10%,并实现了对 CPU、GPU、内存、IO 设备及电源等关键部件100% 全覆盖液冷散热设计,大幅提高系统的可靠性。
“我们从前没有要做一个本土品牌。但今天我们意识到中国的液冷与全球液冷有很大的不同,很多地方要符合国产的处理器的发展,所以我们液冷的设计,包括液冷系统的设计,甚至整个配套的设计都会与国外有相应的差异。另外,整个数据中心的设计会依国内形态,如放在新疆用什样的液冷、在上海用什么样的液冷,要因地制宜……所以它的内涵既有我们多年确立的底层技术的优势,也有我们为中国做的有特色的设计”,黄山介绍说。
的确,正如我们开头提到的,中国幅员辽阔,不同地域有自己的优势和特性,自然也就有了差异化。比如上海地区对绿色节能极为敏感,PUE要求降低在1.25以下,自然就需要液冷技术的支持;而新疆地区夏季与冬季温差大,液冷的适配也要有所调整。如果再考虑到不同CPU、GPU带来的结构差异,面对中国这么大的市场,也的确需要本土化甚至定制化的解决方案,这也是联想推出“联想问天海神”液冷品牌的初心所在。
当然即便整个行业已经初步具备了条件,也不意味着液冷应用变得一帆风顺。毕竟上述我们提到各地政府的相关政策多针对的多是新建数据中心,而恰恰是传统的老旧数据中心因为能耗较高、电力负荷大、空间受限等因素,更需要液冷技术的改造。对此,考虑到老旧数据中心的算力有限,业界更多采用Close Loop(全封闭液冷)或者Back Door(背门)的方式来实现。
“那些老的数据中心出于政策要求,一定程度上需要降低PUE,但是它本身的配电也不足以容纳GPU,所以在这种情况下就会采用其他方式进行过渡”,黄山解释说。记得早在2018年,我就在山西阳泉某数据中心看到了Back Door的应用,相对于传统的风冷能够降低能耗60%以上,并可以将PUE控制在1.1以下,也不失为一种有效的解决方案。
但联想的志向显然不止于此。随着应用水平的不断提升,尤其是近些年智算中心在全国遍地开花,几乎所有新建中心都采用了液冷解决方案。联想中国基础设施业务群服务器研发总监李鑫更是斩钉截铁的表示:“据我所知,如今所有新建数据中心都将液冷作为首选项,没有例外”。
至此,选择液冷已经成为全行业无可争议的共识,那么接下来的问题就是:选择哪种液冷更合适?这个答案似乎没有悬念——冷板式液冷。
冷板式液冷,成本与现实的双向奔赴
一般说来,如今数据中心的液冷解决方案分为两种,冷板式和浸没式。在以往的文章中,我们曾介绍过两者的差异化——冷板式部署简单,成本较低,PUE可以控制在1.1-1.3之间;浸没式部署要求高,成本也高,但是PUE可以控制到1.1。换句话说,浸没式液冷可以实现更低的PUE、更好的散热效果,当然成本也会更高。因此,在综合考量之后,绝大部分用户都会选择冷板式液冷,基于成本,也基于现实。
成本是技术能否普及的核心。在联想中国基础设施业务群服务器产品部总经理周韬看来,冷板式液冷相比传统风冷来说成本提升不大,也更利于客户接受——“从产品的设计层面,如果只做CPU或者GPU的液冷,其实它跟风冷机型完全可以是一个机器,调整很少、几乎不用设计上的改动。因此从厂商成本来说,相当于可以用最少的投资来覆盖更多的产品”。
这也解释了为什么越来越多客户愿意使用液冷的原因,至少从服务器形态看来,无论是1U或者2U的服务器,在物理外观上并没有太多的改动,这也就意味着数据中心可以按照传统风冷的布局实现尽可能多的部署。当然液冷的CDU也会占用单独机柜空间,但是相对液冷带来的能效提升和空调电力节省来说,这点成本微乎其微。
另一个更为现实的原因就是应用场景。相对于冷板式,浸没式液冷需要足够广阔的空间和独立部署的交换设备,液冷介质无论使用的是氟化液还是油,都需要复杂而谨慎的维护过程,运维成本也很高。更重要的一点是,随着全液冷冷板在行业内的逐步普及,PUE1.1已经不再是遥不可及的梦想,相比之下浸没式液冷PUE1.05的领先优势也显得不那么明显了。
更低的成本投入、更便捷的运维操作、可接受的能耗表现,这些优势加速了冷板式液冷的普及,也成为了联想推出“联想问天海神”液冷品牌的先决条件,更重要的是,联想已经具备了成熟的液冷技术积淀与多元化的客户应用实践。
“截至目前,联想液冷已经有了70000套的应用实践,比如在我们的客户吉利星睿智算中心,你可以明确区分出风冷机房与液冷机房的差异化。因为联想液冷区域是静音的,我们的PUE也同样接近1.1,使用的材质、导热率都很好,整个设计方案也瞄准可安装、可维护的新方向。相比之下,全液冷设计倒是我们海神几年前推出的技术,我们也的确站在行业的前沿位置”,黄山解释说。
多年前,吉利汽车为实现智能化转型,打造了星睿智算中心,经充分调研与技术评估后,于2021年选择联想作为重要合作伙伴,共同构建全球车企首个 “云-数-智”一体化超级云智算平台。据悉,联想帮助吉利构建的智算中心包含620余个计算节点,搭载总计4万核CPU,其双精度浮点算力高达3.54 PFlops,综合效率达到87.19%。得益于智能仿真平台强大算力的加持,使计算效率大幅提升,每辆车可开展超12000次全场景虚拟碰撞试验,超72万公里虚拟道路耐久测试,研发仿真计算效率提升30%。
其实几乎所有的智慧计算与科学计算都对算力有着无尽的需求,因此使用液冷也就成为了必然选择。尤其是对于广大高校与科研机构来说,先进技术与理论的研究已经离不开计算机模拟,而这恰恰是液冷应用最早并持续发挥价值的“用武之地”。此前,包括上海交通大学、华南理工大学、南京大学等著名高校都使用了联想液冷解决方案,其中上海交通大学的“思源一号”还采用回收热量的方案为李政道研究所大楼供暖,开创了国内应用的先河。
时至今日,“联想问天海神”液冷品牌已经在多行业交付使用,并赢得了客户们的一致信任与认可。得益于联想多元化的液冷布局,目前可以提供包括风液混合、全液冷、整机柜液冷和单相浸没式液冷等多种解决方案,其产品也覆盖联想问天WA7880a G3、联想ThinkSystem SC750 V4、联想ThinkSystem SD650 V3等多种型号,能够满足从通用计算到智能计算,再到科学计算的多种需求,充分体现了全场景算力的理念,为不同领域的高性能计算需求提供了可靠的技术保障。
为了让更多客户在选择液冷解决方案时有清晰、明确的方向,联想还联合异构智算产业生态联盟及英特尔共同推出《联想问天海神液冷方案白皮书》系列,分别从技术、质量、服务三大维度展示了其在液冷技术领域的创新突破。不仅如此,联想还积极推动与产学研用的结合,并携手清华大学共同研究未来液冷应用的新技术、新场景。通过与合作伙伴的紧密合作,联想采能够整合各方资源,共同推动液冷技术的标准化、规范化发展,构建更加完善的智算产业生态。
作为专属中国客户的液冷品牌,“联想问天海神” 也对中国市场充满信心。在谈到未来发展的时候,李鑫谈到,未来联想将打造多元芯片、多场景应用的液冷产品,甚至不排除未来所有的数据中心IT基础设施都可以实现液冷化,届时就将成为“静音数据中心”。
当2024年接近尾声时,我们惊喜的看到液冷应用尤其是冷板式液冷应用已经在过去一年中获得了突飞猛进的成长,但是相对于数据中心或智算中心万亿级的市场规模来说,这些成长还远远不够,甚至只是冰山一角。
点击下方图片,了解更多故事
点击阅读原文,了解联想ISG中国