字节跳动团队：超大规模数据中心应用浸没式冷却解决方案

科技 2025-01-09 12:07 北京

第一部分

云服务、机器学习（ML）和人工智能（AI）的蓬勃发展和应用不断推动对高性能和高能效数据中心的需求。同时，随着CPU和GPU等组件的功率密度不断增加，传统风冷解决方案的冷却能力已达到极限，在技术上已不适合以成本效益和能源效率的方式满足数据中心的冷却需求。图1显示了英特尔服务器平台上节点功率的增长趋势。在Eagle Stream平台上，节点功率可以达到1200W，在下一代平台上甚至可以达到1500W。

图1 Intel服务器平台节点功率趋势

一般而言，数据中心消耗的能源比典型的办公楼多100到200倍，能源成本估计约占数据中心运营成本的50%。^[1]

传统的风冷数据中心消耗大量电力，主要来自空调和冷却器。但热冷却性能仍然不足以将高功率密度数据中心的温度保持在适当的状态。随着数据中心的电力需求不断上升，全球能源消耗也在不断增加。2010年为153PWh，预计2020年将达到 185PWh，2040年甚至会更高，达到240PWh ^[2]。

全球能源需求和数据中心功耗的增加与地球能源有限相关，因此有必要开发一种新的、高效的数据中心冷却技术以供未来应用。

此外，PUE是从IT设备功耗角度衡量的运行效率^[3]。全球PUE自2006年以来一直在下降，最低达到1.1左右^[4]。液浸冷却技术是去除大量热通量并达到最佳PUE的众多有前途的冷却方法之一。液体作为传热介质更有效，冷却能力也比空气更好^[5]。几年前提出了液浸冷却的概念，以解决空气作为冷却介质的冷却限制^[6]–[8]。浸入式冷却是一种冷却技术，其中所有IT设备（包括服务器、电源单元(PSU)和交换机）都浸入导热电介质液体中。这样，设备产生的热量直接传递到冷却剂中。与空气冷却相比，它具有一些特殊优势，例如100%的潜在热量捕获、更低的PUE、增强的冷却能力以及多代使用的潜力。人们已经对未来五年采用浸入式冷却解决方案的数据中心的全球增长进行了研究并进行了预测^[9]。

浸没式冷却有两种类型：单相浸没式冷却和双相浸没式冷却。双相浸没式冷却通过潜热传递可以提供更好的罐内温度均匀性。单相浸没式冷却是一种更成熟的方法[10]。它已经在数值和实验测试中得到应用^[11]，[12]。

浸没流体的选择是冷却能力、全球变暖潜能值（GWP）、成本和材料兼容性等因素的综合结果。目前，市场上用于单相浸没冷却的流体有两种类型，即通常为合成油、矿物油或石蜡油的碳氢化合物流体和全氟碳化物流体（PFC）、全氟聚醚（PFPE）和氢氟醚（HFE）。

浸没式液冷近年来引起了广泛关注^[13]–[17]，它具有独特的优势，例如传热效率更高、系统中无需风扇即可降低风扇功耗和噪音水平、PUE最优等。香港某数据中心通过采用浸没式冷却，使数据中心PUE达到1.02，冷却电力消耗减少95%^[18]。

尽管业界兴趣浓厚，但目前仍没有对单相浸入式冷却进行详细的水箱规模以及数据中心规模的研究，这从超大规模应用的角度来看带来了明显的研究差距。

针对浸没式冷却解决方案罐体规模的缺口，Volcano Engine采用粘度较低、冷却能力较好、PUE、成本和维护最优的氟化学流体作为单相浸没式溶液冷却剂，研究浸没式冷却技术在超大规模数据中心应用中的罐体规模。

第二部分浸入式冷却直流架构

为了研究Volcano Engine在超大规模数据中心应用的可行性，我们开发并优化了单相浸没式冷却技术的罐式规模。整体冷却解决方案的架构如图2所示，该架构是在^[19]的基础上稍作修改而得到的。

图2 浸入式直流电的架构

与典型的液体冷却解决方案相同，浸没式解决方案包括两个主要回路，即主回路和次回路。主回路包括冷凝水系统(CWS)、设施水系统(FWS)和冷却水系统(CHWS)，具体组成部分包括冷却塔、冷却器和设施设备，用于冷却来自CDU的热流体并最终将热量散发到大气中。第二回路称为技术冷却系统(TCS)，包含装有IT设备和冷却剂的储罐，以及内部或外部冷却剂分配单元(CDU)，用于吸收来自IT设备的热量并通过 CDU中的热交换将热量传递到主回路。本文重点介绍第二个回路，如图2所示，位于绿色轮廓内。

一次回路采用冷却塔及冷水机组提供冷却能力，根据冷却能力要求，运行参数定义如下：

1、设施供应温度范围为5~35°C。

2、设备流量范围为35m³/h。温度变化率取决于模式选择、自动控制能力、传感器和电动阀。

3、设施水压为8bar。

4、外部大气温度和湿度高达43°C和85%相对湿度(RH)。

5、海拔：0~1500m。

对于一些数据中心所在位置在夏季非常炎热的地方，冷水机组可以视为辅助设备。通常，它处于待机模式以节省电力消耗，从而达到较低的PUE目标。

第三部分直流浸没槽设置

本节介绍了单相浸没槽和内部IT设备的实验装置以及为达到最佳性能的设计改进。

A.坦克设置和它设备

开发并建造了全尺寸单相浸没式水箱。其顶视图和侧视图如图3所示，图4展示了配备IT设备和冷却剂的水箱。水箱的外部尺寸为2900mm（长）x800mm（宽）x1200mm（高）。它可容纳60台1U服务器并提供60kW电力输送。考虑到DC的重量要求>1800kg/m²，水箱重量小于1000kg，包括水箱、冷却剂和IT设备在内的总重量应小于4000kg。水箱还配备了用于热交换器的冷却剂分配单元(CDU)和用于N+1冗余的冗余泵，它不断从水箱中抽出温热的冷却剂，将其泵送通过热交换器，并将冷却的冷却剂返回到水箱进行完全再循环。

图3 浸没槽的顶视图和侧视图

图4 浸没槽及其设备的顶视图

水箱内集成了多个传感器，用于监测冷却液入口和出口的温度、流量、冷却液液位和冷却液泄漏，以确保正常运行。同时，还包含过滤机制，以确保冷却液足够纯净，不会堵塞泵。

在典型情况下，冷却剂的流速尽可能低，以节省泵的功耗，再循环适当的冷却剂以将水箱和IT设备保持在所需的温度范围内。将监测IT设备的温度，以便如果观察到热点，可以通过FW控制算法增加泵的速度来增加流速。

B.浸泡设备

为了适应浸没式水箱，专门设计了浸没式冷却服务器，该服务器由2个英特尔第三代至强处理器和32个32GB DDR4供电，如图5所示。浸没式服务器中的所有系统风扇都被拆除以便运行。冷却液从底部流向顶部，重力方向也如图5所示。

图5 1u浸没节点，带evac散热器

C.冷却剂候选者

考虑到热冷却性能、维护和可靠性以及成本和材料兼容性，选择单相氟化学流体作为浸入式冷却剂。

从生态系统中扫描出两种浸没式冷却剂候选物，并选定用于进一步研究。两种冷却剂的性质列于表一。两种冷却剂具有相似的介电性质。

表I.候选冷却剂的性能汇总

*F型和N型是两种液体的代号。由于保密原因，它们的全名不予公开。

D.CPU散热器设计与优化

在大多数单相浸没式冷却实施中，如果CPU和GPU等组件的热设计功率(TDP)不是太高，则可以重复使用风冷散热器。但是，为了实现最佳冷却性能，仍然需要优化散热器以冷却更高的CPU和GPUTDP，因为浸没式冷却剂的特性与空气不同。

散热器应特别针对翅片厚度和翅片间距进行优化，以便在浸没环境中实现更好的自然对流性能。考虑到这一点，开发了几种不同的散热器设计，即1U热虹吸管(TS)散热器、1U远程散热器(RM)和1U EVAC散热器，如图6所示。

图6 1u浸入式CPU散热器，采用ts、rm和evac设计

E.槽内均匀流动机制

图7中的早期计算流体力学(CFD)分析表明，单位流量并不均匀，更像是正态分布，这意味着水箱两侧的节点流量最低，而水箱中间区域的节点流量较高。这不利于IT 设备冷却性能以及节省泵的功耗。为了缓解这种不良情况，水箱设计中融入了特殊设计和优化，以确保每个节点都能获得等效流量。优化被证明是有效的，因为每个节点的CPU温度接近，如图12所示。

图7 计算流体力学(CFD)分析下储罐内每个节点的流量分布

第四部分结果与讨论

本节展示了优化水箱设计后散热能力、对信号完整性的影响和CPU温度均匀性的测试数据摘要。由于测试仍在进行中，尚未结束，因此不包括材料兼容性和长期可靠性。

A.热性能测试数据

为了研究单相槽中的热性能，我们开发了不同设计和形状的CPU散热器。服务器上的CPU通过Intel Power Thermal Utility(PTU)工具承受100%压力，此时CPU的功率达到230W。通过将流体入口温度保持在40°C并将流速保持在每单位3.7LPM来研究冷却能力。

图4显示了带有1UEVAC散热器的服务器设置。1UEVAC散热器因其更好的冷却性能、更轻的重量和更低的成本而常用于空气冷却服务器。因此，1U EVAC也针对浸入式冷却解决方案在不同间距和翅片厚度（翅片T）方面进行了特别优化。热性能值如表II所示。

表II 三种不同evac散热器设计下的CPU温度汇总

还研究了其他形状和技术，以实现最佳冷却性能。

图8和图9显示了不同方向的1U远程散热器的服务器设置。

图8 1u浸没式节点，带cpu rm散热器

图9 1u浸没节点，rm散热器方向不同

图10 显示了混合使用1U热虹吸散热器和1U EVAC散热器的服务器设置。

图10 1u浸没节点，带ts和evac散热器

表三不同散热器设计下CPU温度汇总

热性能值如表三所示。可以得出结论：

1、1U EVAC在CPU温度方面略优于1U标准方形散热器。

2、1U远程散热器仅在远程散热片位于主体下游时才比1U EVAC好得多。当远程散热片位于主体上游时，由于重力影响下热管中流体再循环效率低下，性能会变得更差。

3、1U热电偶散热器的散热性能接近1U EVAC。由于服务器空间有限，它的散热片面积应该较小。如果空间允许，可以进行优化。

热界面材料（TIM）通常用于元器件与散热液（即CPU和散热器）之间，以提高传热效率。如果TIM与浸没溶液中的冷却剂不兼容，则风险很高。因此，使用铟箔作为CPU和散热器之间的TIM。还研究了铟TIM和典型油脂TIM的性能敏感性，数据如表IV所示。0.16mm厚度的铟TIM在热性能方面略优于油脂TC-5288，可用作CPU和散热器之间的TIM。

表四、不同时间材料下的cpu温度汇总

B.Max Tcase支持

根据以上测试数据，表V还总结了不同TDP下不同CPU散热器设计的单相浸入式冷却解决方案可以支持的最大Tease矩阵。

表五、不同时间材料下cpu温度汇总

如上所示，在350W TDP CPU下，使用1U方形散热器、1U EVAC散热器和1U远程散热器时，最大Tease分别为69.9°C、63.8°C和56.8°C。

在500W TDP CPU下，使用1U方形散热器、1U EVAC散热器和1U远程散热器时，最大Tcase分别可达82.3°C、73.5°C和63.5°C。

C.信号完整性测试数据

除了热冷却性能外，还研究了浸泡溶液对信号完整性（SI）的影响。作者与冷却剂供应商、CCL提供商、高速互连制造商和ODM合作进行了互连或系统相关的仿真和验证。CPU的超路径互连（UPI）是系统中的超高速信号，因此选择进行SI影响研究。图11分别说明了空气和冷却液中的UPI互连裕度比较。如下所示：

1、空气冷却和浸入式冷却具有相似的SI行为。

2、风冷和浸没冷却均可满足CPU UPI互连的SI要求。

图11 空气冷却和浸泡条件下的upi裕度比较

D.CPU温度统一数据

水箱经过优化，确保每台服务器的流量均匀。然后所有服务器的CPU温度保持平衡，变化不大，这也得到了测试数据的证明，如下图12所示。这样，水箱中就不会出现热点，泵也不必为单个服务器加速。

图12 罐内各节点cpu0、cpu1温度

E.坦克异常情景研究

水箱采用N+1泵冗余设计，这意味着即使一台泵发生故障，IT设备仍能得到正常冷却。即便如此，在维护和更换时仍需要考虑两台泵都发生故障的情况。为了验证这种情况，手动关闭两台泵。随着流体停止循环，水箱内的热量无法带走，流体变得越来越热。图13显示了进水口和出水口流体的温升趋势。

图13 泵故障时冷却液入口和出口温度

在这种极端情况下，组件也通过记录温度传感器进行监控，如图14所示。根据研究，CPU在两个泵发生故障后23分钟开始节流，如图14所示。目标是定义维护的最短时间。作者还发现，时间还取决于流体量、IT设备的功率和解决方案设计。

图14 泵故障时的CPU温度趋势

第五部分长期运营考量

为了保证浸入式冷却解决方案的长期运行，必须采取一些预防措施。

A.储罐内的传感器监控

水箱内设置了几个传感器，用来监测浸泡溶液的运行参数，如下图15所示。

传感器入口1/2和出口1/2用于监测水箱中冷却液的入口和出口温度。CDU中的传感器用于监测通过水箱的流速。如果流速低于或高于预设阈值，将向操作员发送警告信号以进行检查和维护。液位计的传感器用于监测冷却液液位。当低于阈值时，将向操作员发送警告信号以进行维护。

图15 油箱内的传感器

B.过滤机制

过滤器的设计和机制是必须的，以避免颗粒堵塞。在浸泡溶液中，过滤装置放置在 CDU内部，位于水箱的左侧和右侧。过滤装置之间的压降受到监控，并通过可编程逻辑控制器(PLC)传输并传送给操作员。当压降高于阈值时，指示更换滤网，滤网尺寸为10um，能够过滤主流量的40%。

第六部分总结

为响应政府碳峰值及中和的能源政策，打造绿色可持续的数据中心，火山引擎开发并验证了全尺寸水箱浸没式冷却解决方案，适用于超大规模数据中心应用。深入研究了热冷却性能和对SI的影响，以及长期运行应采取的预防措施。

为了支持更高的CPU TDP，我们在槽式浸没式水槽中开发并验证了不同设计的CPU 散热器。结果表明，1U远程散热器可提供最佳冷却性能。然而，由于重力对热管中循环的流体的影响，远程散热片必须放置在冷却剂的下游。否则冷却性能会变差。之后，1U EVAC的冷却性能更好，1U标准方形散热器排在最后。1U热电偶散热器的热性能接近1U EVAC，其散热片设计基于KOZ进行了优化。

还研究了对信号完整性的影响。结果表明，在空气冷却和浸没冷却下，SI具有相似的行为，并且两者都能满足要求。

几个装有服务器和冷却液的储罐已经在Volcano Engine的数据中心试运行了几个月。到目前为止，没有发现任何问题。所有服务器都正常运行，没有引发任何潜在风险。

文章转自零氪1+1，同时经字节跳动团队授权发布，感谢该团队为行业做出的贡献。

翻译自：https://ieeexplore.ieee.org/document/10177671

关注我们获取更多精彩内容

往期推荐

● 某数据中心空调系统深化设计的探讨

● 最佳演讲人气王 | 郝玉涛：百度AIDC高算力基础设施创新实践

● 发挥冷却潜力：液冷数据中心调试指南

CDCC

数据中心标准、技术沟通交流平台

最新文章

行业内参 —— 美国AI算力管制新令对亚太数据中心的影响

网事数说 | 为什么智算中心必须用结构化布线？

31.75亿元！中国工商银行西安数据中心西咸园区项目签约

邮储银行北京分行吴亚垒：人工智能金融应用实践助力科技金融“益企营”

美国AI基础设施的千亿豪赌：从“星际之门”到全球算力霸权（4篇）

CDCC视觉传达：创意 TOP 10 揭幕，震撼来袭！

液冷基础信息

BBU，AI服务器新方向！

KKR与GDH合作投资50亿美元在中东建设超大规模数据中心

最佳演讲人气王 | 中集祝佳利：IDC行业全球化高速发展下的中国企业新机遇

AI芯片功率提升驱动供电系统架构升级

核能和SMRs将成为解决数据中心能源困境新宠

丙二醇水溶液对冷板腐蚀的影响

摩根大通：数据中心建设将推高美国GDP 0.1%至0.2%

微软在沙特建的数据中心区域，预计2026年投入使用

储能又烧了！1.2GWh大型储能电站突发起火，已不是第一次起火！

泰铂科技：双创新引擎，驱动数据中心变革新征程

假租约、套补贴、卖绿电，千亿智算中心，喂饱了一群“野蛮人”

数据中心液冷之“液问”——今晚20:00 锁定CDCC直播间

元脑“算力工厂”正式投运，120天建成10MW智算中心！

数据中心供配电系统设计——以某园区厂房改造为例

2025年数据中心专家技术组第一批专家公示

全国首个！《上海市智算中心建设导则（2025年版）》印发

字节跳动团队：基于数据中心部署的冷板液位计运行可靠性研究

RTX 5090 FE 版本硬件设计与散热设计介绍

最佳演讲人气王 | 叶晓剑：中国移动绿色算力设施工程创新实践

高密算力背景下数据中心热管理挑战及全链路热管理展望

【预约】1月16日 CDCC直播间：解密散热难题背后的’液问’传奇！

前沿技术观察｜大模型卷不动了吗？中外AI专家这样看

后摩尔时代芯片利器 | 高算力Chiplet的热管理技术研究进展

字节跳动团队：超大规模数据中心应用浸没式冷却解决方案

AI势不可挡！亚马逊再砸110亿美元扩建佐治亚州数据中心

低温芯片冷却如何提高数据中心效率？

马斯克宣布Grok 3即将推出：已完成预训练计算量超Grok 2十倍

某数据中心空调系统深化设计的探讨

NASA发布惊人图像：“中国大工程”

一图读懂 | 国家数据基础设施建设指引

东南亚数字产业发展的区域竞争优势研究

QSK60机组168小时满载不停机！金融数据中心电力系统耐久性测试大揭秘

28家美国实体被列入出口管制管控名单，涉及一家数据中心解决方案公司

最佳演讲人气王 | 郝玉涛：百度AIDC高算力基础设施创新实践

一文了解英伟达历代NvLink和NvSwitch的拓扑和速率【图解】

封顶！张家口一项目总投资约200亿！预计今年建成！

发挥冷却潜力：液冷数据中心调试指南

实测H100满载下的功率

马来西亚电费上涨14.2%，光伏行业进入风口行业

一元复始青绿人间 | CDCC与您一起带着热爱与希望同赴新程！

最佳演讲人气王 | 吉利智算张国林：大模型时代传统数据中心应对多样化算力场景的成功实践

NVIDIA HGX B200的一些照片及其液冷板方案的思考

超云田锋：AIDC全栈推理硬件架构全局化实践

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉