2024年11月，为期两天的数据中心标准大会在北京国家会议中心圆满举行。大会以“AI之光 照耀未来”为主题，汇聚了国内数据中心产业链的权威专家、关键企业领袖及行业精英，共同探讨AI在数据中心领域的变革与未来发展前景。中国移动通信集团设计院有限公司算力设施工程研究中心工程总监 叶晓剑，受邀出席会议并以《中国移动绿色算力设施工程创新实践》为题发表演讲。现将演讲内容整理如下，供广大数据中心从业者参考。
![]()
在国家政策牵引指导下，我国的算力设施正处于高速、高质量的发展阶段。国家发改委、工信部、能源局、数据局等机构相继颁布了多项指导意见和行动计划。
中国移动在国内规划建设的算力设施大体上是比较契合“东数西算”工程的布局点，目前发展势头相对较迅猛的是在庆阳、芜湖、呼和浩特、张家口等地区。根据实践发现，制约算力发展的主要原因是缺少电力供应、缺少能评指标。![]()
在AI驱动算力发展过程中，能耗及散热问题需要技术革新。以中国移动在国内交付的智算中心来看，单机柜功耗普遍在20-60kW，在呼和浩特智算中心，用到的是冷板式液冷机柜，单机柜功耗达到60kW；哈尔滨智算中心用的是全风冷的智算机柜，单机柜功耗达到46kW。在国家“双碳”战略目标持续推进的过程中，芯片功率持续在增加，散热的问题是亟需要去解决的。在追智逐绿的过程中，中国移动的基础设施一直在升级，为了满足网络云、移动云、IT云的使用需求，AIDC建设、工艺规划布局一直在做更新迭代，形成了弹性适配、绿色节能、集约高效的解决方案。能耗及散热需求驱动着散热技术革新的过程中，液冷目前作为主要的技术途径，中国移动在尝试建设液冷技术标准，攻关液冷机柜和服务器标准化接口、解耦化交付等技术方向。“科”指的是科技创新，“设”是规划设计，二者是携手共进的关系。在科技创新上面，面向国家战略和行业要求，中国移动积极响应，设计院这边从数据中心规、设、建、维、营全链条进行技术攻关，形成科学布局、整体架构、预制建造、数智维优、高效运营的成套技术，有软件、硬件、评价技术等科技创新成果。![]()
数据中心建设和发展是中国移动实施移动互联网和全业务战略的重要组成部分。为打造高质量绿色算力基础设施，采用标准化方案可以缩短建设周期、降低建设成本。目前中国移动数据中心已经衍生到第七代了，最新为标准化数据中心5.0版本、工业化数据中心3.0版本。![]()
标准化数据中心整体上做到了安全可靠、绿色节能、价值领先、智能低碳、高效装机、适用全面、弹性兼容、精细设计八大优势，单机柜的占地面积和造价指标均在行业内较为领先，标准化数据中心方案助力交付了超过XXX多万平方米。![]()
为了动态适配算力发展需求，标准化方案分别从S-P-C三个重要方面全面构建。空间布局弹性特性上，以模块、通道为单元扩展，以楼层为配电单元，整楼弹性适配万卡级模型集中部署，适配不同风液模块单元，做到以千卡为单元进行扩展，以楼层微单元进行通算和智算转换，以整楼为单元适配低密、高密和超高密需求。![]()
在供电系统上，标准化的方案可以兼容适配不同的系统架构。原来通算的场景下以2N的系统架构为主。但是如果通算改为智算以后面临一个大的问题就是用电容量可能会呈现翻倍的趋势，标准化平面可以适配N+1的系统架构，通过提高设施的利用率可以提升功率密度。此外在室外以及屋面也可以考虑采用集装箱式的变配电设备，采用集约化电力模块等方案，以及采用大母线+小母线的配电形式来代替传统的低压柜+电缆的配电型式，可以提高灵活适配性。![]()
在制冷系统上面，主要是朝着风冷冷源池化方向发展，同时叠加柔性液冷系统。有一个实践案例是由原来两层标准化的通算中心改成了智算中心，方案调整后既有冷冻水需求，又有液冷需要的高温冷却水需求，我们采用的解决方案是在屋顶设置预制化泵站，可以实现较大容量的冷却水的供应。![]()
标准化以四高为底座，以弹性作为顶层需求，我们打造出了一弹、二多、三强四高“10E”数据中心标准化金字塔体系。![]()
在科技创新成果方面，中国移动自研了一款拳头产品。针对高大空间的场景，为了提升空间利用率，若采用钢平台夹层的方案则无法避免报规报建；若采用双层双联微模块方案，无需报规报建，把设备安装完毕，并通以“风火水电”，就可以快速改造成为一个智算中心，解决了周期长、装机数量少、节能效率低的几个痛点问题，整体上带来多快好省的效果，目前这个双层双联微模块产品解决方案获得了行业内的多个奖项，申请了十余个专利。![]()
除了微模方产品外，中国移动设计院还研发了5S机房专用空调，具有更节省、更静音、更小巧、更可靠、更智能的特点，已经在沈阳、南京、苏州、张家口、贵安、呼和、海南等地有应用案例，曾经保障过崇礼冬奥会，也助力交付了全球单体最大的运营商智算中心。![]()
前面提到了冷板式的液冷机柜，目前行业内大部分的智算机柜都是采用整机柜的交付形式。随着智算、超算以及异构算力需求日渐旺盛，中国移动设计院创新研发出解耦型冷板式液冷机柜产品，目的是实现液冷基础设施侧与IT侧的解耦，推进机柜和服务器接口的标准化，整体上带来的成效是可以实现解耦部署、低碳高效，做到风液融合、兼容适配的目的。除了规划设计和产品的创新，对于数据中心整体的交付我们总结出了一个工业化数据中心的整体解决方案。![]()
首先基于单层的钢结构仓库，其次加上核心的双层微模块自研产品，再配套相应的配电和制冷设施，就可以快速的建造出一栋工业化的数据中心，相对于传统的建造模式来说，整体的工期可以缩短50%。配合氟泵空调、相变磁悬浮、间接蒸发冷等制冷方案，在全国大部分地区的PUE是可以做到1.25以下，严寒地区可以做到1.2以下。把数据中心的设计、建造、交付等环节进行融合可以缩短建设周期，设计周期、流程的审批等都是可以得到优化。目前设计院在移动内外主推的是EPC管理模式，可以起到节省业主的管理、节省建设工期、节省造价、降低业主风险等好处。第一个敏捷交付的手段就是工业化数据中心解决方案，通过单层厂房、门式钢架结构、装配式围护系统、机电预制、BIM虚拟建造等措施，在常规施工强度下，实现土建+机电工程建设实施工期自开工令签署至竣工验收完成可控制在8个月内。通过适当赶工，在半年内交付也不是问题。EPC一体化招标模式的优点是可以减少招标次数，节约招标时间。![]()
对于两层的钢结构的数据中心可以做到10个月内交付。![]()
![]()
传统的钢筋混凝土建造方式时间则稍微长一点，经过测算，2万平米的标准化数据中心14个月内可以交付出3200个7kW的机柜。![]()
此外我们还会紧跟技术的演进趋势，如研究新型的钢结构叠合楼板、数据中心机电成套设备等新技术新产品，在这些新方案的加持下，工业化数据中心的交付速度是可以再进一步提升的。中国移动标准化方案已经在全国范围内推广使用，目前交付的面积超过了XXX万平米，交付的机柜数约XXX万架。中国移动设计院实践了“工程服务+产品”的特色EPC模式，已在全国17个省份的数据中心机电项目建设中应用，累计建筑面积XX万平米，涵盖数据中心大小机电EPC、土建PEC等建设内容，积累了大量数据中心机电EPC项目实践经验，承建项目XX多个，累计合同额近XX亿。我院对于从事EPC管理的人有一定的门槛，每年会定期举行EPC管理人员的认证，通过相应的考试后才允许从事EPC管理工作。第一个分享的实践案例是中国移动庆阳基地N01和N02数据中心。国家东数西算工程启动后，设立了八大节点、十大集群，其中庆阳集群比较有地方特色，中国移动在这里打造了一个红色数据中心园区。这里要重点介绍的是N01、N02工业化数据中心，是甘肃最快建成的数据中心。N01数据中心是从2024年4月开始挖沟，到机电的大体竣工、满足上架需求，一共是4个月的时间。N02时间更短，仅耗时3个多月，两栋楼均采用工业化的建设形式。为了满足IDC业务的敏捷交付需求，首先考虑采用标准化、模块化、规模化等手段，开创了数据中心工业化融合的建造技术，进一步节省了建设工期。变配电这块比较特殊，全部采用了预制化的方式，集装箱再加上预制化电力模块。为节约运行维护成本，满足园区PUE及WUE要求，采用蒸发冷型/风冷型磁悬浮相变空调+列间空调的制冷形式，增加自然冷源利用时间，PUE可低至1.198，WUE低至0.947 。![]()
第二个案例是贵阳仓储的数据中心。贵阳仓储数据中心是一个改造类型的工业化数据中心，将原来的物流仓库快速改造为数据中心，同样是采用预制化建造技术、采用中国移动自研产品，涉及到双层双联微模方、5S氟泵变频空调产品。在180天内交付816个机柜，120天内交付2448个机柜。10个月提供超过3200架装机能力，真正践行了绿色、高效理念。此外该项目是中国移动首个应用相变磁悬浮冷却系统的数据中心，同时推广使用交流UPS增强型ECO工作模式，PUE做到1.19。![]()
这个项目的变配电室采用了集装箱拼接的解决方案，每个变配电室的面积大约320平米，采用7个集装箱进行拼接。通过优化设计，将集装箱的立柱设置在开关柜中间，待柜子就位后柱子刚好被遮挡，提升了房间的美观性，集装箱总的使用面积接近6000平米。![]()
中国移动数据中心最大的基地是在呼和浩特，我院以EPC模式承接了B07、B08、B09数据中心机电工程，去年8月份开始到今年4月份，交付出来B07数据中心，是全球运营商最大的单体智算中心，算力规模达到6.7EFLOPS，有用到我院自研的解耦型冷板式液冷机柜。B09数据中心为国家级数据中心绿色示范项目，东数西算工程要求的PUE是不超过1.2，要想成为国家级绿色示范项目，PUE要求在1.15以下。除了采用液冷技术，呼和基地还采用了间接蒸发冷、相变磁悬浮、风冷氟泵等多种制冷手段。还有一点比较特殊的就是市电直供+DC240V备用供电技术，通过定制服务器PSU，平时是由市电100%供电，这样可以使不间断电源装备的损耗降低到1%以内。呼和浩特基地有幸入选了国家发改委评选的央企十大超级工程。![]()
中国移动（海南海口）国际数据中心地处热带，这个项目有两个亮点，第一个亮点是建筑外立面采用了BIPV薄膜光伏幕墙，实施完成后整体效果美观。光伏发的电采用了低压并网方案，主要是供应动力负荷。![]()
第二个亮点是超高温水冷冷冻水系统的应用。目前行业内头部互联网企业自建的数据中心，通常采用18℃供、24℃回的水冷冷冻水系统，海口数据中心在上述基础上又增加了2℃，采用20℃供、26℃回的超高温冷冻水方案，水温提高以后，冷机的制冷效率可以得到提升，自然冷源利用时长可以得到提升。此外再加上其他一些绿色节能的手段，在热带打造出了PUE 小于1.3的绿色数据中心案例。最后一个案例是中国移动铁岭数据中心，从能源供应角度，铁岭数据中心是最有特点的，位于当年亚洲最大的火力发电厂内。通过将电厂内闲置的金工车间改造为数据中心，成功实现了变废为宝（利旧盘活资源+节约土建投资）。在一个高大的空间，我们通过采用双层微模块的建设形式，在六个月内快速改造成为了一个数据中心。![]()
左边是改造前的实况图，右边是设计的效果图。克服了东北的冬季施工困难，在6个月内（含跨年）完成交付，给建设方带来了三省一降的好处。![]()
这个项目供电的创新在于应用了“源网荷储”新型电力系统，数据中心70%用电采用清洁能源光伏发电，也就是说，数据中心的负荷率低于70%的话，那这个数据中心就是碳中和数据中心。铁岭数据中心充分利用园区能源优势，采用3路6kV供电，其中2路引自电厂高压厂用电，第三路引自公共电网市电作为备用电源，没有设置柴油发电机。园区有10万平米的区域做了分布式光伏发电，装机功率是5.2MW，同时配套4.4MW磷酸铁锂储能系统。储能除了削峰填谷、平衡功率输出等功能，其实在数据中心场景下，还有一个更有意义的用处，就是降低配电峰比。![]()
这是现场的一些图片，数据中心在整个火电厂内占的面积较小，光伏板区域面积达10万平方米。此外还有采用集装箱形式的变流舱、升压变压器舱、磷酸铁锂电储能舱、监控系统装置等。对于数据中心综合供能的思路，站在用户角度则要做到因地制宜。如果说园区内有相应的资源是可以利用的，可以充分利用当地资源优势和政策，优化资源配置，实现经济绿色的运行，可以根据能源的需求实现与能源实时互动，实现能源的调度，负荷的投切，保障能源的供应安全。![]()
若进一步研究“源网荷储”，在有资源可用的情况下，为了实现能源的互联互通、算力电力协同，可以考虑使用“能源路由器”。目前我们正在跟移动省公司及高校开展相关的技术研究，期待后续找机会再跟各位同行朋友分享相关经验。
