ChatGPT等人工智能应用席卷而来，智能算力已成为当今数字社会发展的核心基础设施。作为算力的主要载体，数据中心业务正面向生成式AI大模型转变。大模型参数规模越大，数据集越多，其能力越强，这就带来了巨量的运算。客户常常投资千卡~十万卡的大规模集群来分布式运算提高效率。但现实却不尽如人意，花大价钱扩容的GPU集群，模型的训练速度却并没有多大提高，这是为什么呢？实际上，算力提升了，连接算力的网络性能不行，集群的运行效率一样大打折扣。网络就像服务器之间的高速公路，只有以最优的通信效率，保障训练任务在多个GPU之间的高速分布式运转，才能真正发挥算力集群的最大能力。![]()
显而易见，大规模智算GPU卡间通信的带宽越大、数据传输越均衡流畅，GPU运算等待时间就越短，大模型训练效率就越高。这就要求数据中心网络具备大规模组网、稳定均衡无中断的数据转发以及全自动化的智能运维能力。
GPU算力集群的规模和组网所用的交换机端口速率、端口数量、组网架构息息相关。把网络看成数据高速公路，端口数量好比车道数量，端口速率好比车道速度，组网架构好比公路布局。车道数量、车道速度以及公路布局共同决定了数据交通网的整体运输能力。![]()
400GE/800GE数据高速公路网
当前智算中心主流组网方案为两层/三层CLOS架构，网络设备能力决定了整个智算中心集群可连接的GPU规模。单端口速率相同的情况下，交换机设备的端口密度越高就好比车道越多的高速公路，可以连接的智算集群规模就越大。以中兴通讯星云智算数据中心交换机为例，框式交换机ZXR10 9900X支持576个400GE端口，采用了业界领先的112G SerDes技术和正交架构，盒式交换机ZXR10 5960M支持128个400GE端口，盒式端口密度业界最大，框盒产品灵活搭配，可组建百卡~十万卡任意规模智算中心集群建设需求。
![]()
两层盒式交换机8K块GPU（400GE网卡）组网
![]()
两层框盒交换机36K块GPU（400GE网卡）组网
![]()
三层盒式交换机512K块GPU（400GE网卡）组网
CLOS架构因其灵活性和可扩展性广泛应用于智算集群互联。但另一方面，以海量并发大象流为特点的训练业务容易在多层链路之间发生负载不均和拥塞问题。这就像节假日突然爆发的车流，一不小心就堵在了高速公路的某个路口，而其他路段却车流稀少。怎样才能减轻某些路段的运送压力，平衡整个公路的车流，使大家能够快速到达目的地呢？
![]()
大家肯定想到了通过导航指引，让车流均衡分布在各个路段，这样就可以最大化的跑满高速公路，速度最快了。智算中心也是一样，交换网络好比高速公路，网络控制平台好比导航系统，服务器网卡好比驾驶员，业务流量就是高速公路上行驶的车流。
星云智算网络中的IGLB（Intelligent Global Load Balancing）全局负载均衡技术，网络控制器作为业务流量的导航系统，可以根据AI调度平台了解业务流量状态，从整网视角，选出当前业务的最优转发路径，使整个网络的流量负载均衡，传输效率最佳。某万卡智算集群实测显示，部署IGLB全局负载均衡后，网络吞吐效率大幅提升，从传统60%提至98%以上。![]()
全局路径导航图
如果网络中某些链路已经拥堵或故障了，有没有办法可以协调业务呢？别担心，星云智算网络中的ENCC（End-to-Network Congestion Control）和ARN（Adaptive Route Notification）技术可以来帮忙。ENCC是一种端网协同技术，当网络某点拥塞时，节点通告网卡降低发包速率或变更转发路径。ARN则是在网络中进行故障路由通告，本地节点实时将故障信息通告给上游，上游节点在流量转发时直接切换到备用路径，确保训练业务不中断。这就像高速公路上的监测点，实时上报道路车流情况，驾驶员获知前方路况后，可以通过降低车速或变换道路来避免拥堵。在中兴通讯的星云大模型智算训练集群中，ENCC和ARN可以实现流量拥塞和备用路径的快速调整，调优时间从ms级降至5µs以内，GPU通信效率提升15%以上。
![]()
有了上述一系列的流控协同调优技术，再也不用担心智算训练大象流在网络中发生拥塞，堵在路上耽误GPU训练了。
大家一定发现了，训练任务跑在智算中心网络这条高速公路上，想要更快、更顺畅，一个智能自动化的交通指挥系统是万万离不开的。数据中心网络的运维就像是高速公路运管，复杂又繁琐。以一个8000卡的智算集群为例，涉及服务器1024台，网络设备192台，光模块超3.2万个，光纤超1.6万根，在工程开通阶段所涉及的算网配置总量已达数十万条，更不用说训练过程中对业务的实时监控调优。如果没有一个聪明智能的AI大脑，仅靠人力，这可搞不定。![]()
中兴通讯集成ZENIC ONE控制器的AI Booster平台，从网络规划到运营维护，都能一键搞定，它还能预测和修复故障，让运维变得轻松又高效。
![]()
在网络规划阶段，ZENIC ONE自动收集网络、服务器等设备的状态和链路拓扑信息，用户仅需输入一些训练任务的需求参数，ZENIC ONE就可以与集合通信库实现联动，给出从服务器到网络的全局最优业务部署推荐，并输出各方案的仿真验证结果。
![]()
工程部署阶段，ZENIC ONE还能够将生成的配置文件一键自动部署到网络，完成网络设备、服务器、网卡端到端配置，并自动监测链路连接状态。运维人员再也不用现场手工进行配置，万卡级智算中心天级开通不是梦。到了任务运行阶段，ZENIC ONE还能实时监控整网设备、链路、资源的使用情况，快速定界定位拥塞或故障，利用IGLB、ENCC、ARN等技术及时完成业务路径的调优切换。对关键器件的主要参数也可以进行监控，当发现器件性能趋于劣化时，能够提前预警，最大化的降低训练任务中断的发生率。以最常见的光模块故障为例，ZENIC ONE 可以对多项关键参数进行监控分析，构建出精准的风险特征信息模型，提前对故障隐患光模块主动识别。在某大模型智算集群中，该系统已成功识别并预警了多个高风险光模块，预警准确率>99%。中兴星云智算网络，基于国产超大容量数据中心交换机和ZENIC ONE智能运维平台，助力用户构建千卡~十万卡超大算力集群；基于智算流特征的主动式算网全域调优，确保训练数据稳定均衡无中断高速转发；全域智能自动化管控工具，使能全新AI数智化运维，大幅提升运维效率。
![]()
中兴星云智算网络，就像给数据中心的“高速公路”装上了涡轮增压，让数据传输更快、更稳、更智能。
