关注、星标公众号，直达精彩内容
文｜刘朋
2008年，已经是十六年前了。那一年发生很多事，但有两件事我记忆尤为深刻：一是祖国成功举办了首届奥运会，二是我有幸加入了华为大家庭。还记得报到的那天，我怀着激动的心情在百草园和马蹄山转了又转。作为一名北方人，我第一次来到这么南边的深圳，充满了好奇和憧憬，也不禁感到热血沸腾……
01
3G时代：一次绝望的升级
经过大队培训和产品培训后，我正式来到河南代表处报到，负责河南省核心网设备的日常维护和工程交付。当时，正赶上国内3G时代的“三大战役”，工程和维护忙得热火朝天。
我经历的第一个夜班操作是负责郑州MGW（核心网网元）的升级。当时，已经有了升级工具，只需要输入“局点”“IP地址”等基本信息，点几下按钮，等待40分钟左右，就能很顺利地完成升级。经过几个夜班后，我的心态有了起伏：现网升级也挺简单的，没啥挑战性！
之后，我主动申请前往三门峡参与重点局点的升级。在导师的嘱托下，我带了一块OMU（操作维护单元）单板备件来到了三门峡机房，做完检查和备份后，静等零点的升级。
零点后，我开始操作版本升级。我按照操作方案完成既定步骤后，按下了升级工具的“重启”按钮。然而，等了大概1个小时，我发现MGW设备还是无法登陆。我着急地跑到机房看了看设备，除了单板上的灯在快速闪烁，看不出其他任何异常。
“这是啥意思？为啥还没起来？”当时，我的第一反应是打电话问问导师，结果拿出手机一看：手机没信号！我有点慌了，彼时我还没意识到正是这次升级导致了手机没有信号。
我努力让自己冷静下来，回想起参加培训时老师讲的“三板斧”。我直接挥出一斧——“重启复位”。我看了看设备，还是原来的样子，绝望又一次向我袭来。
这时，客户的随工急冲冲地找了过来：“你搞什么？整个三门峡都打不出去电话了！你赶紧搞好！”当时已经是凌晨3点多了，我心想：“完蛋了！怎么第一回出差独立干活，就出现这种事！这会不会是我最后一次出差？”
就在我绝望之际，客户随工提醒我：“我们这里还有个值班的固定电话，你要不要打个电话，问问你们公司的专家？”我好像抓住了救命稻草一样，紧忙拨通了高级督导马哥的电话。电话才接通，没等我开口，马哥着急地问道：“你那边升级怎么样了？怎么你的电话一直打不通，是不是碰到问题了？”
听我简单复述后，马哥安慰道：“别着急，还有时间，我们能恢复业务！”详细核对操作步骤后，马哥初步判断有可能是OMU主控板坏了。接下来，他让我拿出携带的备件，远程指导我拆卸螺丝、安装新单板、加载配置文件……一顿操作后，单板的灯进入了慢闪的正常状态，所有单板启动后，电话业务开始陆续恢复。
完成升级后，我给客户解释了一下刚才的问题。客户倒也没再生气，开玩笑地问我：“你来华为多久了，怎么以前没见过你呀？”我想了想，心虚地答道：“不到3年。”其实，当时我到代表处才一个多月，这也成了后来客户跟我开玩笑的一个笑料。
第二天，针对本次升级的问题，我们内部进行了复盘学习，完善了升级前的检查项。同时，我们还给研发同事提了几个需求，如通过每天定时的“写文件”来检查单板的状态。此外，出于安全考虑，完成全部升级后，我们还帮助客户进行了MSC POOL（移动交换中心池化）改造，相当于多个基站对接多套核心网的关系，从而能有效避免单点故障。
“吃一堑，长一智”，这是我第一次碰到棘手的现网问题，也是我第一次经历惊心动魄的凌晨高危操作，这一次经历加深了我对网络安全的认识。如今，我扎根一线已经15年，但对于这一次经历还是记忆犹新，我深知自己身上这份责任之重，我也时常提醒自己要认真处理每一个问题、认真对待每一次操作。
▲团队合照（右三为作者）
02
4G时代：“百人团”容灾倒换
后4G时代，中国区运营商开始以大区制建设云化核心网。2019年，郑州承建了Y运营商华中大区云化核心网的建设。然而，云化核心网有几个特点：网元数量少、单网元承载用户多以及商用时间短。随着割接用户数量越来越多，大家对网络安全的担心也越来越大。当割接到500万用户时，Y运营商河南分公司的副总经理Y总要求我们做一次大区6级容灾演练，以确保云化核心网的安全稳定运行。这是全国第一次进行6级容灾演练，压力可想而知。
容灾倒换相当于让当前大区内所有用户在A设备上瞬间下线，再瞬间返回到B设备上。在这两个短短的“瞬间”之间，500万用户的网络体验如何，网络会受到什么样的冲击，我们对此完全没有概念。
我作为华中大区的大区长，接下军令状，立即开始投入准备工作。我们联合集团和大区各省客户、友商、各个代表处和地区部同事以及产品线的研发专家，每周两次开会讨论。我们这个“百人团”，经过多次“头脑风暴”，使得演练方案一步步变得清晰起来。
3月17日晚，Y总现场指挥第一次大区6级容灾倒换。Y总一声令下，看着投在大屏幕上的“shutdown”（关闭端口后自动倒换）指令下发的一瞬间，我感觉我都是蒙的。倒换2分钟后，MME（移动性管理网元）和DRA（计费认证协议路由代理网元）上出现了“网络拥塞”的告警，同时发现JZ地市返回4G的进度明显比其他地市要慢。我意识到，倒换出了问题，得赶紧分析原因！
通过分析MME的话统指标，我发现倒换瞬间的信令冲击是日常的45倍，属于正常的流控启动场景。而当我们分析DRA上的告警和话统指标时，我发现JZ地市的核心网设备出现大量的超时、无响应。之前的经验告诉我，这次很可能又是友商一台老设备的问题。于是，我马上找到了友商的工程师，很快锁定了问题：有一个模块在信令冲击下吊死了。通过快速的倒换复位，信令开始恢复正常，用户也慢慢返回到4G上。54分钟后，所有承载在原主用局的用户，全部倒换至备用网元，容灾倒换算成功了！我一边继续观察着用户的变化情况，一边小心翼翼地解答着Y总的提问。
这次倒换确实也暴露了一些问题。带着遗留问题，我们结合4G网络特点和资源分配原则，在下个版本中落地了多项改进措施。2022年年底，我们又做了一次同样规模的容灾倒换，这一次没有用户回落2G，用户返回4G的速度也增长了15%。在多次倒换和容灾演练后，我们逐步摸索出一整套Y运营商话务模型下的“控保结合”方法论，并在全国进行推广。我们还把实践成果写入《Y运营商自智网络白皮书》，并支撑客户获得多个内外部重要奖项，我们也顺利和Y客户签订了一单数千万元的运维合同。
从客户的省公司到集团公司，大家都很认可华为的实力，这也再一次证明了华为研发和服务的价值，良好的口碑和服务质量成为后续我们在5G核心网搬迁战中的一把利刃。
03
5G时代：来之不易的“第一”
2020年，河南Y运营商开始建设第一张正式商用的5G SA（独立组网）网络，华为承建了14个地市的核心网，友商承建4个地市。虽然华为在份额上占据优势，但我们仍面临大区制、虚拟化、2G/4G/5G共存、版本不成熟以及人力不足等挑战，我们深知肩上担子的重量。
4月底，我们联合客户、设计院及友商召开了开工会，把整个5G SA网络商用项目分为新建设备、现网改造、周边对接等十大关键任务。我们的目标简单又有分量：9月底具备商用条件，为国庆献礼！
6月，Y客户集团公司公布了“5G网络建设劳动竞赛”的通知，激起了各个省公司互相竞争的斗志。河南省公司经过决策，要求项目进度挤进全国TOP3，即8月底全省具备商用条件。原本4个月的工期已经是极限，现在直接压缩到3个月，这基本是不可能完成的任务。
于是，我们开始研讨如何进一步提高工作效率。首先，我们向客户申请了一间大会议室集中办公，尝试一体化拉通运作。接下来，各个模块指定了华为和客户侧的责任人，通过点对点的直接沟通，提升沟通效率。最后，通过明确日例会制度，坚决执行“当日事当日毕，问题不过夜”的大方针。
集中办公和点对点沟通后，效率确实有了显著提升，各个网元部署顺利。然而，在业务测试阶段我们又碰到了新难题。5G人网有15000多条测试用例，5G物网有6000多条测试用例，遍历所有的网元组合后，至少要测试10万条用例！按照这个测试数量，单靠人工拨测就至少需要6个月的时间，这是我们不可逾越的鸿沟。
我重点分析了各个网元的测试用例，突然发现有些用例是重复的。拿“用户上网”这一条来说，完全可以一次性测试多个网元的类似用例。于是，我计划对测试用例展开场景化适配分类，112台设备被分成9类网元，每类网元下再细分为控制面、用户面、端到端测试三类……这样算下来，每条用例可以同时测试9台设备，其他网元还能复制验收脚本，通过脚本来保证数据配置的准确性。经过两次可用性和可靠性的论证，客户认可了这种测试方法。
明确了测试用例后，20多人投入到测试用例的验收中。在省公司测试时，大家都有一定的5G基础，测试还算顺利，但地市分公司人员技能参差不齐，好几个地市的业务测试非常缓慢。
为了充分调动分公司人员积极性和责任心，受省公司所托，我们开展了专题测试培训，每天早上开半小时的视频会议，过一下当天的测试用例和测试方法，每周还会组织一次测试研讨会，着重讲解验收测试的重点和难点。在我们的努力下，验收测试取得了突破性进展：40天完成1.5万余条用例，领先友商1个月！7月底，在最后一次例会上，客户开心地对我们说：“这么多次合作，还是要看华为速度啊！”
8月初，因某国外友商的5G核心网功能严重缺失，多项验收测试不通过，无法满足Y客户商用条件，这成为彼时最大的阻力。客户对我们的建设进度很满意，就找到我们，决定让华为搬迁友商负责地市的核心网。接到这个任务后，大家都很兴奋，因为我们的核心网终于要统一全省了！
对齐8月底商用的目标后，客户在我们推荐的三种方案中选择了过渡方案：控制面利用华为区域设备进行扩容，用户面从14个地市中拆8台设备到4个地市重新安装，先满足商用要求。有了前期14个地市的调测经验，我们扩容和新建并行，成功在中旬开展测试工作。为了满足8月底商用的要求，我重新组织了人员排兵布阵，从前期测试的队伍中抽调4名专家，携带测试工具和仪器，直接到豫南4地市，现场指导客户验收测试。历时15天，我们完成了全部测试项，项目进度真的挤进全国前三了！我们又一次获得了客户的高度评价：“化解难题，还是要看华为的方案！”
最终，河南省公司一次性通过集团商用评估，达成具备商用条件的目标，在劳动竞赛中荣获“突出贡献奖”，并贡献了170余个案例，稳居全国第一。
▲凌晨，网管中心机房外的郑州标志性建筑“玉米楼”
04
写在最后：
3G改变速度，4G改变生活，5G改变社会，通信已经融入到国计民生的各行各业。随着助力客户完成一张张网络的建设、实现一次次商业的成功，我也收获了一个又一个荣誉。
2008年入职以来，我逐渐成为客户的忠实伙伴。连续15年，我都在客户机房现场参与春节值守，与客户共同保障全省通信。没能在这些重要的节日里陪伴家人，的确有些许的遗憾，但看到万家灯火下大家都能通过短信、语音和视频互相拜年，我心里又多了一份成就感。或许，正是在这成就感的鼓励下，我才能一路坚走下去，奋斗下去。
来源/《华为人》
转载请注明作者和出处
版权声明：本文来源网络，免费传达知识，版权归原作者所有。如涉及作品版权问题，请联系我进行删除。 ‧‧‧‧‧‧‧‧‧‧‧‧‧‧‧‧ END ‧‧‧‧‧‧‧‧‧‧‧‧‧‧‧
关注我的微信公众号，回复“星球”加入知识星球，有问必答。
点击“阅读原文”查看知识星球详情，欢迎点分享、收藏、点赞、在看。
