文章下载
李允博, 张德朝, 刘彧聪, 王东, 杨辉, 王志伟. 新型光纤同沟智能识别算法及试验. 中国科学: 信息科学, 2024, doi: 10.1360/SSI-2024-0118
我国已建成全球最大规模光纤网络,光缆总长超过6300万公里。受固有无源特性影响,光缆中的哑资源缺乏有效监控、运维手段,导致主备路由光纤同沟问题发生。运营商在为客户提供专线业务传输服务时,需要满足1+1乃至1+1+1保护要求,且业务主用路径与备用保护路径光缆不能为同沟光缆,一旦发生主备同沟光缆的中断,会导致用户业务中断,并且需要很长时间才能恢复,因此需要一种有效手段识别光纤同沟以避免业务中断的风险。 随着算力网络发展,光网络规模持续增加,传统以人工巡线、人工录入维护光缆哑资源的方式使得同沟识别效率和识别准确度进一步降低。此外,在业务动态建立和发布的网络中,离线识别方法无法满足动态业务发放的要求。仅仅依赖于小数据集和离线训练的方法在光纤同沟识别的泛化和实时能力方面也面临巨大挑战。为高效准确进行光纤同沟的识别,本文提出了一种基于人工智能(artificial intelligent, AI)的光纤同沟识别架构,可以在保证模型泛化能力的同时实现较高的准确率。该框架在网络内部署智能传感单元(intelligent sensing units, ISUs),从实际网络环境中的光纤收集振动数据,并部署智能识别单元(intelligent recognition units, IRUs),实现光纤同沟的在线识别。利用集成学习的原理,我们增强了模型在复杂网络场景中的泛化能力。针对同沟识别问题,开发了多个独立的基础学习器,根据振动事件曲线相似度来评估光纤对是否属于同一沟槽。同时,项目团队针对本文所提出的新型光缆同沟智能识别算法创建了实验模型,并开展了现网验证。(1) 提出一种利用人工智能手段进行光纤同沟识别的架构和算法。
本文创新地将基于加权判决的集成学习算法应用到同沟识别问题中,综合多个曲线相似度学习器的预测结果得到最终的判决结果H,其表达式如式(1)所示。
H=δ[∑in(ρifi)] (1)
其中,ρi为各个学习器的加权系数,fi为各个学习器的判决模型,δ(·)是加权判决函数。若存在平均准确率较低的模型影响集成后的识别精度,可以通过调整加权权重ρi,为表现更好的算法会分配更高的权重,使其在集成中起到更大的作用,有助于减少个别模型识别准确率较低对集成模型的影响。
图1展示了本文所提出的光纤同沟识别架构。其中,ISU由发射模块、接收模块和处理模块组成,主要完成数据采集和处理,ISU部署在源节点。这些 ISU能够使用ϕ-OTDR 技术同时监控多根光纤,收集由于车辆交通、挖掘、行人移动等活动产生的偏振特征数据。由同沟识别传感单元ISU将处理好的光纤的特征数据输入到预先训练的智能模块 IRU中,以进行在线同沟识别。IRU配备多个独立的基学习器,将处理好的数据复制多份提供,对振动事件曲线进行相似度比较学习。
图1 光纤同沟识别系统方案架构
在ISU中,发射模块分为线宽可调光源(line width tunable light source, LTLS)、光调制器、EDFA和隔离器。LTLS有两种工作模式,即宽带模式(broadband mode, BM)和窄带模式(narrowband mode, NM),在NM模式下工作时,如式(2)所描述,瑞利散射中出现干扰,同时当有外部信号入侵时,干扰信号的幅度与相位因外部入侵而发生变化。利用这种关系光纤可以感知外部震动Ir,其表达式如下所示:
Ir = ILIR(z)∗cos(φL − φR(z, t)) (2)
其中,IR(z),φR(z)分别代表瑞利散射回波强度和相位。IL和 φL分别代表本振光的强度和相位。光纤受外部振动影响会给光信号带来的额外相移,使得接收到的背向瑞利散射相干光强产生变化。
(2)提出基于加权判决的集成学习曲线相似度光纤同沟识别算法图2描述了同沟识别的流程图。为提升同沟预测性能,所提出模型首次将余弦相似度、欧几里得距离和动态时间调整三种曲线相似度算法进行集成,充分捕捉曲线间的相似特征,并以加权判决的方式综合多个学习器的结果来提升识别准确率。基于AI的同沟识别算法,利用ϕ-OTDR长时间监测并采集光纤动态数据,对光纤同沟进行判决。为了保证同沟光纤的可靠识别,需要对所监测两根光纤的长期振动光强数据进行预处理。由于长时间监测并采集得到的光纤动态数据表现为在时间轴上连续的光强幅度数据,因此需要先从振动曲线的时间轴上将振动事件区分并提取出来。本文利用集成学习的思想,将上述三个算法的子学习器通过加权策略组合产生一个新学习器,以此达到提升模型最终性能的目的。
图2 基于加权判决的集成学习光纤同沟识别判断流程图
现网实验采集大于4000对的光缆进行算法验证,根据实际情况对所有数据赋予光缆标签,构建了光纤同沟检测现网数据集,其中光纤长度分布从0.6 km到90 km不等。此外,对于采集到的现网同沟数据,采用了二重验证法对准确性开展了验证。一方面,利用已有的同路由资源数据库对光纤路由进行排查;另一方面,采用人工敲击的方法沿路敲击验证路由情况,从而完成对数据集的准确性验证。为了评价模型的准确性和泛化能力,业界通常采用准确率、精确率、召回率、F1-score 作为指标,来评估机器学习模型的分类效果。上述评估指标的原理如下:真正类(true positive, TP)表示同沟数据被正确识别,假负类(false negative, FN)表示同沟数据被错误识别为非同沟数据。假正类(false positive, FP)表示非同沟数据被错误识别为同沟数据,真负类(true negative, TN)表示非同沟数据被正确识别。进一步可以计算得到更高级的分类指标,其中,准确率ACC表示模型中识别为正类的样本中真正类样本所占的比例,其表达式如下:
ACC=(TP+TN)/(TP+FP+TN+FN) (3)
精确率PRE代表被模型预测为正的样本中,实际的正样本的数量,其表达式如下:
PRE=TP/(TP+FP) (4)
召回率REC代表实际为正的样本被模型判断为正样本的比例,其表达式如下:
REC=TP/(TP+FN) (5)
F1-score被认为是精确率和召回率的调和平均,用来综合判断分类模型总体标准,其表达式如下:
F1=(2×PRE×REC)/(PRE+REC)=(2×TP)/(2×TP+FP+FN) (6)本文仿真中选用准确率 ACC和F1-score来衡量所提出算法模型的性能。图3展示了现网试验架构的整体情况。测试时采用同一个设备时钟,对齐两条光纤的采集时间,通过长期检测的方式自动采集两条光纤上的所有信息,并在线截取振动事件。在通信站点内,OTN设备通过尾纤连接到光纤配线架(optical distribution frame, ODF)。内置在OTN设备中的ISU从收集的原始瑞利散射回波信号中提取特征,将光纤的振动事件曲线数据传输到OTN控制器,再由OTN控制器中的 IRU完成同沟光纤的识别。
图3 同沟识别现场测试布置
图4展示了三种曲线相似度算法和集成学习在六次仿真测试中的表现。图4(a)显示了同沟光纤的识别准确率,ED、CS和DTW和三种相似度算法的平均准确率分别为:87.4%、71.8%、66.7%。采用集成学习将三种曲线相似度算法算法加权判决后得到的平均准确率为 93.5%,对比可知,对于非集成学习下较优算法达到的87.4%平均准确率,集成学习平均识别准确率提升6.1%。图4(b)显示了对同沟光纤进行判断的F1-score,它同时考虑了精度和召回率,取值范围[0, 1],其值越接近 1代表模型质量更高。从仿真结果来看,经过集成学习后的识别模型的平均F1-score为0.876,要优于其他三种非集成学习的相似度算法,说明了集成学习在同沟识别问题上的优越性。
图4(a)不同模型的交叉验证准确率;(b)不同模型的交叉验证 F1-score
图5展示了三种相似度对比算法和集成模型对于同沟光纤对的判决结果,“Results”列中,“1”代表判断结果为“同沟”,而“0”则代表判断结果为“非同沟”。在图5(a)中,三种算法都将光纤对判断为“同沟”,集成后三种算法的权重和达到1.0,集成模型最终将光纤对判断成“同沟”,这种情况在所有的“同沟”光纤对中占比为14.5%。在图5(c)中,DTW算法将“同沟”光纤对错判为“非同沟”,其余两种算法都判断正确,这种情况在所有的“同沟”光纤对中占比为66.5%,是所有判断结果中最多的一种情况。这是由于DTW算法的准确率不高而其他两种算法识别准确率较高导致的,而DTW算法因准确率不高而只有0.105的权重,这种情况下集成模型的综合权重值达到0.895,集成后的判决结果是正确的,并没有受到DTW算法的影响。在图6(b)和图6(d)中分别展示了ED和CS算法中仅有一个判断正确的情况,但是由于DTW算法判断正确,这两种情况下的综合权重值都超过了0.5,使得集成模型的判断结果是正确的。尽管这两种情况的占比只有 7.5% 和 4.5%,但是体现了所提出集成算法的优越性,也是集成后的模型优于三种中任一算法的直接原因。
图5 集成模型对于同沟光纤对的判决结果演示
本文所提出算法的加权系数在同一场景下,随着数据的不断输入会进行动态调整,在不同场景下,加权系数需要重新学习。基于本研究中提出的算法,我们在现网开展了为期 15天的测试,表1给出了现网实验的结果,最终集成学习算法实验的平均准确率可以达到 95%。
为了避免现实中巧合事件的发生引起误判或漏判,还需对同沟识别建立长期打分机制,通过长期判断灵活调整阈值,进一步提高同沟识别准确率。此外,识别外界振动事件对光纤带来损伤程度和趋势,可以及时预判和避免光纤链路中断。因此,未来需要对如何利用 ϕ-OTDR 采集到的相位信息对有害振动事件准确分类继续展开研究。