利用深度学习通过多模光纤实现复杂图像的高精度传输和识别

Run-Chu Xu, Lei-Hong Zhang, Zi-Yang Chen, Zhi-Yuan Wang and Dawei Zhang, High Accuracy Transmission and Recognition of ComplexImages through Multimode Fibers Using Deep Learning. Laser & Photonics Reviews 17(1): 2200339 (2023).

作为医学诊断的眼睛，内窥镜可以深入组织，检测体外成像难以观察到的区域。现有的光学内窥镜主要使用单模光纤束作为成像载体，受伪像素和光纤束厚度的影响，检测范围和成像分辨率有限。与外径相同的单模光纤相比，多模光纤的纤芯直径是单模光纤的几十倍，这使得多模光纤可以同时传输多种光学模式。理论上，数百微米厚的多模光纤可以取代内窥镜中使用的毫米厚的光纤束，后者可以对现有内窥镜无法到达的微小空间进行成像。因此，多模光纤是促进内窥镜微型化的绝佳选择。然而，由于多模光纤模间色散的存在，多模光纤的输出呈现出带有混沌信息的散斑，这限制了多模光纤在内窥镜成像中的应用。在传统光学方法的基础上，多模光纤内窥镜的研究取得了一些成果，但高精度相位测量与相位漂移之间的矛盾使这些研究成果难以走出实验室。最近，研究人员提出了一种基于压缩传感的散斑成像方法，该方法不需要复杂的波前整形，可以通过多模光纤实现图像传输和重建。然而，由于采样次数、计算时间和预校准的限制，这种计算方法的成像速度难以满足视频传输要求。因此，迫切需要一种没有相位信息和预校准的方法来模拟多模光纤内部的非线性关系。深度学习在光学成像中的成功应用为多模光纤内窥镜提供了新的可能性。

近年来，研究人员发现深度神经网络可以学习多模光纤内部复杂的非线性关系。使用单隐层神经网络通过多模光纤实现图像传输和重建，这在训练成本方面是优越的。比如，基于小的训练数据集，结合注意力机制和损失函数，使用改进的深度神经网络从通过多模光纤传输的散斑重建图像。研究表明，神经网络对多模光纤内部的随机变化具有很高的鲁棒性和学习不变性，这是非学习方法难以实现的。因此，研究人员使用卷积神经网络和背散射来检索图像信息，这验证了多模光纤在分布式光学成像中的应用前景。此外，研究人员将二维空间信息转换为一维时间脉冲流，结合深度学习，实现了全光纤高速图像检测。然而，考虑到上述研究中的数据集是具有简单特征的稀疏图像，对实践的指导意义有限。原则上，使用神经网络从散斑重建稀疏图像是一个简单的学习过程，但实践要求算法应该具有重建稀疏信息之外的复杂图像的能力。

对于多模光纤，高精度散斑识别对内窥镜的医学诊断和定向治疗具有重要意义。比如，研究人员比较了支持向量机、自适应增强和神经网络对人脸和非人脸图像的散斑识别精度，这些方法的散斑识别准确率均在87%以上，基于深度神经网络和相关数据集，探讨了光纤长度、散斑类型和散斑中心裁剪对散斑识别精度的影响。这些研究显示了多模光纤在疾病诊断中的应用潜力，但仍存在一些不足，对不同多模光纤弯曲状态下的多类复杂图像的散斑识别是一个值得研究的问题。

多模光纤图像传输系统，如图1所示，实验过程如下：使用微物镜、针孔滤波器和透镜1对激光器发射的光进行聚焦、滤波、准直和扩展；将偏振器和分束器相结合，将加载在空间光调制器上的图像信息传输到光路；在多模光纤的两端，使用相同的目标来完成多模光纤内部光模式的传输；多模光纤输出处的散斑由成像透镜和CCD以512×512的分辨率记录下来。为了研究神经网络对光纤长度和形状变化的鲁棒性，选择渐变折射率多模光纤作为信息传输载体。如图1d所示，多模光纤按照一定的直径弯曲，为了更好地模拟光纤变形，光纤弯曲状态是任意的，弯曲部分是近似于一个完整圆的不规则形状，内径近似等于选定的直径。考虑到光纤弯曲区域由塑性连接件连接，涂层相互挤压，光纤变形难以避免。

2015年，U网络首次被提出用于医学图像分割，在跳跃连接的帮助下，融合了卷积和去卷积层的特征，使网络能够更有效地利用图像特征信息。在这里，基于U网络架构，研究人员设计了U架构散斑成像网络，通过多模光纤实现复杂图像的高精度传输和重建。原始的U网络利用没有参数的池化过程来实现下采样，这增加了训练时间，并可能导致信息丢失。对于图像生成网络，应尽可能避免信息丢失。因此，使用卷积来同时实现特征提取和下采样，这可以在保证模型精度的同时节省训练时间。

如图2所示，U型散斑成像网络的详细架构可以描述如下。(1) 输入256×256分辨率的单通道散斑。(2) 下采样模块包含八个卷积子模块，值得注意的是，第一个卷积子模件不包含BN层，激活函数可以在一定程度上减轻神经元死亡。在每个卷积层中，内核大小为4×4，步长为2。每次卷积后，特征图的大小减半，内核通道的数量加倍（最大数量为512）。(3) 上采样模块包含八个去卷积子模块，前七个去卷积个子模块与前七个卷积子模块形成对称关系，使用跳跃连接将卷积后的特征图添加到相应的去卷积子模块中。在每次去卷积之后，特征图的大小加倍，内核通道的数量减半。最后，去卷积子模块使用激活函数Tanh对多通道特征图进行压缩并优化输出，输出为256×256分辨率的单通道图像。（4）该模型在高性能工作站（NVIDIA RTX 3090 GPU、Intel i7-11700K CPU和128GB RAM）上训练，模型训练的迭代次数为100，选择Nadam作为优化器，每次迭代（批量大小）的样本数为4。在整个训练周期内，通过监测训练损失的变化来动态降低学习率，初始学习率为1×10^-3，当训练损失在两个训练周期后停止下降时，学习率会下降一个数量级，学习率的最小值为1×10^-6。学习率的动态变化策略可以有效地减轻过拟合并加速收敛。经过五个训练周期后，如果训练损失停止下降，模型将停止训练。

与散射介质成像相比，基于散斑的非成像目标识别可以降低实验成本，基于深度学习的多模光纤散斑识别可以为微创诊断提供一种有效手段。在这里，研究人员设计了一个浅层神经网络：卷积神经网络结构散斑识别网络，以实现多模光纤不同弯曲状态下散斑的高精度识别。卷积神经网络结构散斑识别网络模型的详细架构，如图3所示：(1) 输入是256×256分辨率的单通道散斑，像素值通过重缩放层进行归一化。(2) 卷积神经网络结构散斑识别网络模型包含3个卷积模块，参数与U型散斑成像网络模型一致。(3) 在3次卷积之后，使用最大池化层来提取纹理特征，并添加丢弃层（0.5）来减轻过拟合。(4) 在平坦层中，特征图被平坦化为一维序列，大小为1×16。(5) 通过两个密集层，一维序列的元素数量减少到类别数量（N）。在最后一个密集层中，使用softmax（激活函数）和稀疏类别交叉熵（损失函数）的组合来实现斑点识别。(6) 模型训练的迭代次数为50，Adam被选为优化器，每次迭代的样本数为4，学习率设置为1×10^-3。

HERLEV图像数据集包含917张彩色宫颈细胞图像，根据细胞核和细胞质的形状和面积，这些图像分为七类，图4中的C1–C7，图像数量较少，图像大小不一致，不利于实验。对HERLEV图像数据集进行预处理：917张彩色图像变灰并重塑为256×256分辨率的正方形图像。对整形后的灰度图像进行6次数据扩充，预处理后的数据集包含6419张256×256分辨率的灰度宫颈细胞图像。将获得的图像加载到空间光调制器上，并通过CCD记录多模光纤输出处的散斑。多模光纤传输条件和HERLEV图像散斑对数据集名称，如表1（第2-7行）所示，样本分布，如表2所示。

IMAGENET图像数据集包含50000张自然场景图像，这些图像被重塑为256×256分辨率的方形图像。如图5所示，与宫颈细胞图像相比，自然场景图像包含更复杂的特征。将重塑的自然场景图像加载到空间光调制器上，并通过CCD记录多模光纤输出端的散斑。多模光纤传输条件和IMAGENET图像散斑对数据集名称如表1所示（第8-11行）。在IMAGENET图像散斑对数据集中，选择49000个样本作为训练数据集，其余1000个样本作为测试数据集。

如图6所示，不同HERLEV图像散斑对数据集之间的平均散斑相关系数小于53%，不同IMAGENET图像散斑对数据集之间平均散斑相关性小于48%，这表明不同多模光纤传输条件下的光传输特性存在显著差异。

这里，选择结构相似性作为图像重建精度的客观评价指标。从表3、图7和图8可以看出：（1）基于HGL01D00、HGL01D06、IGL01D00，IGL01D06和ISL01D06数据集，U架构散斑成像网络模型对宫颈细胞图像和自然场景图像显示出很高的重建精度，这表明U架构散斑成像网络对多模光纤弯曲引起的光传输特性的随机变化具有很高的鲁棒性和学习不变性。（2）对于HGL10D06训练的U结构散斑成像网络模型，重建图像的宫颈细胞特征仍可以区分，但边缘细节和纹理特征相对模糊。对于特征更复杂的自然场景图像，基于IGL10D06训练的U型散斑成像网络模型，重建的图像变得非常模糊，图像特征只能通过人眼模糊地区分。与光纤弯曲相比，光纤长度增加引起的能量损失和远端散斑漂移可能会降低散斑相关性，这反映在模糊的重建图像中。(3) 在IMAGENET图像数据集中，鸟类图像的特征信息占很大比例且鸟类图像的重建效果高于其他类别的自然场景图像。因此，实践要求不同类别的样本数量应保持相等。

图7 数据集的重建图像。（1）第一行显示了光纤输入时的4类视频图像。（2）第二行显示了ISL01D00训练的U结构散斑成像网络模型的重建图像。HERLEV图像散斑对数据集的重建图像：1）第一行显示了多模光纤输入处的宫颈细胞图像。2） 第2、4和6行分别显示了HGL01D00、HGL01D06和HGL10D06训练的U架构散斑成像网络模型的重建图像。3） 第3、第5和第7行分别显示了输入图像和HGL01D00、HGL01D06和HGL10D06训练的U架构散斑成像网络模型的重建图像之间的误差图像。

图8 IMAGENET图像散斑对数据集的重建图像。1）第一行显示了多模光纤输入处的自然场景图像。2）第2、4、6和8行分别显示了IGL01D00、IGL01D06、IGL10D06和ISL01D00训练的U架构散斑成像网络模型的重建图像。3）第3、5、7和9行分别显示了IGL01D00、IGL01D06、IGL10D06和ISL01D00训练的U架构散斑成像网络模型的输入图像和重建图像之间的误差图像。

实验中，有三个因素可能影响图像重建精度：模式数量、能量损失和远端散斑漂移。理论上，图像的轮廓特征由低阶空间频率携带，图像的精细特征由高阶空间频率承载，这些频率分别对应于多模光纤中的低阶和高阶模式。使用携带约9000个模式的多模光纤传输分辨率为92×92的自然场景图像，模式数近似于像素数，激发模式包含图像的大部分特征信息。因此，ISL01D00训练的U架构散斑成像网络模型显示出自然场景图像的最高重建精度。研究人员使用了承载约1800个模式的多模光纤来传输分辨率为256×256的宫颈细胞图像和自然场景图像，模式数量远小于像素数量。在靠近光纤中心的位置，激发的低阶模可以携带图像的大部分轮廓信息，因此可以很好地重建复杂图像的轮廓。在光纤边缘，与像素数量相比，只有少量的高阶模式被激发，而散斑只包含图像精细特征的一小部分，因此，复杂图像的边缘细节和纹理特征难以高保真重建。总之，大量激发的光学模式，特别是高阶模式，其近似或超过像素数量，对于复杂图像的高保真度重建是有利的。

在信息传输过程中，多模光纤的内部能量损耗是不可避免的。随着光纤长度的增加，能量损失逐渐增加。当光穿过多模光纤的弯曲部分时，光散射会进一步增加能量损失。增加的能量损失导致平均散斑强度在一定程度上降低，表现为光强区域的低亮度，这可能导致光纤边缘（光强区域的外围）处的高阶模式不被显示。此外，图像和散斑之间的强度差可能进一步降低图像重建精度。值得注意的是，平均散斑强度并不是越高越好，极高的散斑强度可能意味着过度曝光和信息丢失。原则上，通过调整相机在不同多模光纤传输条件下的曝光时间，可以保持散斑强度的一致性，可以尽可能消除平均散斑强度对图像重建精度的干扰。除了能量损失外，随着光纤弯曲和光纤长度的增加，模间色散和外部干扰增加，额外的噪声在光纤输出处积累，这增加了远端散斑漂移。因此，图像重建精度在一定程度上降低。

为了证明U结构散斑成像网络、和主成分分析方法的高性能，选择它们进行对比实验。实验表明，对于宫颈细胞图像和自然场景图像，U架构散斑成像网络在不同多模光纤传输条件下表现出最高的重建精度。此外，在内存有限的情况下，U架构散斑成像网络不受图像大小的限制，这意味着多模光纤图像传输系统可以具有更大的视场和更高的图像分辨率。

人们希望利用单一光纤状态的单一深度学习模型，实现不同多模光纤传输条件下的图像重建，这对多模光纤的实践具有积极意义。然而，光传输特性的显著差异注定了研究的失败，这一希望也很难在35厘米长的多模光纤和手写数字图像上实现。因此，使用联合训练数据集训练的单个U架构散斑成像网络模型来实现不同多模光纤传输条件下的图像重建成为研究的重点，下面的实验报告了这种思想的可行性。HGL10D06、HGL10D12、HGL10D18和HGL10D24联合数据集被发送到U架构散斑成像网络模型，联合数据集训练的U架构散斑成像网络模式用于重建HGL10D6测试图像。如图9所示，与HGL10D06训练的U架构散斑成像网络模型相比，联合数据集训练的U结构散斑成像网络模型显示出相似的重建精度。联合数据集训练的U结构散斑成像网络模型的重建图像的平均结构相似性为0.7373、HGL10D06训练的U结构散斑成像网络模型的重建的图像的平均结构相似性为0.7422，实验表明，在不同的多模光纤传输条件下，由联合数据集训练的单一U架构散斑成像网络模型可以实现高保真度的图像重建，有利于多模光纤的实际应用。

对于单一类别的自然场景图像，基于小规模训练数据集，U结构散斑成像网络模型可以实现同一类别自然场景图像的重建。小规模训练集的训练时间约为ISL01D00数据集的1.63–2.09%。对于单一类别的宫颈细胞图像，证明了基于小规模训练数据集的U结构散斑成像网络模型也可以实现同一类别宫颈细胞图像的重建，小规模训练集的训练时间约为HGL10D06训练数据集的4.44–11.67%，这可以显著降低实验成本。在散斑采集过程中，光传输特性的一致性有利于深度学习。散斑相似性用于表征光传输特性的相似性。低散斑相似性表明，在系统运行过程中，光学传输特性发生了显著变化，这使得预训练的模型难以保持图像重建精度。研究人员探讨了散斑相似性对图像重建精度的影响，表明U架构散斑成像网络模型对光传输特性的低相似性具有较高的鲁棒性。如果光学系统能够保持光传输特性的稳定性，则预训练的U结构散斑成像网络模型能够长时间保持复杂图像通过多模光纤的高精度传输。

散斑识别作为散射介质成像的一个重要分支，在军事和医学领域有着重要的应用。通过基于深度学习的散斑识别，实现了多模光纤在医学诊断中的辅助应用。这里，28类散斑被发送到卷积神经网络结构散斑模型进行训练。卷积神经网络结构散斑是一种结构简单的浅层神经网络，考虑到大规模的训练数据集不适合浅层神经网，从各类宫颈细胞图像的训练数据集中分别选取70、140、210、280、350和420个散斑，形成小规模的训练数据，相应的训练样本数量分别为1960、3920、5880、7840、9800和11760，测试样本数量为2576。

散斑识别精度与训练样本数量之间不存在正比关系，当训练样本数量达到3920时，散斑辨识精度最高。随着训练样本数量的不断增加，散斑识别精度开始下降。当训练样本数量达到11760时，斑点识别精度降低4.7%。因此，当训练斑点数量在小的适当范围内时，卷积神经网络结构散斑模型可以学习训练集中的大部分信息；当训练散斑的数量继续增加时，卷积神经网络结构散斑模型的学习效率开始降低，这导致散斑识别精度降低。从表5可以看出，与ResNets和VGGNets等深度神经网络相比，在相同的训练集下，卷积神经网络结构散斑模型在斑点识别精度和训练时间方面表现出更高的性能。卷积神经网络结构散斑模型作为一种结构简单的浅层神经网络，可以显著降低实验成本。

多模光纤越长，斑点识别精度越低。尽管如此，卷积神经网络结构散斑模型对10米长和多弯曲状态多模光纤输出的28类散斑的识别精度高于VGG对0.02米长和无弯曲状态多模纤维输出的10类散斑。与深度神经网络相比，自行设计的卷积神经网络结构散斑模型具有更高的训练效率和斑点识别精度。与手写数字图像和人脸/非人脸图像相比，宫颈细胞图像包含更多的类别和更复杂的特征。总之，卷积神经网络结构散斑模型有望促进多模光纤在医学诊断中的应用。此外，研究人员还研究了散斑区域采样对识别精度的影响，表明卷积神经网络结构散斑模型仅利用散斑的部分特征就可以高精度识别28类散斑，这有利于降低训练成本和提高识别效率。

总之，研究人员在自行设计的U架构神经网络结构散斑模型基础上，通过实验探索了通过多模光纤传输和重建复杂图像的可行性。与其他网络相比，U结构神经网络结构散斑模型在不同多模光纤传输条件下对宫颈细胞图像和自然场景图像显示出更高的重建精度，实验表明，该模型对多模光纤内部光传输特性的复杂随机变化具有很高的鲁棒性和学习不变性。此外，研究人员设计了一个简单的浅层神经网络：卷积神经网络结构散斑模型，以实现对多类别宫颈细胞图像的高精度斑点识别。实验表明，与ResNets和VGGNets两种网络相比，卷积神经网络结构散斑模型在斑点识别精度和训练时间方面表现出更高的性能。基于小规模训练数据集，卷积神经网络结构散斑模型可以识别28类散斑，准确率高达97.34%。这种自行设计的U结构神经网络结构散斑模型和卷积神经网络结构散斑模型可以在不同的光纤传输条件下通过多模光纤实现复杂图像的高精度传输和识别，显示了多模光纤与深度学习相结合在内镜医学诊断和定向治疗中的潜力。