基于多路径网络的多病种精准视网膜血管网络分割方法的建立及应用

中山大学中山眼科中心 眼病防治全国重点实验室 广东省眼科视觉科学重点实验室，广州 510060

通信作者：袁进：yuanjincornea@126.com；肖鹏：xiaopengaddis@hotmail.com

视网膜是人体重要的视觉感受器，其血管网络的完整性和正常功能对维持视力至关重要^[1]。大部分眼底疾病，如糖尿病视网膜病变(diabetic retinopathy，DR)、年龄相关性黄斑变性(age-related macular degeneration，AMD)，甚至心血管疾病等都会导致视网膜血管网络出现异常变化，从而引发视力损害^[2,3,4]。及时准确检测和诊断视网膜血管网络的异常变化对于及早发现和治疗相关的眼部疾病具有重要意义。基于眼底图像进行视网膜血管网络分割，能够提取出丰富的定量指标，为眼底病变的诊断和监测提供客观依据^[5,6,7]。然而现有算法普遍存在鲁棒性弱的局限性，难以实现复杂临床场景下的多病种彩色眼底照相精准视网膜血管分割。

目前用于视网膜血管分割训练的常用数据集，如DRIVE、STARE和CHASE_DB1等仅包含了有限疾病分类的视网膜血管数据^[8,9,10]，与真实临床场景采集彩色眼底照相数据存在显著差异。Jin等^[11]为了解决传统视网膜血管数据集的局限性，收集并发布了1个包含正常和DR、青光眼、AMD眼底疾病数据的眼底图像血管分割(fundus image vessel segmentation，FIVES)数据集，是目前最大的视网膜血管分割数据集，对于推动视网膜血管分割算法的发展具有重要意义。

在众多自动化视网膜分割方法中，以U-Net为代表的卷积神经网络(convolutional neural networks，CNN)方法应用最为广泛^[12]。多路径Ladder-Net是一种基于U-Net架构的深度学习模型，具有编码－解码的双向信息流动机制，能够更好地融合低层次的细节信息和高层次的语义信息，在图像分割任务中表现出色^[13]。相比于传统的U-Net，Ladder-Net在保留局部特征的同时，也能够更好地捕捉全局语义信息，从而提高了分割的精度和鲁棒性。基于多路径分割方法并结合FIVES多病种彩色眼底照相数据，有望开发一种适用于多病种的精准视网膜血管网络分割方法。

本研究拟采用FIVES数据集结合多路径Ladder-Net方法，开发一种适用于多病种的精准视网膜血管网络分割方法，并将其应用于不同类型眼底疾病的诊断与监测，为眼底疾病的早期诊断和疾病监测提供有力的影像学支撑，促进精准医疗的发展。

1.1 一般资料

采用回顾性研究方法，纳入2020年1月至2023年12月首诊于中山大学中山眼科中心的眼底病患者829例及健康受试者146名，其中男479例，女496例；年龄18~91岁，平均(48.73±16.82)岁；所有受试者的基本情况见表1。收集各受试者任意一眼以黄斑为中心的50°彩色眼底照相数据。纳入标准：(1)年龄≥18岁；(2)病历记录系统有明确的诊断记录，且仅患有单一眼底疾病(非高度近视的屈光不正除外)。排除标准：(1)彩色眼底照相成像质量不佳者；(2)有眼科手术史。本研究遵循《赫尔辛基宣言》，研究方案经中山大学中山眼科中心伦理委员会审查批准(批文号：2023KYPJ344)，所有参与者均签署知情同意书。

1.2 方法

1.2.1 模型构建

采用基于U-Net的多路径网络构建血管分割模型，以提取捕获更复杂的血管特征^[13]。算法模型采用多分支CNN，拥有多个编码器和解码器分支，并在每层相邻接分支之间采用跳跃链接，使得特征在不同空间尺度上得到充分的提取和融合，从而提升分割的精度和鲁棒性。为了优化模型的性能，减少参数数量并提高训练稳定性，引入共享权重的残差块，在平衡模型复杂度和训练稳定性之间取得良好效果。在同一个残差块内，2个卷积层共享相同权重，显著降低了参数规模。同时，在2层之间加入dropout层，有效防止过拟合现象，确保模型在泛化能力上的优越表现。这种设计充分结合残差连接和dropout正则化的优点，共同推动模型分割性能的有效提升。模型输入层采用3×3卷积，并结合修正线性单元(rectified linear unit，ReLU)激活函数进行初步特征提取。在下采样过程中，模型未使用传统的池化层，而是通过步长为2的3×3卷积操作实现特征图的降采样。对于上采样部分，模型采用步长为2的3×3转置卷积，以恢复空间分辨率。共享残差块的设计包括以下组成部分：进行3×3卷积，并紧随批归一化和ReLU激活函数，引入随机失活层减少过拟合风险，再次进行3×3卷积，该卷积层共享前述3×3卷积的权重，依次通过批归一化、残差连接和ReLU激活函数组成整个共享残差块的运算(图1)。

多病种彩色眼底照相精准血管分割模型训练与测试数据来源于公开数据集FIVES。FIVES数据集共包含800张彩色眼底照片，包括健康受试者、AMD患者、DR患者和青光眼患者各200张。图像来自4~83岁的573名受试者，其中DR患者包含1型和2型糖尿病患者，青光眼患者包括开角型青光眼和闭角型青光眼患者。更为详细的数据收集以及图像标注过程见文献^[11]。训练集包含600张眼底图像，测试集包含200张眼底图像。训练集包括AMD、DR、青光眼患者和健康受试者4类关键图像各150张，测试集由AMD、DR、青光眼患者和健康受试者图像各50张组成，确保模型评估的全面性和客观性。在数据预处理阶段，遵循严谨的图像处理流程，将彩色眼底照相图像转为灰度模式，采用Z-score标准化进行像素强度的归一化，配合最小－最大缩放技术确保输入特征的一致性和可比性。利用限制对比度自适应直方图均衡化算法进行图像增强，以提高血管结构的对比度，并将处理后的图像输入到多分支CNN进行模型的训练，直至模型loss值不再下降。采用PyTorch深度学习框架，并在NVIDIA TITAN XP 12GB GPU上进行模型的训练和测试。训练过程中使用交叉熵损失函数和Adam优化器，模型的超参数学习率设为0.000 5，训练周期为50次。

1.2.2 视网膜血管参数自动分析

对受试者以黄斑为中心的彩色眼底图像进行分析，测量指标包括视网膜血管分型维数(fractal dimension，D_f)、血管面积比(vessel area ratio，VAR)、平均血管直径(mean diameter，D_m)和扭曲度(tortuosity，τ)。D_f是一种描述分形空间填充程度的参数，用于衡量复杂形状的空间可用性和定量描述复杂形状的不规则性。描述了复杂的分形结构被划分为多个区域后，对分形的复杂性和不均匀性提供了更详细的评估。D_f值越大，代表血管形态的复杂程度越高。VAR是感兴趣区域(region of interest，ROI)内血管像素值与总像素值的比值，代表血管在视网膜的占比情况，VAR越大，血管在视网膜的占比越高。D_m是ROI内血管直径的平均值。τ的定义有很多种，包括曲线曲度(曲线的实际路径长度除以端点直线连接长度)和曲线曲率(总路径长度归一化获得的血管路径曲率平方的积分)等。本研究的τ是基于全局特征组合的τ^[14]，通过分析曲线曲度、曲率等血管扭曲相关参数最终的τ，反映了血管的平直或卷曲程度；较小的τ值表示视网膜血管更加平直。

1.3 统计学方法

采用GraphPad Prism 9.0软件进行统计分析。为避免双眼相互作用的影响，任意选择每例患者单眼黄斑中心彩色眼底照相图像进行分析。计量资料数据经Kolmogorov-Smirnov检验证实符合正态分布，以表示。各组各参数总体比较采用单因素方差分析，两两比较采用LSD-t检验。计数资料数据以频数和百分比表示，各组各参数比较采用χ²检验。采用Bonferroni事后检验校正所有P值，P<0.05为差异有统计学意义。

基于前期研究结果校正视网膜血管特征参数^[15]，男性赋值为0，女性赋值为1。男性整体视网膜血管D_f、VAR较女性增加(β_Df＝0.010，β_VAR＝0.053)，不同性别之间D_m和τ差异均无统计学意义；年龄每增加10岁，整体视网膜血管D_f下降9.81×10^-4，VAR下降6.18×10^-3，D_m下降2.71×10^-2μm。则有D_f校正＝D_f＋性别×0.010－[(年龄－平均年龄)/10]×(9.81×10^-4)，VAR_校正＝VAR＋性别×0.053－[(年龄－平均年龄)/10]×(6.18×10^-3)，D_m校正＝D_m－[(年龄－平均年龄)/10]×(2.71×10^-2)。τ与年龄、性别差异均无关，无需进行额外校正。

2.1 模型验证

使用FIVES数据集中的测试集数据对模型的分割性能进行验证，模型对视网膜血管分割的受试者工作特征曲线下面积(area under curve，AUC)为0.995，准确率为0.987，敏感度为0.877，特异度为0.994，Dice为0.901，交并比(intersection over union，IOU)为0.820。

2.2 视网膜血管参数在不同眼底疾病中的分布差异

在未校正年龄和性别时，不同组间D_f、VAR、D_m和τ总体比较差异均有统计学意义(F＝28.32、47.70、25.79、4.63，均P<0.001)，其中除CSC组外，所有疾病组D_f均较健康对照组显著下降，DME组下降最为显著，差异均有统计学意义(均P<0.05)；所有疾病组VAR均较健康对照组显著下降，其中DME组下降最为显著，差异均有统计学意义(均P<0.05)；不同眼底疾病的D_m表现出不同的变化规律，其中与健康对照组比较，CSC组D_m显著上升，BRVO组显著下降，差异均有统计学意义(均P<0.05)。DR组和DME组τ较健康对照组显著上升，差异均有统计学意义(均P<0.05)(表2)。

校正年龄和性别影响因素后，DR组、DME组、青光眼组和BRVO组视网膜血管D_f校正较未校正有所上升；所有分组视网膜血管VAR_校正较未校正前显著上升；DR组、DME组、青光眼组、RP组、CRVO组视网膜血管D_m校正较未校正前显著下降，视神经炎组、CSC组、BRVO组D_m校正较未校正前显著上升。不同组间D_f校正、VAR_校正、D_m校正和τ总体比较差异均有统计学意义(F＝27.87、47.60、26.48、4.63，均P<0.001)，其中AMD组、DR组、DME组、RP组、BRVO组、CRVO组D_f校正较健康对照组显著下降，DME组下降最为显著，差异均有统计学意义(均P<0.05)；除视神经炎组和CSC组外其他所有疾病组VAR_校正较健康对照组显著下降，DME组下降最为显著，差异均有统计学意义(均P<0.05)；DME组、青光眼组、RP组、BRVO组和CRVO组D_m校正较健康对照组显著下降，RP组下降最为显著，差异均有统计学意义(均P<0.05)；τ不受年龄、性别影响，无需校正，各疾病组τ变化规律未发生改变(表3)。

本研究通过训练多路径网络开发了一种适用于眼底多病种的精准视网膜血管分割方法，并基于真实临床数据分析了视网膜血管特征参数在不同眼底疾病中的分布规律，发现不同眼底疾病的视网膜血管特征参数分布存在显著差异，可能是眼底疾病诊断和分类的敏感影像靶标。

既往研究中开发的视网膜血管分割方法多是基于DRIVE、STARE和CHASE_DB1等公开数据集训练的，这些数据集主要由无眼底病变或是单一疾病的彩色眼底照片组成且图像数量较少(每个分类均小于20张图像)。而且大部分数据标注并未经过专业眼科医师进行标准化，可能存在标注不当等情况。同时这些数据集中的图像分辨率普遍较低，与真实临床场景采集彩色眼底照相数据存在显著差异。这种数据集的局限性导致训练的模型缺乏泛化能力，难以在复杂的临床场景中获得理想的分割效果^[16,17]。本研究使用FIVES数据集训练分割方法，该数据集包含正常和3种眼底疾病的彩色眼底照片，均由经验丰富的眼科医师进行标注，图像质量高且标注准确，为本研究提供了可靠的训练和测试数据。相比于现有的视网膜血管数据集，FIVES数据集具有更大的样本量和更多病种的代表性，从而提高了本研究中模型的泛化能力和适应性。同时本研究采用多路径Ladder-Net作为分割模型，该模型基于U-Net架构，并具有编码－解码的双向信息流动机制^[18]。相比于传统的U-Net结构网络，Ladder-Net能够更好地融合低层次的细节信息和高层次的语义信息，从而提高了分割的精度和鲁棒性。通过在FIVES数据集上的训练和验证，本研究中模型表现出色(AUC为0.995，准确率为0.987)，成功实现了多病种彩色眼底照相的精准视网膜血管网络分割。

在早期的视网膜血管形态研究中，对于血管形态的分析主要依靠眼科医师手动测量，只能对直径较大的血管进行分析且存在主观性强、可重复性差等局限性。后来研究人员尝试使用图像处理软件，如IVAN、SIVA或VAMPIRE等测量血管直径、D_f和τ等视网膜血管形态参数，逐渐实现了半自动的视网膜血管形态分析^[6]。本课题组前期开发了视网膜血管形态特征参数自动量化方法，在视网膜血管精准分割的基础上可实现视网膜血管形态参数全自动分析^[15,19,20]。基于真实临床场景彩色眼底照相的视网膜血管参数分析结果发现，除CSC外，所有疾病组的D_f较对照组显著下降，提示这些疾病组的视网膜血管形态更加简单和不规则。同时，所有疾病组的VAR较健康对照组显著降低，表明视网膜血管密度下降可能是这些疾病的共同特征。不同疾病的D_m变化不尽相同，提示不同疾病可能涉及不同程度的微血管病变。而τ主要在DR和DME中显著上升，在其他眼底疾病中的变化并不显著。既往多项研究指出，τ是糖尿病相关眼病的敏感影像靶标^{[19,21,22,23]}。这些发现表明，精准的视网膜血管分割及参数分析有助于发现不同眼底疾病的特征性血管变化，为临床诊断和监测提供有价值的影像学依据。

Feng等^[15]及史绪晗等^[24]研究均指出，视网膜血管特征参数受到年龄和性别的显著影响，因此在开展视网膜血管特征参数分布规律相关研究中通常需要匹配年龄和性别因素。虽然本研究由于纳入的病种较多，在年龄和性别方面难以完全匹配，但仍然借助前期研究的校正方法进行了相关因素的调整。然而，不同研究间具体的校正因子仍存在一定差异，这可能与受试者群体特点和测量方法等因素有关，值得进一步探讨。因此，在未来的相关研究中，应更加重视年龄和性别因素的精确匹配，以确保研究结果的可靠性和可比性。

本研究仍存在一定局限性：(1)本研究是基于回顾性的数据分析，仅纳入了受试者彩色眼底照相及年龄、性别等基本信息，可能存在一些潜在的信息偏倚，未来还需进一步扩大样本量、开展前瞻性研究来验证该方法在临床实践中的应用价值。(2)尽管FIVES数据集包含多种眼底疾病的图像，但其图像采集设备及采集标准是固定的，且仍有其他类型的眼部疾病未包含在内，因此本研究方法在不同设备和采集标准以及其他疾病上的适用性尚未得到验证。未来的研究方向包括进一步扩大数据集规模，特别是涵盖更多设备来源以及疾病类型的眼底图像的视网膜血管金标准数据集，以进一步验证本研究方法的广泛适应性。

本研究基于最新的大规模FIVES数据集开发了适用于多病种的精准视网膜血管分割方法，并成功应用于不同眼底疾病的血管参数分析，结果显示该方法在视网膜多病种彩色眼底照相的视网膜血管分割中均显示出高准确率，并且不同眼底疾病的视网膜血管形态特征表现出显著差异，这些特征可能成为眼底疾病诊断和治疗的重要生物标志物，为视网膜疾病的早期诊断和疾病监测提供了有力的影像学支持，有望推动眼底疾病的精准诊断和个性化治疗。

利益冲突  所有作者均声明不存在利益冲突

作者贡献声明  张金泽：酝酿和设计试验、实施研究、采集数据、分析/解释数据、统计分析、起草文章；李嘉雄、王耿媛：实施研究、采集数据、统计分析；袁进、肖鹏：酝酿和设计试验、指导试验、对文章的知识性内容作批评性审阅及定稿

参考文献（略）