【论著】基于卷积神经网络与迁移学习的糖尿病视网膜病变分级诊断研究【2024年8月第4期】

摘要

目的通过比较基于卷积神经网络与迁移学习的不同图像预处理方法在糖尿病视网膜病变（DR）诊断中的效果，为分级诊断模型的优化提供依据和参考。方法（1）获取Kaggle平台的APTOS 2019 Blindness Detection的3 662例视网膜图像（为公开数据集），进行去黑边、尺寸调整、归一化以及数据增强预处理。（2）通过调节ResNet50模型权重参数，验证迁移学习方法提高模型分类效率的有效性，并与InceptionV3模型在DR分级诊断任务的表现相对比。（3）通过对原始图像进行灰度化、对比度受限的自适应直方图均衡化（CLAHE）以及组合该两种方式，比较不同预处理方法对InceptionV3模型分类性能的提升效果。（4）考虑到数据集特点，研究使用准确率、灵敏度、特异度、曲线下面积（AUC）衡量模型性能。结果（1）ResNet50模型在不保留预训练权重时准确率=0.754 1、AUC=0.817 2，在冻结部分权重时准确率=0.546 4、AUC=0.420 7，在微调训练时准确率=0.808 7、AUC=0.868 7。（2）InceptionV3模型在使用原始图像微调训练时准确率=0.836 1、AUC=0.869 6，在使用CLAHE图像微调训练时准确率=0.814 2、AUC=0.887 6，在使用灰度化图像微调训练时准确率=0.808 7、AUC=0.913 2，在使用灰度化+CLAHE图像微调训练时准确率=0.836 1、AUC=0.915 6。结论迁移学习方法可以有效提升ResNet50模型分类能力，且对于DR分级诊断问题，InceptionV3模型的表现优于ResNet50模型；灰度化、CLAHE两种图像预处理方法均可提高InceptionV3模型的表现，组合使用两种预处理方法效果更佳。

司家瑞¹ 王可琛² 陈笑旸¹ 孙英泽³ 靳子琦⁴ 周伟⁵

¹天津医科大学基础医学院，天津300070；²天津医科大学第二临床医学院，天津300070；³南开大学电子信息与光学工程学院，天津300071；⁴天津医科大学朱宪彝纪念医院医保科，天津300134；⁵天津医科大学总医院眼科，天津300052

通信作者：周伟，Email：zyyykzw@tmu.edu.cn

糖尿病视网膜病变（diabetic retinopathy，DR）是糖尿病在眼部的最严重微血管并发症。全球糖尿病患者中，DR的患病率高达22.27%^［1］，而在我国，这一比例更是达到了27.9%~34.1%^［2］，并且这一数字还在持续上升。DR的发病过程隐秘，早期症状不明显且疾病进展迅速，导致患者早期就诊率低，往往在视力受损后才首次就诊，此时已错过了最佳治疗时机，成为导致20~74岁成年人视力丧失和可预防性失明的主要原因^［3］。在DR早期及时采取治疗能有效控制其发展，因此早期筛查对于防控DR具有重要意义^［4］。中国人口基数庞大，人均医疗资源紧缺，传统的人工筛查方法效率有限；尤其对于农村与偏远落后地区，群众视力健康意识的薄弱与眼科医师的缺乏更加剧了DR对居民健康的威胁。借助人工智能（artificial intelligence，AI）技术，可以实现基于眼底图像的DR快速筛查诊断，有望实现高效率、低成本的DR早期病变识别与预警，将DR防控的关口前移，警示轻症患者严格控制血糖与血压，重度非增殖性糖尿病视网膜病变（non prolifertive dibetic retinopthy，NPDR）与增殖性糖尿病视网膜病变（prolifertive dibetic retinopthy，PDR）患者尽早就诊并接受抗血管内皮生长因子药物眼内注射、全视网膜激光光凝或玻璃体切除术等治疗，从而助力改善糖尿病患者群体的视力健康状况。

卷积神经网络（convolutional neural network，CNNs）在图像识别领域展现出优越的性能，近年来已有不少借助CNNs进行DR智能诊断的研究^［5］。但现有的经过专家标注的疾病数据集规模较小，其数据量不足以训练出具有实用意义的模型，迁移学习便应运而生。迁移学习是指在利用大规模数据集训练的模型上进行微调，从原领域和新的目标领域中找到二者的共同特征，来适应性地解决新的任务或问题，从而大大减少对训练数据量的要求和训练所需时间，在小规模数据集上即可取得优异表现，在较低的计算成本下实现较高准确率。目前较为知名的预训练网络模型有InceptionV3、ResNet50等。深度学习与迁移学习训练产生的模型能够辅助医生更好地筛查和诊断疾病，有效提高准确性和效率 ^［6］。Richards等^［7］开发的DR计算机辅助诊断系统能够准确提取眼底图像中的病灶区域并分级；Kermany等^［8］开发的视网膜病变诊断工具在分辨年龄相关性黄斑变性和糖尿病性黄斑水肿方面达到了眼科专家水准；Ai等^［9］使用多个模型集成搭建的整体检测模型DR-IIXRN检测DR的准确性超过各个单一模型，曲线下面积（area under the curve，AUC）、准确率和召回率均有明显提高；Vives-Boix和Ruiz-Fernández^［10］的研究证明，具有突触元可塑性的CNNs结构提高了学习率和准确率，且在较小训练数据上的表现仍然优秀；Li等 ^［11］ 开发的用于识别高度近视患者视力威胁的模型，在识别视网膜劈裂、黄斑裂孔、视网膜脱离以及病理性近视相关性脉络膜新生血管等方面具有可靠的灵敏度和高特异性。

本研究旨在通过调节迁移学习参数规模与对原始图像数据进行预处理的方法，验证迁移学习方法在DR的智能诊断领域的有效性，对比ResNet50与InceptionV3两种神经网络模型的分类性能，为未来DR智能诊断模型的选择和训练提供依据和参考。

资料与方法

一、数据集及模型获取与实验环境配置

本研究使用的数据集来自Kaggle平台举办的APTOS 2019 Blindness Detection DR机器学习识别竞赛（数据集为公开的）。此数据集包含3 662张在各种成像条件下使用眼底摄影拍摄的视网膜图像，并且经由训练有素的医生对图像进行审查。数据集中的图像根据美国眼科学会发布的《糖尿病性视网膜病变国际临床分级标准（2019）》被划分为0~4级并进行标注，其构成见图1。本研究使用的实验平台为Lenovo ThinkPad P15v移动工作站，具体硬件配置及程序运行环境如下：CPU为Intel ^® Core™ i7-10750H CPU @2.60GHz 2.59GHz；操作系统为Windows 10；内存为32GB DDR5 4800 MHz；GPU为NVIDIA ^® Quadro P620 4GB；编程语言为Python 3.7.9与MATLAB 2020b（用于图像预处理）；深度学习框架为TensorFlow 1.15.0与Keras2.3.1。

DR为糖尿病视网膜病变；NPDR为非增殖性糖尿病视网膜病变；PDR为增殖性糖尿病视网膜病变

图1 APTOS 2019 Blindness Detection数据集构成（n=3 662）

本研究选择了ResNet50^［12］与InceptionV3^［13］两种经典的预训练模型进行迁移学习，它们均是基于来自ImageNet数据库的数百万张自然图像训练产生的模型，二者作为基础模型在图像分类、图像生成、迁移学习等领域中广泛应用，在各种计算机视觉任务中都取得了优异的成绩。研究中移除了模型原有的全连接层，并添加两层新的全连接层，完成模型部署和迁移准备。

二、实验设计

本研究共设计和开展7个实验，如表1所示。实验Ⅰ~Ⅲ以ResNet50模型为基础，通过设置预训练参数探究迁移学习对模型预测能力的影响；实验Ⅲ与Ⅳ分别使用ResNet50模型与InceptionV3模型进行迁移学习，通过微调对比两种经典模型在DR分级诊断任务中的表现；直接选取表现更好的模型开展实验Ⅴ~Ⅶ，以节约时间与算力资源，在迁移学习的基础上分别使用经过不同图像预处理方式的数据集进行训练，比较各预处理方式对模型性能的影响。

表1基于卷积神经网络与迁移学习的糖尿病视网膜病变分级诊断研究实验设计

注：CLAHE为对比度受限的自适应直方图均衡化

三、图像预处理

为使图像适应神经网络的输入并提高数据集质量，我们采用了多种图像预处理方式以优化图像。包括去黑边、缩放、归一化、数据增强、灰度化以及对比度受限的自适应直方图均衡化（contrast limited adaptive histogram equalization，CLAHE）（图2），这些预处理方法在图像识别领域的有效性已得到广泛的验证和认可^［14］。

CLAHE为对比度受限的自适应直方图均衡化；实验Ⅰ为ResNet50+无权重+原始图像；实验Ⅱ为ResNet50+固定权重+原始图像；实验Ⅲ为ResNet50+微调+原始图像；实验Ⅳ为InceptionV3+微调+原始图像；实验ⅤInceptionV3+微调+CLAHE；实验Ⅵ为InceptionV3+微调+灰度化；实验Ⅶ为InceptionV3+微调+灰度化&CLAHE

图2 图像预处理样例及流程

1.去黑边：拍摄的视网膜图像中包括视网膜外的黑色区域，去除这部分无效像素以减小模型的运算负担、提高模型运行速度。

2.缩放：本研究将图像尺寸统一裁切缩放为300 px×300 px，以减少运算数据量，加快模型训练速度。

3.归一化：将原始数据映射到［0，1］，以去除不同维度数据的量纲以及量纲单位，并将数据限制到一定范围内，加快数据处理，提高模型收敛速度，同时避免因输入数值过大导致神经元参数不再更新。

4.数据增强：本研究采用了亮度变换、翻转、裁切、混合四种算法对原始图像进行变换，以扩充样本数量，保证足够的训练集规模，促进模型收敛且不至于过拟合。

5.灰度化：视网膜图像均以橘黄色为主色调，三通道的复合颜色数据对DR分级诊断的意义有限，却会增加训练模型的运算量和时间成本。本研究将RGB三通道数据压缩为单通道以去除冗余信息，提高训练效率。

6.CLAHE：原始图像中常有因曝光不当导致图像过亮或过暗的问题，造成图像信息丢失。CLAHE通过将图像分区后分别进行直方图均衡化和插值计算，避免了全局调整造成的局部失控，在增强图像病理细节、抑制背景噪声的同时保持了良好的局部图像质量。

经过初步优化的图像（后称“原始图像”）以16∶3∶1的比例，随机将数据集划分为训练集、验证集和测试集，用于后续实验。

四、模型训练与评估

Adam优化器（adaptive moment estimation）是深度学习中广泛使用的一种梯度下降优化算法。它融合了动量法和RMSProp的优势，具备自适应学习率调整和动量计算的特性。由于其出色的稳定性和适应性，Adam优化器在众多深度学习任务中得到了广泛应用，并被视为默认的优化器选择之一。本研究选用Adam优化器，使用默认初始学习率0.001。

早停（early stopping）是一种训练深度神经网络时常用的正则化技术，通过监控模型在验证集上的性能，并在验证性能不再改善时提前停止训练，防止模型在训练过程中过拟合。本研究将早停函数参数设定为9轮。

一次实验中，随着训练轮次的增加，模型在训练集上的损失将逐渐下降，但其在验证集上的损失仍在波动。在每个轮次训练完成后，均使用验证集评估模型的预测效果。本研究采用多分类交叉熵损失函数（categorical_crossentropy）评估模型训练效果。由于它考虑了类别的顺序和概率，使得预测结果更接近真实标签，因此比简单的均方误差（MSE）或平均绝对误差（MAE）更适用于分类任务。其表达式如下：

全部轮次训练终止（即验证集损失值不再下降的轮数达到早停函数目标轮数）后，使用在验证集上表现最好的一轮对应的模型，在测试集上进行预测。

由于数据集中的各级DR分布极不平衡（0级49.29%，1级10.10%，2级27.28%，3级5.27%，4级8.06%），即使模型将全部样本预测为0级，准确率也将达到约50%。此外，若将各级DR视为独立的5种疾病，则各种疾病在样本中的患病率差异过大，将显著影响阳性预测值与阴性预测值，使得其对于模型实际预测能力的反映失真；同时0级DR占比过大也使准确率的判断价值有所下降。故本研究使用准确率（Acc）、灵敏度（Sen）、特异度（Spe）和受试者特征工作曲线AUC来衡量和评估模型的预测能力，且将AUC作为首选评估指标。

结  果

一、各实验模型的准确率、灵敏度、特异度、AUC

对各实验得到的最优模型，均输入测试集数据进行五分类预测，生成混淆矩阵，计算其对各个DR分级的灵敏度与特异度。随后将模型最后一层五分类全连接层替换为二分类全连接层并重新训练，分别对DR的每一个分级进行二分类预测。各实验模型的预测准确率与AUC见图3、灵敏度和特异度见表2。

图3 各实验模型对糖尿病视网膜病变（DR）的预测准确率（Acc）及对各级DR的曲线下面积（AUC） 0级为无DR，1级为轻度非增殖性DR（NPDR），2级为中度NPDR，3级为重度NPDR，4级为增殖性DR

二、ResNet50模型对训练效率和预测性能的影响

实验Ⅰ在第17轮时得到最优模型（训练集Acc=0.723 0，验证集Acc=0.720 3，测试集Acc=0.754 1），模型在0~3级DR上取得了较好的预测效果，但对4级DR无诊断能力。实验Ⅱ在第23轮时得到最优模型（训练集Acc=0.754 1，验证集Acc=0.490 4，测试集Acc=0.546 4），模型在训练集和测试集上表现差异巨大，提示出现过拟合，模型完全没有诊断DR的能力（其平均AUC=0.420 7）。实验Ⅲ在第10轮时得到最优模型（训练集Acc=0.843 8，验证集Acc=0.808 4，测试集Acc=0.808 7），模型对0~3级DR预测性能较好，但对于4级DR几乎没有诊断能力。

对比实验Ⅰ与实验Ⅲ，微调训练相比于重新训练模型达到了更快的收敛速度，且迁移学习模型的综合表现（平均AUC=0.868 7）相较于重新训练模型（平均AUC=0.817 2）提高了6.30%，提示除提升训练效率外，预训练参数中包含的图像识别信息对提升模型DR分类预测的性能也具有意义。

三、InceptionV3模型和ResNet50模型在DR分级诊断上的表现

对比实验Ⅲ与实验Ⅳ，在均使用原始图片、应用迁移学习方法微调训练的情况下，InceptionV3模型的表现均优于ResNet50模型，各项指标均有提升：Acc值提升了3.39%（0.836 1比0.808 7），Sen值提升了11.90%（59.35%比53.04%），Spe值提升了0.20%（95.84%比95.65%），AUC值提升了0.10%（0.869 6比0.868 7）。

四、不同图像预处理对模型预测能力的影响

实验Ⅳ在第11轮时得到最优模型（训练集Acc=0.888 7，验证集Acc=0.831 4，测试集Acc=0.836 1），其在0~3级DR上取得了非常好的预测效果，仅4级DR预测表现欠佳。实验Ⅴ在第4轮时得到最优模型（训练集Acc=0.814 7，验证集Acc=0.798 9，测试集Acc=0.814 2），其在保持对0~3级DR的良好预测能力的同时，对4级DR表现出尚佳的预测效果，提示模型已经具备一定的诊断4级DR的能力（平均AUC=0.887 6）。实验Ⅵ在第12轮时得到最优模型（训练集Acc=0.856 3，验证集Acc=0.821 8，测试集Acc=0.808 7），其在0~3级DR上取得了极好的预测效果，对4级DR表现出较好的预测效果，模型初步具备对DR的综合诊断能力（平均AUC=0.913 2）。实验Ⅶ在第17轮时得到最优模型（训练集Acc=0.937 4，验证集Acc=0.818 0，测试集Acc=0.836 1），其在0~3级DR上取得了非常好的预测效果，对4级DR的预测也达到非常好的水平，模型对DR的综合诊断能力略有提升（平均AUC=0.915 6），但对各级DR的诊断能力更为均衡。

在实验Ⅳ、Ⅴ、Ⅵ、Ⅶ中，使用InceptionV3模型，以实验Ⅳ（原始图像）预测数据为基准值，实验Ⅴ（CLAHE）、Ⅵ（灰度化）、Ⅶ（CLAHE+灰度化）相对基准的变化如图4A所示。

图4 使用InceptionV3模型时，以原始图像预测数据为基准值，经对比度受限的自适应直方图均衡化（CLAHE）、灰度化、CLAHE+灰度化的相对基准的变化（A），AUC为曲线下面积，0级为无DR，1级为轻度非增殖性DR（NPDR），2级为中度NPDR，3级为重度NPDR，4级为增殖性DR；对增殖性糖尿病视网膜病变临床样本CLAHE、灰度化、CLAHE+灰度化的处理效果（B），图中白箭头所指为四个典型病变（左上：棉绒斑，左下：新生血管，右上、右下：微动脉瘤），观察它们在图像预处理前后的变化

根据实验Ⅴ、Ⅵ，使用CLAHE与灰度化方法预处理图像数据，会略微降低模型对于低级别DR（0~2级）的预测表现，但却提高了模型对于高级别DR（3~4级）的预测表现，尤其是大幅提高了对4级（PDR）的预测能力，缩小了各级DR诊断效能之间的差距（图3），使得InceptionV3模型具备对各级DR较为均衡、全面的诊断能力。根据实验Ⅶ，组合使用CLAHE和灰度化两种图像预处理方式相比于单独使用其中一种会进一步提高InceptionV3模型的预测性能，且这种提升的效果并不是简单的相加关系。总体而言，预处理后模型平均AUC均有不同幅度的提升，提示使用图像预处理方法可以提升InceptionV3模型对于DR分级诊断的综合表现。

此外，为进一步验证图像预处理的临床意义，我们从天津医科大学总医院眼科获取了一批临床采集的彩色眼底照相数据（已获得天津医科大学总医院伦理委员会批准，审批号为IRB2024-YX-104-01），并对其进行不同的预处理（图4B）。不同等级的图像样本中存在浅层出血、微动脉瘤、硬性渗出、棉绒斑、新生血管等病理表现，部分细微病变在原始图像中难以分辨，而在经过预处理的图像中则得到了明显的增强，更易于被人眼和神经模型所捕捉。对于神经网络模型，使用CLAHE+灰度化图像取得了最优的结果；而对于人类眼科专家，则对CLAHE图像给出了最高的评价。这提示人眼对于病变的识别在一定程度上仍需依赖彩色信息，在临床上同时向人类专家提供原始照片和经过CLAHE、CLAHE+灰度化处理的照片可能是一种有潜力的辅助诊断方法。

讨  论

本研究主要关注迁移学习方法对模型性能的影响，通过控制学习率、早停函数参数而改变模型权重的方式进行探究。实验结果显示，迁移学习方法在一定程度上提高了模型的训练速度和分类性能。其他优化策略和正则化方法是否能够在此基础上继续提升模型性能是一个值得研究的问题，还有待进一步设计实验进行探索和验证。

迁移学习能够提升模型的训练效率与预测性能，但同时也对数据集质量提出了要求。如有研究在规模为314例的私有数据集上使用迁移学习方法改进3D ResNet50模型，但效果仍不理想^［15］，可能提示数据集质量存在不足。本研究在公开DR数据集上使用迁移学习方法分别训练ResNet50与InceptionV3模型。结果表明，InceptionV3模型在DR分级预测中表现出相对更好的性能，这为此后DR智能诊断的模型选择提供了借鉴。

受限于实验平台的硬件算力，本研究将输入图像尺寸设定为300 px×300 px，但图像压缩过程必然导致有效信息和细节的丢失；杜霞^［16］将输入图像尺寸设置为512 px×512 px，得到了较好的结果。值得关注的是，在使用更小尺寸的输入图像的研究中（224 px×224 px，Alwakid等^［17］；225 px×225 px，Bhimavarapu等 ^［18］），通过图像预处理充分增强和平衡数据集似乎对冲了压缩图像带来的负面影响，仍取得了很好的效果。

我们在前期研究^［19］的基础上，尝试将传统的受试者工作特征曲线与准确率相结合，使用分组并列柱状图的形式将各组实验数据可视化呈现（图3），直观展示模型对不同等级DR预测性能之间的差异，更好地观察模型总体预测能力的均衡性。迁移学习与图像预处理在提高模型平均预测能力的基础上，还显著改善了其整体性能的均衡性，使其对各级DR有较为全面的预测能力，增强了模型的实用价值。与此同时，我们还观察到模型对某级DR的预测性能与该等级DR在训练数据中的占比并非呈严格的比例关系。如2级的样本量（27.28%）接近1级（10.10%）的3倍，而模型对2级的预测性能均略低于1级；4级（8.06%）的样本量略高于3级（5.27%），而大多数模型对4级的预测能力反而远低于3级。我们推测这与不同等级DR的病理特征有关：1级（轻度NPDR）与2级（中度NPDR）的病理表现均以微血管瘤为主要特征，而2级除微血管瘤外其他轻于重度NPDR的表现则相对不易识别，造成预测性能降低；3级（重度NPDR）与4级（PDR）均以出血和血管病变为特征，但PDR的新生血管形成、玻璃体积血或视网膜前出血表现更为细微而难以识别，使用图像预处理方法增强细节后，虽然提升了模型对PDR特征的提取能力，但也更容易与重型NPDR混淆，使得对后者的预测性能反而下降。

本研究使用的数据集也有缺陷。APTOS 2019 Blindness Detection数据集规模相对较小，且图像质量参差不齐，2019年Kaggle竞赛中冠军模型的准确率仅为0.856 1。已有相当多的研究指出，模型的性能会随着训练数据量的增加而进一步提升^{［16，20-26］}。同时，该数据集还存在各级DR样本数量分布严重不平衡的问题，高分级DR样本的稀少使得此类DR对模型而言无法充分捕捉其特征，难以学习。此外，各级DR样本在损失函数中的权重相同，导致高占比的分级具有更强影响力，使模型向“关注多数而忽略少数”的方向迭代，最终令预测性能失衡。有研究显示，旋转图像^［16］、高斯滤波降噪、平移图像^［23］能够一定程度平衡数据，增强模型泛化性能，但数据增强的变换方式无法提供本质上不同的新样本，提升仍然有限。郭妮妮等^［27］尝试使用生成对抗网络模型（generative adversarial network，GAN）生成特定分级的DR眼底图像以补充和平衡训练数据集，Alwakid等^［17］将CLAHE与基于GAN的增强超分辨率方法（ESRGAN）^［28］相结合用于增强和平衡训练数据集，均取得了较好的效果，验证了借助生成式AI增强数据的可行性。

除此之外，我们也注意到一些新提出的模型在DR分类领域展现出了令人惊叹的性能。如Yi等^［29］在EfficientNet中加入残余注意力块，提出一种名为RA-EfficientNet的网络，同样使用APTOS 2019数据集且未进行灰度化、CLAHE等特殊图像预处理的前提下，在五分类DR识别任务中取得了93.55%的准确率。这提示新的模型架构似乎能够提取更多特征，解决病灶间（尤其是高等级DR）差异较小的问题。在这一基础上加入多种图像预处理方式可能是进一步提高模型性能的有益尝试。

综上所述，本研究基于ResNet50和InceptionV3两个经典预训练模型，对比不同训练方式与预处理方法，验证了迁移学习和图像预处理对于AI模型在DR的分级诊断能力上的提升。目前的各种模型仅使用眼底图像即可对DR达到较高的诊断准确率和综合性能，与临床“眼底彩照+光学相干断层扫描+荧光素眼底血管造影”的联合诊断相比，展现出其作为大范围高效筛查方法的潜力。相信通过技术的不断迭代升级，DR智能诊断系统将成为低成本、高效率DR早期筛查的有力工具，在视力损害之前识别出更多的无症状患者并使其得到进一步诊察和治疗，守护广大糖尿病患者群体的视力健康，为基层医疗卫生事业作出贡献。

参考文献见本刊网站

引用本文：司家瑞, 王可琛, 陈笑旸, 等. 基于卷积神经网络与迁移学习的糖尿病视网膜病变分级诊断研究[J]. 数字医学与健康, 2024, 2(4): 231-239. DOI:10.3760/cma.j.cn101909-20240505-00097.

杂志介绍