基于深度学习评估肝活检组织的精确肝脂肪变性定量研究
DeepLearning 深度学习辣汤小组 5月24日
2020年7月，以王辅生和孔军两位教授领衔的团队成功在期刊Laboratory Investigation（IF=5.662）上发布了名为“Deep-learning-based accurate hepatic steatosis quantifification for histological assessment of liver biopsies” 的文章。（DOI：https://doi.org/10.1038/s41374-020-0463-y）。
肝脂肪变性是一种由肝细胞中脂质过度积累引起的疾病。并且在近些年来国际发病率不断升高，已经引起国际的广泛重视。脂肪变性的分期可以为临床医生提供诊断严重程度和肝病治疗必要性的指导。在临床实践中，病理学家通过检查苏木精和曙红（H&E）染色的组织载玻片来确定脂肪变性的程度。然而，由于不可接受的抽样偏倚和较差的再现性，他们的估计容易出现较大的观察者内部和观察者之间的变异性。近些年来机器学习中的深度学习算法在计算机视觉领域不断得到发展，已然成为一种新兴技术。在本篇文章，研究团队提出了一种脂肪变性分割模型，以识别个体脂肪变性，并在肝脏活检的整个载玻片显微镜图像中描绘重叠脂肪变性实例的边界。
在此次实验中用到的所有slide（数字病理扫描）图像，手工标记，放射学读数和临床数据均来自亚特兰大儿童医院和埃默里大学。在对图像进行基本的处理之后，将每个完整的组织成分图像划分为大小为512×512像素的非重叠图像斑块。此过程生成2050个图像补丁，这些补丁分为训练队列和验证队列，比率为80：20。由于H&E染色图像的颜色取决于与组织制备，染色和扫描过程相关的许多因素可能会导致有很大差异。因此，在分析之前，所有图像都通过染色颜色归一化为标准H&E校准图像。
首先，团队进行的工作是描绘架构。如图1所示，所提出的用于脂肪变性分割的DELINEATE模型具有分两个阶段的端到端深度学习过程。首先，识别并分离前景脂肪变性区域及其边界。接下来，将生成的预测输出合并到积分模块中，以进行聚集脂肪变性分割。第一步DELINEATE模型首先单独识别脂肪变性液滴的区域和边界，将生成的两个输出预测组合在一起，以生成一个集成的预测图，其中聚集的脂肪变性区域被分离，脂肪变性边界检测模块基于整体嵌套网络（HNN），最后就是区域边界集成网络从集成区域和边界信息生成最终预测输出。
在本次实验中，团队对于实验数据的训练和验证对实验结论有着很重要作用，每个脂肪变性分量边界均由领域专家进行标记，并作为脂肪变性边界预测模块的金标准。深度学习模型训练需要大量的训练数据来避免过度拟合问题，文章通过水平翻转，垂直翻转，四角旋转和0.5刻度的重新缩放来增强数据集。类似地，每个图像贴片以16个不同的角度旋转，并以每个角度翻转，为边界模块生成一个增强训练集。本研究共使用了1471个大小为512×512的补丁，其中735个被随机选择用于区域和边界模块训练，其余736个用于综合网络训练。测试集由独立于训练和验证集的150个贴片组成，区域和边界模块是分开训练的，他们的输出被组合在一起，依次训练集成网络。
对于脂肪变性区域分割，团队基于FCN系列模型U-Net 构建了架构，方法是在U-Net模型的瓶颈处堆叠膨胀卷积层。膨胀卷积通过更宽的接收场增强了网络性能，而无需下采样操作，从而比标准U-Net模型更准确地进行分段（图2a）。为了更好地学习脂肪变性边界特征，团队使用整体嵌套神经网络（HNN）从分层嵌入的多尺度边缘场捕获低级、中级和高级轮廓特征。通过在附加模块中检测边界，他们可以描绘重叠脂肪变性区域的隐藏边界，从而提高脂肪变性分割的准确性。因此，他们进一步使用具有跳过连接的全卷积网络来整合派生区域和边界信息，并产生了三类的最终预测图：脂肪变性液滴区域，脂肪变性边界和背景。通过广泛的实验，团队证明这种利用来自区域和边界检测模块的信息的集成网络将有助于消除大的假阳性区域（图2b）。
除了这一步（使用划界模型的脂肪变性液滴分割），还有的步骤便是评估划界分割精度，如图3描述与病理分级、放射学和临床数据的相关性，图4通过增强型深度学习网络改善细分以及全组织分析和可视化（图5）。
最后，在最近出现的深度神经网络在强大特征表示能力和显著卓越性能的推动下，实验团队成功开发了一种基于深度学习的端到端模型，用于重叠脂肪变性液滴分割和肝脏全载玻片组织病理学图像的定量。虽然他们的研究为定量肝脏脂肪变性测量提供了新的框架，但将来仍有一些局限性需要解决。由于重叠的脂肪变性液滴的手动注释非常耗时，因此训练集中仅包含非常有限数量的组织区域。但这些问题，实验团队都表示会在日后的研究中寻找到对策。
图1 描述模型。
首先描述模型分别识别脂肪变性液滴的区域和边界（a）将得到的两个输出预测进行组合，以生成一个集成的预测图，其中聚集的脂肪变性区域被分离。区域提取模块使用dil Unet模块（b）检测脂肪变性区域。脂肪变性边界检测模块基于整体嵌套网络（HNN）（c）区域边界积分网络根据积分区域和边界信息（d）生成最终预测输出。图2 分割结果的比较。
dil-Unet和标准U-Net模型之间的分段结果比较。
图3 不同颜色的面罩中分段脂肪变性液滴的可视化。
图4 描绘与手动组织学评估结果和放射学数据衍生特征的相关性。
图5 全肝组织图像中脂肪变性成分的量化。
Pepper soup transformed by:Li Xinbai
深度学习辣汤AI小组由徐州医科大学以及徐州医科附属医院一群热爱人工智能的小伙伴们组成，欢迎大家跟我们交流学习!
欢迎加入我们！（成员微信号：cy2011mcu）
添加好友时请备注：单位
