✦
深度学习辣汤小组文献阅读学习之六十
✦
在肝活检组织学中利用深度学习技术精准定量评估肝脂肪变性
DeepLearning 深度学习辣汤小组
2022/10/9
2020年6月，来自美国纽约州石溪大学的Mousumi Roy等人提出了一个基于深度学习的区域边界集成网络，可以对肝脏组织病理学图像中脂肪变性进行精确量化，达到了预测脂肪肝患者风险以及肝脏移植可行性的临床意义，并在Laboratory Investigation（IF：5.662）期刊上发表了题为“Deep-learning-based accurate hepatic steatosis quantification for histological assessment of liver biopsies”的文章。
DOI：
https://doi.org/10.1038/s41374-020-0463-y
一、研究背景
肝脂肪变性是由肝细胞中脂质过度积累引起的疾病，准确测量脂肪变性成分是临床决定是否使用供肝进行移植的关键步骤。在临床实践中，病理学家通过检查苏木精—伊红(H&E)染色的组织切片来确定脂肪变性成分的程度。然而，当人工进行病理检查时，由于脂肪变性实例数量巨大且外观显著不同，因此结果具有很高的可变性。在这项研究中，团队提出了一种基于深度学习的区域边界集成网络，用于精确量化整个肝脏切片组织病理图像的脂肪变性。此外实验中还存在脂肪变性重叠液滴较大的问题，而现有的重叠脂肪变性液滴定量图像分析方法都不具备全玻片图像分析能力，团队研究出了一个全新的脂肪变性分割模型，以识别单个脂肪变性，并在肝脏活检的整个切片显微镜图像中勾画重叠脂肪变性的边界。
二、数据集
实验数据集来自亚特兰大儿童医院和埃默里大学的36例非酒精性脂肪性肝病(NAFLD)患者的全玻片肝脏组织病理学图像。所有肝组织永久切片均用福尔马林固定，石蜡包埋，H&E染色，人工排除门管区胆管和大血管，只留下肝小叶进行定量分析。将每个完整的组织成分图像分割为大小为512 × 512像素的无重叠图像块，产生了2050个图像Patch（小块图像），这些小块图像以8:2的比例被分为训练和验证队列。
三、方法
实验中每个脂肪变性成分边界由领域专家标注公示，并作为脂肪变性边界预测模块的标准参考对象。在这项研究中，基于深度学习的区域边界集成网络包括两个连续的步骤：首先是设计了一个基于区域的模块从背景像素中分割前景脂肪变性液滴区域，同时引入了一个边界模块来学习每个重叠脂肪变性区域的感知边界特征。然后，结合区域和边界信息训练神经网络模型，负责将脂肪变性液滴团块分割。提出的网络架构被命名为深度学习脂肪变性分割(delimate，即：dil-Unet+HNN+FCN-8s)（图1）。同时团队定量评估了模型的准确性，并将其与其他最先进的5种方法（U-Net+U-Net+U-Net，U-Net+U-Net+FCN-8s，dil-Unet+HNN+FCN-8s，Unet+HNN+FCN-4s，dil-Unet+HNN+dil-FCN）进行比较。
四、结果与结论
如图表1所示，评价指标包括Precision，Recall，F1-Score,Object wise Dice Index和Hausdorff Distance五个。基础网络模型有FCN和DeepLab V2两种。六个模型包括1个实验模型以及5个衍生模型。第一种U-Net+U-Net+U-Net模型（Precision：0.97，Recall：0.83，F1-Score：0.90，Object wise Dice Index：0.9247，Hausdorff Distance：5.8289）由区域提取、边界检测和信息集成三个U-Net模块组成，第二个模型U-Net+U-Net+FCN-8s（Precision：0.96，Recall：0.90，F1-Score：0.93，Object wise Dice Index：0.9458，Hausdorff Distance：3.8773）。评价指标Hausdorff Distance表示这两个模型都没有产生一致的结果。第三种模型是U-Net+HNN+FCN-8s（以下模型性能详见表1），由于HNN（Hopfield神经网络，详见名词解释1）能有效地从多尺度边缘场中恢复边界信息，这种模型整体分割性能最好。为了进一步改进脂肪变性区域掩码预测，团队对标准U-Net模块进行了修改，将深度为3的扩展卷积层与最低分辨率的特征映射叠加在瓶颈块处。如图2a所示，这种扩展的U-Net模块被称为dil-Unet，其性能优于标准U-Net。用dil-Unet得到的模型变化称为dil-Unet+HNN+FCN-8s。在综合比较研究中，还测试了集成网络FCN-4s，该模型的dil-Unet+HNN+FCN-4s与dil-Unet+HNN+FCN-8s的性能相当。最后，用扩展的FCN模块dil-FCN进行测试，在卷积层6处使用atrous卷积，积分层的膨胀率为3。然而，所得模型dil-Unet+HNN+dil-FCN并不能显著改善脂变性液滴团块弱边界的恢复。综合评价，dil-Unet+HNN+FCN-8s模型的性能优于其他模型。图3中重叠脂肪变性液滴的视觉分割结果证实了这一点。（图3从左至右分别为:原始图像、真实数据、FCN、DeepLab V2、U-Net+U-Net+U-Net(提出的模型的一个变体)和dil-Unet+HNN+FCN-8s(提出的delimate模型)的结果。
在对比研究中，所有图像中黑箱所示的块状脂肪变性区域通过delimate模型都能很好地分离出来，但其他方法均未成功。另外，绿框中的问题区域只有通过delimate模型才能完全恢复。）基于delimate模型的基线实验的定量和定性结果，以及其网络变异和基于深度学习的分割方法都证明了delimate模型的优越性。delimate分析包括两个阶段，训练和测试。文章的delimate模型只需要训练一次。模型经过训练后，可以用来分析新的案例进行测试。delimate模型平均可在0.26 s内生成斑块级预测结果，准确率高达98%（表1）。通过统计检验，表明delimate脂肪变性计数% (DSC%)是预测肝脏脂肪变性分级的一个有前途的组织学脂肪变性指标（表2）。最后的结果表明，人工智能辅助技术在增强全视野切片图像的肝病决策支持方面具有很高的潜力。此次研究提供了一个新的框架，在未来的研究中，团队计划改进方法，以自动识别与脂肪变性液滴外观相似的冷冻切片伪迹，造福患者。
名词解释
1. Hopfield神经网络是一种比较特殊的网络，它不像一般的神经网络那样有输入层和输出层，并且通过训练来改变神经网络中的参数，最终实现预测、识别等功能。Hopfield网络只有一群神经元节点，所有节点之间相互连接。
图1：delimate模型的描述
(a).模型首先单独识别脂肪变性液滴的区域和边界
(b).将得到的两个输出预测相结合，生成一个集成预测图，其中块状脂肪变性区域被分离，区域提取模块使用dil-Unet模块检测脂肪变性区域
(c).脂肪变性边界检测模块基于整体嵌套网络(HNN)
(d).区域边界集成网络根据集成区域和边界信息生成最终预测输出
图2：分割结果对比
(a).dil-Unet与标准U-Net模型分割结果比较
(b).左:原始图像；中:U-Net模型脂肪变性分割；右:用提出的dil-Unet模型分割脂肪变性
(c).左上：输入图像;右上：区域提取模块输出;左下：边界检测模块输出;右下：集成模块的最终输出。“1”为区域预测模块捕获的假阳性脂肪变性区域，“2”为最终积分模块校正的脂肪变性区域
图3：在不同颜色的面具中可见分割的脂肪变性液滴
表1：脂肪变性分割方法综合性能比较
表2：delimate脂肪变性像素% (DSP%)、delimate脂肪变性计数% (DSC%)和Aperio脂肪变性像素% (ASP%)在区分脂肪变性分级患者组中的表现
Pepper soup transformed by: Zheng Yang
//
深度学习辣汤AI小组由徐州医科大学以及徐州医科大学附属医院一群热爱人工智能的小伙伴们组成，欢迎大家跟我们交流学习!
扫码关注我们
欢迎加入我们！
成员微信号：cy2011mcu
添加好友时请备注：
您的 单位-科室-姓名-研究方向
