✦
深度学习辣汤小组文献阅读学习之六十一
✦
相位染色:利用深度学习对无标签定量相位显微镜图像进行数字染色
DeepLearning 深度学习辣汤小组
2022/10/11
2019年，来自加州大学洛杉矶分校的Ozcan研究小组使用深度神经网络发明了一种数字染色技术（即PhaseStain），可以将无标签组织切片的QPI （定量相位图像，quantitative phase images）转换为与相同组织样本染色过后的的亮场显微镜图像等价的图像，极大地减少了临床上组织样品制备的成本与时间，并在Science & Applications（IF：17.78）期刊上发表了题为“PhaseStain: the digital staining of label-free quantitative phase microscopy images using deep learning“的文章。
DOI：
https://doi.org/10.1038/s41377-019-0129-y
一、研究背景
QPI是一种无标签成像技术，已有几十年的发展历史，它使用低强度照明，同时可以快速成像，减少了光毒性。尽管QPI技术可以得到无标记物体的定量对比图，但目前临床和研究的金标准主要仍然是基于组织学标记样本的亮场成像，因此团队研究了一种经过GAN (生成式对抗网络，Generative Adversarial Networks,名词解释1)框架训练的深度神经网络，可以使用QPI对无标签组织样本进行虚拟染色（图1），达到生成临床金标准需要的亮场图像的目的。
二、数据集
本研究中使用的所有样本均来自转化病理学核心实验室，由加州大学洛杉矶分校组织实验室准备，包括皮肤组织的H&E染色、肾脏组织的Jones染色和肝脏组织的Masson三色染色（图2、3）。实验包括两种成像模式：QPI和亮场。由于网络的目的是学习从无标签的相位检索图像到组织学染色的亮场图像的转换，因此准确对齐数据集中每个输入和目标图像对的视场是至关重要的。所以实验用全局配准的图像训练一个深度网络，以减少用两种成像方式(QPI和亮场图像)获得的图像之间的熵。
三、方法与结果
文章训练了三种经过GAN框架训练的深度神经网络（图4），分别对应三种不同组织和染色类型的组合。在整个训练过程中，卷积滤波器的大小被设置为3 × 3。对于补丁生成，实验应用了数据增强，对肝脏和皮肤组织图像使用50%的补丁重叠，对肾脏组织图像使用25%的补丁重叠(表1)。对于鉴别器的每一次迭代，生成器网络都有v次迭代。对于肝脏和皮肤组织训练，v=max(5, floor(7−w/2))，其中每500次迭代将w增加1(w初始化为0)，对于肾脏组织训练，使用v=max(4, floor(6−w/2))，每400次迭代将w增加1。这有助于训练鉴别器不过度拟合到目标亮场图像。实验使用10个批次来训练肝脏和皮肤组织切片，5个批次用于训练肾脏组织切片。当验证集的L1-loss在4000次迭代后没有减少时，网络的训练就停止了。训练的典型收敛图如图5所示。用于训练的图像补丁的数量、epoch（名词解释2）的数量和训练时间表如表1所示，例如皮肤对应的模型迭代了1100次，图像补丁的数量为2500个，花费11.188小时，共训练18次。在对每个组织切片进行训练后，接着用4个1792 × 1792像素的图像补丁测试相应的网络，重叠率为7%。
此外由于失焦粒子在PhaseStain输出图像上会产生图像畸变（图6）。为了减少网络输出图像中的这种失真，实验通过使用基于深度学习的全息图重建方法，数字化地去除了由失焦粒子产生的相干相关图像伪影，该方法通过数据学习来消除双图像伪影以及由失焦或不希望的物体产生的干涉条纹。
四、结论
虽然在本研究中，团队训练了三种不同的神经网络模型，以获得针对特定组织和染色组合的最佳结果，但这并不对PhaseStain构成实际限制，还可以使用用它染色的多种组织类型，为特定的染色类型(H&E、Jones染色等)训练一个更通用的数字染色模型。此外，从临床诊断的角度来看，所调查的组织类型及其临床检查所需的染色剂都是先验已知的，因此在将来的实验中为每个待检查样本选择正确的神经网络是很容易实现的。
名词解释
1. 生成式对抗网络：GAN，Generative Adversarial Networks，主要包含生成、判别和对抗三个部分，以图片生成为例子，先让生成器生成一些假图片和真图片，一起交给判别器判别，让它学习区分两者，给真的高分，给假的低分，当判别器能够熟练判断现有的数据后，再让生成器以从判别器处获得高分为目标，不断生成更好的假图片，直到能骗过判别器，重复这一过程，直到判别器对任何图片的预测概率都接近0.5，也就是无法判别图片的真假，就可以停止训练了。
2.epoch：1个epoch等于使用训练集中的全部样本训练一次。
图1：阶段流程
图2：使用PhaseStain框架对无标签皮肤组织进行虚拟H&E染色
图3：使用PhaseStain框架对无标签肾组织和肝组织虚拟染色
图4：GAN框架内生成器和鉴别器网络的架构
图5：皮肤组织数字H&E染色验证集PhaseStain收敛图
图6：失焦粒子引起的全息条纹对深度神经网络数字着色性能的影响
表1：使用PhaseStain对不同组织类型进行虚拟染色的训练细节
Pepper soup transformed by: Zheng Yang
//
深度学习辣汤AI小组由徐州医科大学以及徐州医科大学附属医院一群热爱人工智能的小伙伴们组成，欢迎大家跟我们交流学习!
扫码关注我们
欢迎加入我们！
成员微信号：cy2011mcu
添加好友时请备注：
您的 单位-科室-姓名-研究方向
