01
工作速览
02
匠心独运
无需标记的非线性光学显微镜（NLOM）具有高分辨率、深穿透、低光漂白和非干扰性，能够提供丰富的结构和功能信息，实现对各种生化现象的全面和信息丰富的分析。尽管如此，传统NLOM的视场（FOV）限制在<600微米，很难实现大规模细胞分布和相互作用的可视化，可能导致错误的判断。对肿瘤、大脑或其他组织和器官进行大面积的细胞分辨率调查是NLOM当前面临的挑战。扩大NLOM视场的典型仪器方法包括增大物镜的直径或增加物镜的数量，并设计特定的扫描路径。一些报道的计算方法，如结构光照明显微镜，在傅里叶域产生分辨率增强的拼接图像。所有这些方法都需要额外的昂贵设备和复杂的光路设计。配备高速精密机械扫描器的最先进的显微镜可以在短时间内通过扫描一系列相邻的FOVs来方便地进行大面积成像。然而，由此产生的图像容易受到背景噪声、分辨率不足和扫描伪影等不利影响，这些对于无标记非线性成像来说不可忽视。
由于计算能力的提高和可用数据量的增加，从早期的卷积神经网络（CNNs）到最近的有前景的生成对抗网络（GANs），已经提出了多种深度学习方法，并在生物医学成像中显示出了巨大的成就。这一重大进展包括超分辨率,医学诊断,细胞组分分类,以及虚拟H&E染色。其中，超分辨率重建是图像处理技术中最重要的类别之一，因为它能够克服传统显微镜的限制而无需改变系统。深度学习增强的超分辨率模型可以从劣质原始图像中提取形态细节，并为明场,荧光和光场显微镜实现显著的分辨率提升。
然而，低分辨率图像通常是使用低倍物镜捕获的，其聚焦能力和产生的光子密度对于无标记非线性成像来说是不足的，而直接增加激光强度可能会引起光漂白和光损伤。此外，在大多数情况下，退化的图像是从具有合成高斯、泊松或其他噪声的高对比度图像中生成的。这种计算退化不能保证真实性，因为实际情况总是具有完整的统计复杂性。因此，越来越需要开发成像方法来收集真实数据，特别是低质量领域，以构建可靠的配对训练数据集。一种可行的方法是实施快速共振扫描，这在宽场激发不可用的双光子激发显微镜中已得到广泛应用。然而，提高快速扫描NLOM性能以与长像素曝光NLOM竞争的高效、现实的超分辨率模型尚未实现。
为了在保证高速和分辨率的同时获得大规模多维信息而不干扰，我们展示了基于注意力引导的残差-残差密集生成对抗网络架构的深度学习自荧光-谐波显微镜（DLAM）。网络使用预先注册的收集数据集进行训练，其中图像的三色通道由三种典型的非线性光学过程形成，包括内源性黄素腺嘌呤二核苷酸（FAD）的双光子自荧光（2PA）、二次谐波生成（SHG）和内源性烟酰胺腺嘌呤二核苷酸（NADH）的三光子自荧光（3PA）。在54秒内使用共振扫描获得的5.4×5.4毫米2区域的人类病理组织无标记多模态图像，分辨率为2176×2176像素，被转换为8704×8704像素的高分辨率图像，仅需23秒。相比之下，使用振镜扫描获得相同质量图像的时间超过了10分钟。在3PA NADH通道中更严重的不良噪声和扫描伪影被显著抑制，而病理分析的语义信息在深度学习推理后被完全保留。DLAM的统计量化光学分辨率和质量指标表现出显著提高，这得益于生成器的残差密集连接和高级别感知损失26以及具有光谱归一化的判别器。此外，DLAM防止了重建伪影，并避免了传统GAN模型引起的图像变形，实现了高真实性的超高分辨率非线性成像。
图1：DLAM示意图。a 基本网络架构包括配准、RRDAB模块、卷积层、跳跃连接、上采样操作和判别器。完整的框架可以在“材料和方法”部分，注释S1-4和图S1-4中找到。b 一台商业双光子显微镜，配备快速振镜-共振扫描系统和慢速双轴振镜扫描系统。BS分光镜，CL收集透镜，DM二向色镜，NDD非扫描检测器，OB物镜，SL扫描透镜，TL镜筒透镜。
03
卓越性能
图2：深度学习增强的自荧光-谐波成像。a 人类卵巢边缘癌的5.4×5.4毫米²区域图像，通过NADH的三光子自荧光（蓝色）、胶原的二次谐波生成（绿色）和FAD的双光子自荧光（红色）合并。这些伪彩色展示在整篇文章中保持一致。白色虚线分隔了配准的输入图像和网络输出图像。白色方框指示在（b）-（d）中放大的感兴趣区域（ROIs），比较配准的输入（左）和网络输出（右）。b中的白色虚线箭头指示SFA（结构化功能异常）。白色椭圆形指示血管。e 强度剖面沿着（a）中的白色实线。黑色虚线根据上面的ROI将信号（S）和噪声（N）区域分开。f 使用GT（理想图像）作为基准，比较原始输入和网络输出图像的信噪比（SNR）。在输入和输出图像之间应用了双尾Wilcoxon配对符号秩检验。n=12个测试大图像。g DLAM的获取和推理时间与GT获取时间的比较。比例尺，a中为500微米，（b）-（d）中为200微米。
图3：人类卵巢癌的无标记多模态非线性图像。a-d 分别展示了FIGO（国际妇产科联盟）分期IA、IC、IIC和IIIC的大面积（5.4×5.4毫米²）全景图，白色虚线分隔了配准的输入图像（左上）和网络输出图像（右下）。白色方框指示在（e）-（h）中放大的感兴趣区域（ROIs），用于最高指标增强的比较（左：输入，右：输出）。每个插图中的白色实线指的是显示横截面的线。i-m 输入（粉红色）和输出（浅绿色）大图像的质量指标在直方图中进行了比较。比例尺，500微米。
参考：
Shen, B., Liu, S., Li, Y. et al. Deep learning autofluorescence-harmonic microscopy. Light Sci Appl 11, 76 (2022). https://doi.org/10.1038/s41377-022-00768-x
关注+标星 邂逅每一篇经典
