封面 | 南京理工大学左超、刘永焘综述：智能超分辨显微

创刊六十周年网页

https://www.opticsjournal.net/J/lop/60th.html

《激光与光电子学进展》于2024年第16期推出“光场智能成像” 特色专题，南京理工大学电子工程与光电技术学院智能计算成像实验室（SCILab）左超教授课题组封面文章“深度学习在超分辨显微成像中的研究进展” 总结了深度学习对超分辨显微技术的优化效果，并根据超分辨显微成像技术原理的特异性，并对领域发展进行了展望。

封面解读

昔日模糊难辨清，如今超分辨分明。

机器学习添妙笔，细微结构尽显形。

文章链接：鲁心怡, 黄昱, 张梓童, 吴天筱, 吴洪军, 刘永焘, 方中, 左超, 陈钱. 深度学习在超分辨显微成像中的研究进展（特邀）[J]. 激光与光电子学进展, 2024, 61(16): 1611002.

近年来，随着生物医学研究的快速发展，对细胞和分子水平的研究需求不断增加。然而，传统光学显微镜的分辨率受限于光学衍射极限，难以满足纳米尺度下的观测需求。超分辨显微成像技术因此应运而生，成为生物学领域研究的重要工具。传统超分辨成像技术有受激发射损耗荧光显微术（STED）、随机光学重构显微（STORM）、光活化定位显微(PALM)、结构光照明显微（SIM）、多光子非线性超分辨率成像（MPUM）等。每种超分辨显微技术利用了不同的手段突破了衍射极限，根据其成像原理，不同的超分辨技术存在着不同先天优势和固有缺陷。

深度学习是机器学习的一个分支，通过多层人工神经网络对数据进行计算处理。近年来，深度学习快速发展，产生了诸多神经网络框架，如:卷积神经网络（CNN）、生成对抗网（GAN）、和 U-Net、ResNet、Faster R-CNN网络等。神经网络具有极强的自适应性，可以通过反向传播算法对自身不断优化，以实现更好的数据拟合，同时其具备端到端的学习能力，可以实现输入端到输出端的直接映射。基于深度学习的优秀特性，将深度学习与超分辨显微成像技术相结合，利用神经网络优势克服传统超分辨显微成像技术的缺陷，并进一步提升成像分辨率。

目前主流超分辨显微成像技术有如下几种，每种技术都有其独特的优缺点和应用限制。受激发射损耗荧光显微术（STED）的实现方法是使用一束高斯激发光经由物镜照射到样品上，同时引入一束环形光束通过受激辐射将外围区域的荧光分子淬灭，两束激光精准对齐进而产生环形光中心未被淬灭的发射轮廓。STED具有空间分辨率高，可以实时成像的优点，但强耗损光会带来光漂白、光毒性、光损伤等问题。单分子定位显微镜(SMLM)技术通过在多次循环中重复随机地激发稀疏分布的荧光分子，并结合相关定位算法，实现对不重叠荧光分子的精确定位,最后将定位图像集进行整合重建，生成超分辨图像。SMLM空间分辨率极高，且可以实现多色成像，但其图像重建过程，需要对样品进行大量的图像采集，因此传统SMLM存在着时间分辨率低，无法实现活体动态成像的问题。结构光照明显微镜（SIM）使用图案照明激发荧光，通过横向相移和旋转不同的离散角度，获取一系列原始图像，并利用图像重建算法生成超分辨图像。SIM具有极高的光子利用效率，成像速度快，适用于活细胞成像。但SIM图像重建算法对计算资源要求高，且对噪声敏感，因此在成像过程中的光照畸变，采样速率不足，参数估计错误等会导致重建图像产生伪影。图1对目前的主流超分辨技术原理进行了总结以及不同神经网络对超分辨技术的优化方法与优化效果。

图1 深度学习在超分辨率成像领域应用框架图

针对降低STED光损伤问题上，深度学习展现出巨大潜力。美国佛罗里达大学的Ebrahimi等人，利用多阶段渐进图像恢复网络MPRNet，实现了将STED的像素停留时间减少1到2个数量级，进而减少对样品的光漂白与光损伤。该方法可以精准重建低曝光图像，获得高信噪比超分辨图像，实现在保证原有分辨率的前提下将STED的像素停留时间减少至原本的3.125%，成像速度极大提升。

图2 MPRNet网络架构

针对SMLM，研究人员利用深度学习提升图像重建速度，一是利用深度学习建立原始图像到重建图像的直接映射，例如：2018年Nehme提出了无参数超分辨率图像重建方法Deep-STORM，利用CNN网络实现了更快更精准的图像重建。二是利用深度学习减少图像重建所需帧数，提升图像采集效率。例如：Ouyang等人基于pix2pix网络开发了ANNA-PALM，相较于传统算法，ANNA-PALM利用生物图像的结构冗余，从采样帧数不足的SMLM数据中重建高质量图像。

图3 ANNA-PAM网络架构

利用深度学习技术，可以大幅简化SIM重建过程中复杂的计算，减少图像伪影，并提升重建速度。2020年Jin等人基于U-Net网络，使用堆叠U-Net将15张原始SIM图像作为输入，将传统SIM重建的超分辨图像作为真值进行训练，得到了U-Net-SIM15，使用该网络对未输入过网络的陌生细胞结构进行成像得到了与传统SIM重建水平相当的结果。同时，利用skiplayer连接低曝光图像训练网络和U-Net-SIM15网络，所得的scU-Net-SIM减少了5倍原始图像使用量，光子数量降低了100倍。

图4 U-Net-SIM3网络架构 

深度学习还具有将非超分辨成像技术图像分辨率提升至超分辨图像水平的能力。2018年Wang等人利用GAN网络实现了共聚焦图像与STED相匹配的分辨率，全内反射荧光显微镜（TIRF）图像获得与基于TIRF的结构光照明显微镜相匹配的分辨率。该方法降低了超分辨成像的门槛，使超分辨显微成像可以在更多系统上普及。

目前，深度学习技术在超分辨显微成像领域展现出强大的潜力，特别是在提升图像重建质量和解决逆问题方面取得了显著进展。然而，深度学习的广泛应用仍面临诸多挑战，如对大量高分辨率图像数据的依赖、训练过程中的高计算成本、以及模型可解释性不足等问题，这些因素在一定程度上限制了其在实际场景中的普及与应用。尽管如此，随着高质量公共数据集的逐步建立、神经网络模型的优化设计、无监督学习方法的深入研究以及迁移学习技术的应用，这些挑战有望得到有效克服。未来，深度学习技术在超分辨显微成像领域的应用前景十分广阔，随着技术的不断成熟与突破，它将为生物医学研究和其他相关领域带来更加创新和高效的成像解决方案。

刘永焘，理学博士，教授，博士生导师，国家级海外高层次引进人才，江苏省特聘教授。主要从事现代光学成像（超分辨光学成像和多光子成像等）、纳米光子学、纳米传感和表征及基于稀土上转换过程的多光子成像技术在生物医学方面的应用研究。主持包括国自然面上项目、国家级海外高层次人才项目、江苏省特聘教授项目多项。先后在Nature Communications, Advanced Science, Nano letters等学术期刊发表文章三十余篇，多次受邀国际学术报告，曾获得江苏省光学工程第九届“江苏省光学学会青年光学科技奖”。详情介绍见课题组网页：https://www.scilaboratory.com/FLSR/

方中，工学博士，副教授，硕士生导师，中国兵工学会会员。主要从事电磁毁伤与评估技术、活性材料及其毁伤增强技术、超声及气泡能毁伤技术、MEMS传感器设计与制造等研究。主持国家自然科学基金青年基金等国家级项目2项、省部级项目2项。作为主任设计师、专题负责人、子课题负责人、技术骨干参与国家重点研发计划、国家自然科学基金重点项目、国家自然科学基金面上项目、高新工程重大项目等国家级项目15项。

左超，工学博士，教授，博士生导师，教育部长江学者、国家“优青”、江苏省“杰青”、国际光学工程学会会士（SPIE Fellow）、美国光学学会会士（Optica Fellow）。主要从事计算光学显微成像、超快三维光学传感、计算光电成像探测、先进生物医学成像等方面的研究。主持包括国家自然科学基金国家重大科研仪器研制项目、国家自然科学基金联合基金重点项目、国家自然科学基金联合基金重点项目多项。研究成果已在SCI源刊上发表论文200余篇，其中38篇论文被选作Light、Optica 等期刊封面论文，20篇论文入选ESI高被引/热点论文，论文被引超过15000次。详情介绍见课题组网页：https://www.scilaboratory.com/