Banner
本文由论文作者团队投稿
活细胞超分辨荧光显微成像技术的发展目标是在生理友好的成像条件下保持足够的时空分辨率。然而，提升空间分辨率通常需要增加照明强度或延长曝光时间，同时还需匹配时间分辨率以防止运动伪影，因此活细胞超分辨成像中光子效率的提升至关重要。
深度神经网络利用监督学习拟合噪声图像与干净图像之间的映射，能够显著提升光子效率，然而其需要收集大量配对的干净图像，难以应用于活细胞。另一方面，无监督学习去噪方法给超分辨成像提升光子效率提供了另一种选择，但仍需要大量的噪声图像对进行学习，去噪效果有限且数据效率低。因此，如何能在有限的数据下、在无需噪声图像对条件下，开发无监督学习去噪方法提升超分辨显微系统光子效率，实现活细胞超分辨尺度下长时程成像目标，仍是目前领域内的挑战。
近日，哈尔滨工业大学赵唯淞教授团队提出了一种自启发学习超分辨去噪方法（Self-inspired Noise2Noise,SN2N）。首先利用超分辨系统的空间采样冗余特性设计自监督数据生成策略，从单张图像生成所需的噪声对图像作为数据集；同时开发自约束学习策略，进一步提高去噪性能和数据效率，仅使用单一噪声图像即可去噪，在无需大训练集和高信噪比真值图像的条件下，将光子效率提升了两个数量级，实现了在低光照条件下的温和、长时程活体成像。此外，SN2N可与多种常用光学超分辨显微成像技术结合，成为一种易于使用的光子通量提升工具。
该成果近期在Nature Methods上发表，题为Self-inspired learning for denoising live-cell super-resolution microscopy。哈尔滨工业大学博士研究生曲丽颖为论文的第一作者，哈尔滨工业大学仪器学院赵唯淞教授为论文的通讯作者；论文共同第一作者还包括北京大学赵士群副研究员和哈尔滨工业大学博士研究生黄园园；论文的共同作者包括哈尔滨工业大学李浩宇教授、谭久彬院士，北京大学陈良怡教授。
SN2N提升SR共聚焦显微镜光子效率
受N2N(Noise2Noise)启发，研究团队提出了SN2N去噪方法，该方法包括基于超分辨成像空间冗余特征的通用、稳定的自监督数据生成策略和自约束学习过程，显著提高了超分辨共聚焦显微镜的光子效率，成功恢复了真实世界采集的图像。在实验中，该研究展示了SN2N方法应用在固定的COS-7活细胞的微管、溶酶体和线粒体外膜的成像结果（图1），当数据量较低（如仅使用单帧）时，SN2N相比于监督学习的表现更为出色。通过利用其固有的数据效率和进一步合理的数据扩充，SN2N充分利用了可用数据的潜力，产生了卓越的模型和数据不确定性。单帧训练的SN2N受信噪比下降的影响较小，为探索更复杂的多色活细胞SD-SIM数据去噪任务提供思路。
图1：在SD-SIM系统上验证SN2N方法的有效性。将SN2N方法应用于固定COS-7细胞的微管（a）、线粒体外膜（b）和溶酶体（c）成像。比例尺:1 µm（a）; 2 µm（c, d）
RL-SN2N在转盘共焦超分辨显微系统上实现多色活细胞成像
该研究将SN2N方法与RL反卷积技术相结合（RL-SN2N），同时实现伪影去除和分辨率增强(图2)，并将RL-SN2N应用扩展到溶酶体（红色）、高尔基体（蓝色）、线粒体基质蛋白（绿色）和内质网（灰色）的四色活细胞成像(图3a)。
图2 RL-SN2N工作流程图
通过与原始图像比较，RL-SN2N可以消除系统固有的噪声，提供可信的重建结果，可用于监测来自模糊捕获的多个细胞器相互作用。在延时SR成像过程中，图像的信噪比和对比度稳定增加(图3b)，可清晰观察多个细胞器之间的相互作用事件，深入探索细胞器之间的协同作用和相互作用关系。
RL-SN2N实现五维（xyz-时间-颜色）活细胞长时程成像
该研究将RL-SN2N应用于RL反卷积和U-Net的3D模式，通过进一步增强轴向对比度以实现3D超分辨成像。RL-SN2N实现了整个细胞有丝分裂过程中内质网（洋红色）、线粒体（绿色）和细胞核（青色）的动力学特征及相互作用的观测，成像时间长达三个小时（图4a），并清楚地监测了分离过程(图4b)和密集内质网-线粒体的相互作用（图4c）。
ExM-SN2N展示卓越去噪性能
膨胀显微镜（ExM）通过化学方法放大样本的尺寸，突破了衍射极限，实现了系统无关的超分辨成像。然而，考虑到荧光团数量，样本空间扩展会导致信噪比（SNR）几何性地降低，具体取决于扩展倍数。研究者成功在宽场显微镜下实现了ExM-SN2N技术，使得在2倍和4倍扩展下分别获得约110纳米和67纳米的高质量超分辨成像（图5）。在不同噪声水平下，经过SN2N去噪处理后，ExM结果的信号与背景比（SBR）显著改善。
图5：使用SN2N提升ExM成像信噪比。（a）基于宽场显微镜的COS-7活细胞ExM的2倍（上）和4倍（下）成像（左）及ExM-SN2N结果（右）；（b）a中白色箭头所示细丝的强度分布图和多重高斯拟合；比例尺:5 µm
SN2N抑制SIM重建伪影
结构光照明显微镜（SIM）因其高光子效率而受认可，但要避免伪影，SIM重建需具备足够高的信噪比（SNR）。为此，研究者在SIM重建中引入了SN2N方法，通过原始图像的重采样策略尽量减少伪影（图6a）。使用BioSR数据集在高（H）、中（M）和低（L）SNR下评估了SIM-SN2N的性能，结果显示其在多种条件和样本中能稳定分离真实特征与伪影，获得较高的结构相似性指数（SSIM）值（图6b）。
图6：使用SIM-SN2N（SIM重建法）抑制SIM重建伪影。（a）算法流程图；（b）BioSR数据集下去噪效果。比例尺:2 µm
然而，在极低SNR下进行超快SIM成像时，参数估计不稳定，传统重采样方法可能导致重建失败。此外，SIM重建中的频率重组伴随人工2倍上采样会破坏像素独立性，限制SN2N的直接应用。为解决这一问题，研究者设计了新的空间采样策略，将3×3像素作为单元，采用四方向平均后进行3倍傅里叶上采样（图7a）。此策略有效消除了SIM重建图像中的伪影，仅对SSIM产生轻微影响（图7b）。
图7：使用SIM-SN2N（无需SIM重建）抑制SIM重建伪影。（a）算法流程图；（b）BioSR数据集下去噪效果。比例尺:2 µm
在实际应用中，研究者将SN2N应用在了2D-SIM成像的线粒体嵴中（图8a），背景伪影在低SNR下明显加重，而SIM-SN2N有效抑制了伪影，实现了高保真图像。在188 Hz（约0.6毫秒曝光时间）超快速TIRF-SIM实验中，传统重采样方法未能提供合格的重建结果，而新策略成功实现了6800帧连续高质量SR图像，显著提升了活细胞成像的稳定性与准确性（图8b）。
图8：SIM-SN2N在低信噪比SIM图像中有效消除了随机非连续伪影。（a）COS-7细胞中线粒体嵴的2D-SIM与SN2N-SIM成像效果；（b）COS-7活细胞在超快速TIRF（左）、TIRF-SIM（中）和SIM-SN2N（右）成像下效果。比例尺:2 µm（a）;1 µm（b）
未来展望
SN2N不仅打破了传统超分辨显微成像技术在光子效率和数据需求方面的瓶颈，还能应用到多种现有的超分辨显微镜系统。
通过SN2N，生物学家能够在长时程、高分辨率下，清晰地观察细胞内部复杂的动态变化，从而更精准地解读细胞的功能与机制。这一技术的应用，为深入探索细胞内部结构提供了全新的视角，同时也为生物医学研究和疾病机制的解析提供了强有力的工具。
未来，研究者们期望将自启发学习去噪方法和基于物理模型的解卷积技术，包括稀疏解卷积方法，SACD算法以及其他超分辨方法进一步结合，以实现超高通量、超长时程多色深层超分辨成像系统，并致力于建立智能化的多类细胞器高精度互作分析平台，完成最终使命。
论文信息
Qu, L., Zhao, S., Huang, Y. et al. Self-inspired learning for denoising live-cell super-resolution microscopy. Nat Methods 21, 1895–1908 (2024).
Banner
