Nat Methods|哈工大赵唯淞/李浩宇/北大赵士群/陈良怡团队发明自启发去噪方法实现五维长时程超分辨成像

学术   2024-11-13 00:07   上海  

来源︱姊妹号“岚翰生命科学”

撰文︱许  昊
审阅︱曲丽颖
责编︱王思珍


活细胞超分辨荧光显微成像技术的研究中,许多研究者致力于在保持细胞生理状态的同时实现高时空分辨率成像。然而,空间分辨率的提升通常需要增加照明强度或延长曝光时间,这意味着光毒性会对细胞造成影响,同时为了防止产生运动伪影,成像系统需要与空间分辨率相匹配的高时间分辨率。因此,提高成像系统中的光子效率是实现活细胞超分辨成像的关键。深度学习,尤其是监督学习,通过训练模型拟合噪声图像与干净图像之间的映射,可以有效提升光子效率,但是这种方法需要大量的噪声和干净图像对,难以应用于活细胞成像。无监督学习提供了另一种可能,它不需要成对的噪声和干净图像,但目前的方法仍需要大量的噪声图像对进行学习,且去噪效果有效、数据效率不高。因此,开发一种在数据有限的情况下,无需噪声图像对,能够通过无监督学习提高超分辨显微系统的光子效率的方法是目前领域内的一个挑战。

近期,哈尔滨工业大学赵唯/李浩宇团队与北京大学赵士群/陈良怡团队合作在Nature Methods上发表论文Self-inspired learning for denoising live-cell super-resolution microscopy他们提出一种基于无监督学习的自启发学习去噪方法(SN2N),将光子效率提升了两个数量级,实现了低光照条件下的温和、长时程活体成像。该技术为在超分辨尺度下研究细胞器互作原理及其他生物医学研究提供了新的科学影像工具。

 

N2N(Noise2Noise)启发,研究团队提出了SN2N去噪方法,该方法包括基于超分辨成像空间冗余特征的通用、稳定的自监督数据生成策略和自约束学习过程,显著提高了超分辨共聚焦显微镜的光子效率,成功恢复了真实世界采集的图像。SN2N的原理如图1a所示。该方法由基于N2N的自监督数据生成和自约束学习两部分组成。在超分辨荧光显微成像系统中,每个超分辨图像都是由系统的点扩散函数(Point Spread FunctionPSF)卷积不同空间位置处相应的荧光团亮度形成的,而系统的每个PSF都占据至少2×2像素的面积。对于这种空间冗余,该研究提出一种对角线重采样的方法(即将每四个相邻像素(2×2)的两个对角像素平均为一个新像素)将一张超分辨图像重新采样为两个子图像,得到了内容最为相似的图像对,无需额外的校准。将由对角线重采样得到的两个子图像变换到傅里叶域中并用零填充,逆傅里叶变换得到与原始超分辨图像尺寸相同的新图像。由于不同噪声的形成方式存在差异,训练集数据不足时传统的N2N方法存在预测不确定性和去噪性能有限等问题,该研究设计了一种考虑噪声数据对中相同基础内容的自约束学习过程,将噪声对连续且单独地馈送到网络中,并通过带有自约束项的损失函数计算结果。实验结果表明在超低信噪比条件下,SN2N方法的去噪表现明显优于经典的去噪方法(如泊松无偏风险估计等)以及N2N的其他近似方法(图1b-e,非常接近监督学习的去噪效果。此外,SN2N仅需单张噪声图像即可进行训练,该研究通过选择不同数据大小的单帧图像测量多种方法的各项评价指标的变化趋势,结果发现,SN2N方法缓和了数据池缩小产生的影响,体现了使用有限数据量时的先进去噪能力(图1f

1 SN2N的原理图和仿真验证。a, SN2N的原理概述; b, 使用合成微管结构验证SN2N; c, b的数据不确定性结果; d, 去噪图像的FRC分析; e, 不同噪声水平下各种去噪方法的SSIM; f, 不同数据量训练的网络的PSNR值。比例尺: 1 μm (b)


在实验中,该研究展示了SN2N方法应用在固定的COS-7活细胞的微管、溶酶体和线粒体外膜的成像结果(图2,当数据量较低(如仅使用单帧)时,SN2N相比于监督学习的表现更为出色。通过利用其固有的数据效率和进一步合理的数据扩充,SN2N充分利用了可用数据的潜力,产生了卓越的模型和数据不确定性。单帧训练SN2N受信噪比下降的影响较小,为探索更复杂的多色活细胞SD-SIM数据去噪任务提供思路。

2 使用已知结构进行SD-SIM实验的系统评价。a, SpinSR10 SD-SIM系统下对Argo-SIM幻灯片进行基准测试; b, a中图像的LRQ; c, 平均SSIM(n = 10); d, a中图像的FRC分析; e, 10张重复采集的噪声图像中预测去噪图像的STD; f, 固定COS-7细胞微管成像结果; g, f中白框包围的放大区域; h-j, 不同训练数据量(n = 10)的平均SSIM; k, 分别由10个独立帧和10个独立训练模型的STD量化的数据和模型不确定性; l, m, 固定COS-7细胞中溶酶体(l)和线粒体(m)去噪结果; n, o, l (n)m (o)成像结果的SSIM(n = 10)。比例尺: 1 µm (a, f); 500 nm (g); 2 µm (l, m)


研究者将SN2N方法,结合RLRichardson-Lucy)解卷积技术提高分辨率,开发RL-SN2N方法,并应用于基于转盘共聚焦超分辨显微系统(Spinning Disk Confocal Structured Illumination Microscopy, SD-SIM),实现了清晰的四色活细胞成像(图3SN2N使得快速而复杂的细胞器动态过程得以可视化,研究者进一步对不同细胞器的轨迹和空间分布进行详细记录,追踪多个细胞器之间的相互作用事件,深入探索细胞器之间的协同作用和相互作用关系。

3 RL-SN2NSD-SIM上实现四色活细胞超分辨成像。比例尺: 2 µm


研究者还在上述SD-SIM四色活细胞成像数据上,将RL-SN2N与多种无监督去噪方法进行了对比,包括Noise2VoidN2V[1] parametric probabilistic Noise2VoidPPN2V[2]Self2SelfS2S[3]Recorrupted2RecorruptedR2R[4]Noise2FastN2F[5]DeepCAD [6]DeepSeMi [7]SRDTrans [8]RL-SN2N能够清晰地解析亚细胞器尺度上不同细胞器的互作关系。相比之下,其他无监督去噪方法在这种超低信噪比条件下未能有效去除噪声,无法提供良好的数据去噪结果(图4这突显了RL-SN2N在极低信噪比成像数据处理中的显著优势。

4 SN2NSD-SIM四色活细胞数据上与其他无监督去噪方法的去噪效果对比。比例尺:1 µm


研究团队还使用所开发的RL-SN2N方法在SD-SIM系统上成功实现了分辨率高达90纳米的五维(xyz-颜色-时间)长时程活细胞超分辨成像该技术揭示了在整个细胞有丝分裂过程中内质网(洋红色)、线粒体(绿色)和细胞核(青色)之间的动态组学互作,监测时间超过3小时通过RL-SN2N,研究者能够在超分辨尺度下清晰地观察到密集的内质网-线粒体网络的分离过程及其相互作用(图5

5 SN2N实现五维长时程活细胞成像,记录有丝分裂完整过程。比例尺: 5 µm


文章结论与讨论,启发与展望

形象地说,SN2N技术就像一面神奇的镜子,通过自我反射和自我启发,将模糊的图像转化为清晰的图景,把那些难以辨识的生物信息逐渐呈现出来。它就像一位出色的解密者,能够将隐藏在迷雾中的生物世界的秘密一一揭示。SN2N巧妙地利用了超分辨率显微成像系统的物理特性,无需大量匹配图像的辅助,使得活细胞温和、长时程的超分辨成像成为现实。


SN2N不仅打破了传统超分辨显微成像技术在光子效率和数据需求方面的瓶颈,还能应用到多种现有的超分辨显微镜系统。通过SN2N,生物学家能够在长时程、高分辨率下,清晰地观察细胞内部复杂的动态变化,从而更精准地解读细胞的功能与机制。这一技术的应用,为深入探索细胞内部结构提供了全新的视角,同时也为生物医学研究和疾病机制的解析提供了强有力的工具。

原文链接:https://doi.org/10.1038/s41592-024-02400-9

哈尔滨工业大学博士研究生曲丽颖为论文的第一作者,论文共同第一作者还包括北京大学赵士群副研究员和哈尔滨工业大学博士研究生黄园园。哈尔滨工业大学仪器学院赵唯淞教授为论文的通讯作者;哈尔滨工业大学李浩宇教授、谭久彬院士,北京大学陈良怡教授为论文的共同作者。

赵唯淞课题组全家福
(照片提供自赵唯淞团队)


通讯作者简介:赵唯淞,哈尔滨工业大学仪器科学与工程学院,教授/博导,获国家基金委优青项目资助。主要从事生物医学显微成像技术的研究,聚焦于超分辨显微镜、计算成像、机器学习、生物信息学等。以第一/通讯(共)作者身份在Nature BiotechnologyNature PhotonicsNature Methods等期刊发表学术论文。长期担任Nature MethodsNature Photonics等期刊审稿人。课题组资金充沛,与国内外多家顶级科研院所均有合作,目前招收仪器、光学(物理)、计算机、电子工程、生物医学工程等专业研究生,博士后1人(有生物荧光显微成像、计算机视觉背景优先)。有意者请投递简历,一起探索下一代生物医学成像与分析新技术。课题组中文主页:http://homepage.hit.edu.cn/weisongzhao英文主页 https://weisongzhao.github.io/home/


第一作者作者简介:曲丽颖,哈尔滨工业大学仪器科学与工程学院博士生,已获得哈尔滨工业大学春雁英才计划副研究员预留师资资格。研究方向为:深度学习驱动的超分辨显微成像技术。以共一第一身份在Nature Methods上发表论文一篇;在Nature Photonics(排名6/16)、Light: science & applications(排名4/17)等期刊发表文章;获得中国激光杂志社第二届青衿奖;获得哈尔滨工业大学点子基金项目资助。


基金支持:赵唯淞教授:国家重点研发计划(2022YFC3400600),国家自然科学基金(3242205262305083 T2222009),中国科协青年托举工程(2023QNRC001);李浩宇教授:中国国家自然科学基金(T2222009),黑龙江省自然科学基金(YQ2021F013);陈良怡教授:中国国家重点研发计划(2022YFC3400600),中国国家自然科学基金(32227802219278138192502292054301),北京自然科学基金(Z20J00059


转载须知“岚翰生命科学”特邀稿件,且作者授权发布;本内容著作权归作者和“岚翰生命科学”共同所有;欢迎个人转发分享,未经授权禁止转载,违者必究。

     



     
【神经科学前沿技术培训系列】

【光遗传学与遗传编码钙探针和神经递质探针工作原理及应用】【在体成像技术在神经科学研究的基础与应用】(第九期)。时间 待定(周六至周一);地点 南京

【脑片膜片钳记录系统的操作和应用】(第六期)。时间 2024126-8;地点 南通

【神经科学前沿技术整合:当在体电生理邂逅光遗传】(第一期),时间 2024119-11(周六至周一);地点 南京

全国前沿组织透明化与三维成像理论和技能培训班(第二期),时间 待定;地点 武汉

【疾病研究与动物行为学系列】

阿尔兹海默症最新研究进展和热点与动物行为学实验设计思路和数据分析(第二期。时间 2025323(周日),地点 线上

“理论知识,操作技能,科研思维”

报名方式:15108204441(电话)Wang_Sizhen(微信)
(点击标题阅读全文)

岚翰生命科学群:文献学习
扫码添加微信,并备注:岚翰-文献-姓名-单位-研究领域-学位/职称
(注:不按要求格式备注,则不通过好友申请)
     
参考文献
【1】Krull, A., Buchholz, T.-O. & Jug, F. Noise2void-learning denoising from single noisy images. Proceedings of the IEEE/CVF Conference on CVPR, 2129-2137 (2019).

【2】Prakash, M., Lalit, M., Tomancak, P., Krul, A. & Jug, F. Fully unsupervised probabilistic Noise2Void. 2020 IEEE 17th International Symposium on Biomedical Imaging (ISBI), 154-158 (2020).

【3】Quan, Y., Chen, M., Pang, T. & Ji, H. Self2self with dropout: Learning self-supervised denoising from single image. Proceedings of the IEEE/CVF Conference on CVPR, 1890-1898 (2020).

【4】Pang, T., Zheng, H., Quan, Y. & Ji, H. Recorrupted-to-recorrupted: unsupervised deep learning for image denoising. Proceedings of the IEEE/CVF Conference on CVPR, 2043-2052 (2021).

【5】Lequyer, J., Philip, R., Sharma, A., Hsu, W.-H. & Pelletier, L. A fast blind zero-shot denoiser. Nature Machine Intelligence 4, 953-963 (2022).

【6】Li, X. et al. Reinforcing neuron extraction and spike inference in calcium imaging using deep self-supervised denoising. Nature Methods 18, 1395-1400 (2021).

【7】Zhang, G. et al. Bio-friendly long-term subcellular dynamic recording by self-supervised image enhancement microscopy. Nature Methods 20, 1957–1970 (2023).

【8】Li, X. et al. Spatial redundancy transformer for self-supervised fluorescence image denoising. Nature Computational Science 3, 1067–1080 (2023).
 
编辑︱王思珍
本文完



逻辑神经科学
以逻辑之学术思维,探索神经科学奥秘;汇百家争鸣,促求真明理。
 最新文章