前沿:基于电控变焦透镜的高速多模态扩展景深显微术

文摘   科学   2024-06-12 17:20   北京  

撰稿人:南京理工大学 博士研究生 张润南教授 左超

研究背景

随着生命科学领域的快速发展,对活体内动态生物样本进行快速且精细的大体积成像的需求变得日益迫切。然而,传统光学显微镜的成像能力受限于有限的景深(Depth-of-Field, DOF),这一景深主要由物镜的焦深决定。在景深范围内的样本部分能够清晰展现细节,而超出这一范围的区域则因系统散焦点扩散函数(Point Spread Function, PSF)的影响而变得模糊。此外,尽管高分辨率始终是显微成像技术追求的目标,但光学信号中的高空间频率信息,即光场中较大的波矢量角,虽然能够提升显微镜系统的空间分辨率,却也会加快焦点的发散速度,进而缩小景深,影响三维厚样本的成像质量。这导致在常规的光学显微镜中,高空间分辨率往往与较小的景深相伴随。因此,探索能够突破这些局限的新兴技术,已经成为该领域内一个极具吸引力的研究方向。

扩展景深(Extended Depth-of-Field, EDOF)显微技术能够直接对厚样品进行全聚焦成像。现有的EDOF技术,例如孔径编码方法,通过对光瞳函数的振幅和相位进行调制,能够在无需移动样本的情况下实现数十微米的景深。但这通常需要额外的硬件,如振幅或相位掩模,导致光线效率低下,景深的扩展也受到限制。光场显微镜作为快速体成像的强大工具,适用于弱散射或荧光样本。通过在传统显微镜的光路中引入微透镜阵列,可以捕捉样本体通过的光的侧向和角度分布。然而,光场的大景深是以牺牲空间分辨率为代价的,这种分辨率受到微透镜阵列大小和传感器像素分辨率的限制。聚焦扫描技术以其高光子效率提供了解决方案,包括机械扫描或使用如电控变焦透镜(Electrically Tunable Lens, ETL)、可变形镜等高速设备。但在非相干或部分相干的圆形照明方案中,EDOF成像的对比度和分辨率可能会受到限制。与此同时,部分相干照明光源在光学衍射层析(Optical Diffraction Tomography, ODT)显微技术中的应用,提供了改善空间分辨率、光学层析和斑点噪声抑制等基本优势。尽管如此,样本复折射率的相位和吸收信息对测量强度的贡献,使得使用单一线性反卷积滤波器来分离这两种信息变得具有挑战性。本研究团队发现,通过聚焦扫描可以有效地消除相位信息,实现EDOF吸收信息的解耦。

基于上述研究背景,本研究中,研究团队开发了一种基于环形部分相干照明的EDOF技术,称为AI-EDOF技术。这一技术利用一个高速ETL器件,将其精准地放置在商用倒置显微镜筒镜后部的4f远心模块的傅里叶平面上,使得系统能够实现高速聚焦扫描(最高速度高达约1kHz)。研究进一步分析了通过用环形孔径替换传统的圆形照明孔径的传递函数响应,部分相干匹配的环形照明不仅大大增强了成像对比度,而且将实际成像分辨率提高到接近非相干衍射极限(约194nm半宽,0.8 NA)。此外,研究团队采用了一种基于总变分的迭代Richardson-Lucy反卷积的改进形式,它可以在低光快速曝光下抑制不稳定振荡,同时保持物体边缘的清晰度。这些进展不仅推动了显微成像技术的发展,也为生命科学领域的研究提供了新的视角和工具。

导读

近日,南京理工大学电子工程与光电技术学院智能计算成像实验室(Smart Computational Imaging Laboratory, SCILab)研究团队在Laser & Photonics Reviews上发表题为“High-Speed Multi-Modal Extended Depth-of-Field Microscopy with an Electrically Tunable Lens”的文章。博士生张润南为文章的第一作者,陈钱教授与左超教授为共同通讯作者,南京理工大学为论文的唯一通讯单位。


主要研究内容

本文介绍了一种创新的显微技术——基于部分相干环形照明的扩展景深(AI-EDOF)技术。这一技术通过可编程LED阵列对传统显微镜的照明模式进行了改进,并结合高速ETL器件,使得对厚样本进行无移动、高空间分辨率的实时全聚焦成像成为可能。得益于ETL的高速扫描特性,三维样本的强度分布得以沿z轴积分,并有效地投影到二维成像平面上本研究基于经典的傅里叶切片定理,该定理指出二维函数的傅里叶谱的一维切片即是该二维函数正交积分投影的傅里叶变换,这是计算机断层扫描(Computed tomography, CT)技术的核心原理。研究团队进一步将此定理二维拓展到三维:三维点扩散函数(PSF)与三维光学传递函数optical transfer function, OTF构成傅里叶变换对。在这个框架下,三维OTF的二维切片实际上是三维PSF正交积分投影的二维傅里叶变换。研究中还发现,在光学衍射层析显微(optical diffraction tomography, ODT技术中,样本的复折射率中的相位和吸收信息均对测量强度有所贡献,这使得使用单一线性反卷积滤波器来分离这两种信息面临挑战。然而,由于相位点扩散函数沿z轴的奇对称性,通过轴向扫描可以消除相位信息,仅保留吸收信息的贡献AI-EDOF技术的普适性使其不仅适用于透射式部分相干照明成像,也适用于非相干荧光成像模式,实现了多模态EDOF技术。这不仅扩展了成像技术的适用领域,也显著提升了其在生物医学研究中的潜在应用价值和重要性。通过对转基因斑马鱼幼虫和果蝇幼虫在环形部分相干照明和宽场荧光条件下进行的多模态成像,以及秀丽隐杆线虫在多模态下的实时成像(速度约为每秒30帧),文章充分验证了该方法的有效性。

      1 景深延拓显微技术光路图。在显微镜原始成像面后搭建一个4f远心系统,将ETL放置于4f系统的傅里叶平面,在与图像平面共轭的sCMOS传感器上拍摄最终图像。使用可编程的LED阵列进行部分相干照明。通过改变ETL的焦距来精确控制成像系统的聚焦位置,从而在不移动样本的情况下实现快速的聚焦扫描

技术突破与创新点

在显微成像系统中,图像的形成通常可以通过傅里叶变换和瞳孔平面上的线性滤波来描述。相干成像系统在复振幅上表现出线性,而非相干成像系统则在强度上是线性的。然而,对于部分相干成像,图像强度与物体、光源和成像系统之间的非线性关系使得图像形成过程更为复杂。在宽场荧光成像模式下,由于荧光点源受激发射通常可以被认为是非相干的光源,成像平面上得到的最终强度可以看作是不同发射点源强度的叠加。而在明场成像中,使用准单色光源时,照明的空间相干性是可以调节的,这对于控制景深、成像对比度和空间分辨率等关键参数至关重要。以 2a展示的标准6f光学系统为例,一个非相干的光源(即聚光镜的出口瞳孔)照亮了一个具有复透射率的物体。这个透射率可以表示为吸收和相位的乘积,其中包含了物体在二维空间坐标上的分布信息。6f Köhler照明和远心探测光路结构,几乎适用于所有的明场显微镜通过物镜成像后,进一步考虑光源在光阑平面上的强度分布,以及它如何在傅里叶空间中与物体的傅里叶谱相互作用,可以推导出物体在成像平面上的图像。这个过程涉及到光强度的叠加,导致观察到的图像强度并不是物体透射率的线性表达。通过区分样品和系统的贡献,引入了如 2b所示的交叉传输系数(transmission cross-coefficient, TCC)的概念,能够帮助理解图像强度与样品振幅之间的关系。为了简化数学表述并线性化成像形成,通常采用弱物体(weak object)近似。在这个近似下,物体的复杂透射率可以简化为吸收和相位的线性组合,使得图像对比度的来源——吸收和相位——得以清晰地区分。文章定义了弱物体传递函数(weak object transfer functionWOTF),它代表了在特定条件下,物体对成像平面上图像的贡献。不同空间相干性照明条件下的WOTF 2c所示,归一化的截止频率从相干照明下的1拓展到部分相干照明下的1+S,截止频率与照明的相干性参数S相关。

图 2 部分相干显微镜的成像理论。a) 6f Köhler照明和远心成像系统。聚光镜光阑可以被视为一个具有有限大小的非相干扩展源。AS,孔径光阑(光源);CL,聚光镜;S,样品;O,物镜;OP,物镜瞳孔;TL,镜筒透镜;Cam,相机;b) TCC和WOTF的几何解释;c) 在不同空间相干性下的聚焦WOTF。
当离焦的因素考虑到传递函数中,能够更准确地模拟成像过程。通过将轴向离焦考虑到传递函数中,可以得到描述成像系统对物体吸收和相位信息响应的函数,吸收离焦传递函数如图 3所示。尽管增加空间相干性可以提升成像的截止频率,但这种方法存在两个主要的局限性。首先,与相干成像相比,部分相干成像在中频范围内的对比度会有所下降,这影响了高频细节的清晰度。其次,随着空间相干性的减少,特别是在非相干成像情况下,成像系统的离焦传递函数会迅速衰减,导致非相干成像的景深较小。为了克服这些局限,采用了环形照明模式,这种模式通过匹配数值孔径,不仅增强了高空间频率的成像对比度,而且还显著提高了成像系统的离焦响应传递函数,使其接近非相干衍射极限,从提高了成像系统的空间分辨率。

图 3 不同照明图案下的离焦传递函数。a1–a3) 在S=0.1的圆形照明下,离焦传递函数|ATF|;b1–b3) 在S=0.5的圆形照明下,离焦传递函数|ATF|;c1–c3) 在S=1的圆形照明下,离焦传递函数|ATF|;d1–d3) 在S=1且ΔS=0.05的环形照明下,离焦传递函数|ATF|。

在二维光学成像理论中,一个薄物体通常被表示为由吸收成分和相位成分组成的二维复透射率函数。当对三维物体进行成像时,很自然地可以将其扩展到三维图像的生成,即三维ODT。一个三维样品可以通过其散射势来表征,在明场显微镜中,三维强度图像可以写成散射势的实部和虚部与相应的相位和吸收点扩散函数卷积的线性叠加。对于三维ODT成像而言,照明的相干性对于获得高质量图像同样非常重要。在先前的研究中,照明孔仅限于圆形,这与Köhler照明光路非常吻合,使用可变的圆形光阑来控制照明的空间相干性。然而,也应该注意到,聚光镜孔径光阑的形状也可以被调控以优化OTF的形式,从而提高成像性能。

实验采用了一个均匀的环形光源,其数值孔径与物镜相匹配。图 4展示了在不同相干照明下的OTF(包括圆形 S = 1,环形 ΔS = 0.2,ΔS = 0.05)。如图 4b1 所示,在 S = 1 的圆形照明下,三维吸收传递函数(absorption optical transfer function, AOTF)的能量主要集中在低频响应上,而相位传递函数(phase optical transfer function, POTF)不存在。如图 4b2,b3 所示,当使用环形照明时,AOTF的高频响应趋于更多,而POTF由于部分相干照明而出现响应。如果环形的厚度变窄,高频分量所占比例更大。从图中可以直观地看出,3D OTF在对称照明下具有显著的空间对称性,所有的OTF通常关于z轴具有大致的圆对称性,并且所有OTF在截止频率区域之外通常具有接近零的值。AOTF和POTF(分别如图 4b1 和 b3 所示),沿z轴具有奇偶对称性。对于单次全聚焦成像,2D全聚焦PSF为3D PSF沿z轴的积分投影。根据傅里叶切片定理,吸收和相位的全聚焦传递函数,即2D全聚焦PSF的傅里叶谱,可以看作是3D OTF的中心切片。可以根据这一特性解耦吸收信息。此外,这一特性对于非相干荧光计算机断层扫描成像也至关重要。结果表明,由于对称性,单次全聚焦图像中的相位信息消失,只记录了吸收部分,从而解决了耦合的相位和吸收问题。只需要考虑AOTF即可。图 4f 中相应的一维线形剖面分别比较了不用照明模式下AOTF的频率响应。最高频率响应(如图中的箭头所示)如果环形的厚度变窄则变得更大。环形的半径将决定截止频率,而环形的厚度将影响频率响应。可以推断出,应该选择直径等于物镜瞳孔的环形,并尽可能使其厚度小,以优化频率响应和成像分辨率。然而,如果环形宽度太窄,频率响应在某些高频率下会非常陡峭。因此,在实际实验中应该选择适当的宽度。

图 4 部分相干显微镜中的三维光学衍射层析成像(3D ODT)理论。a) 一个由吸收(一个倾斜的USAF目标)和相位(一个倾斜的星形目标)组成的三维物体;b1–b3) 分别在S=1的圆形照明和ΔS=0.2与ΔS=0.05的环形照明下,三维AOTFs(吸收光学传递函数)和POTFs(相位光学传递函数)的二维截面;c1–c3) 在两个特定的图像平面z1和z2上的强度,其吸收和相位是耦合的。单次拍摄的全聚焦扫描强度仅保留吸收部分;d) 对应于(b1)–(b3)的三维AOTFs的可视化;e) 单次拍摄的AOTFs,对应于(d)中的三维AOTFs的中心切片;f) 分别对应于(e)中的sAOTFs的一维线形剖面。

为了定量验证实验系统和RL-TV反卷积方法的性能,首先对一个USAF分辨率标靶进行了实验。使用20×/0.8NA物镜以及一个额外的2倍增倍镜,以避免像素混叠问题。一个吸收分辨率标靶(Ready Optics Company, 美国)以大约25度的角度倾斜在三维空间中,如图 5a所示。本文所提出的EDOF方法与传统的圆形照明(S=1)以及不同宽度的部分相干匹配环形照明(ΔS=0.2和ΔS=0.05)进行了比较。可以看出,在圆形照明下获得的图像非常模糊,而在环形照明下的图像包含更多高频信息。在圆形照明下,反卷积图像的分辨率与匹配环形照明相比受到限制。然而,尽管高频响应得到了增强,如果环形宽度非常窄,反卷积后的图像对比度更容易受到高频噪声的干扰。比较图 5b2和图 5b3,以及它们在图 5c1和c2中显示的一维线形剖面,可以看到ΔS=0.05的低频信息强度(如图 5c1所示)低于ΔS=0.2,并且更容易受到高频噪声的干扰,而ΔS=0.2的图像对比度更加平衡。如图 5所示,在圆形照明下反卷积后达到的最高分辨率为488纳米(11-1),通过匹配的环形照明反卷积后提高到388纳米(11-3),并且与理论的非相干衍射极限388纳米(NA=0.8)非常吻合。总体而言,考虑到成像分辨率和对比度,接下来的生物学实验选择了ΔS=0.2的匹配环形照明

图 5 使用RL-TV反卷积在不同照明条件下对倾斜的USAF分辨率目标进行的EDOF实验结果。a) 通过三维RL反卷积计算得到的倾斜3D图案;b1–b3) 分别在圆形和环形照明下获得的图像以及反卷积结果;c1,c2) 反卷积图像中1和2对应的线条剖面图,用以比较成像分辨率和对比度。

通过对转基因斑马鱼幼鱼Tg(fli1:eGFP)和果蝇幼虫进行成像,展示了AI-EDOF技术的能力。在环形照明、宽场荧光成像以及两种成像模式的叠加下得到的EDOF结果如图 6所示。使用10×/0.4NA物镜对斑马鱼幼鱼进行成像,在单一焦平面上具有有限的景深,通过RL-TV反卷积恢复的AI-EDOF吸收信息可以清晰地看到视网膜、后脑和耳囊。在宽场荧光成像下的单一焦平面上具有有限的景深,相应的反卷积EDOF结果展示了前脑、中脑、后脑、眼睛、孵化腺和神经管都可见。这表明斑马鱼幼鱼处于20节段分期(受精后19小时)。使用40×/0.6NA物镜对果蝇幼虫样本成像,环形照明下的单次聚焦扫描图像相应的反卷积结果可以看到果蝇幼虫腿部的胫骨和跗骨被清晰地恢复出来,宽场荧光成像下的单次聚焦扫描图像如图相应的反卷积EDOF结果中,跗节段和异位肌纤维清晰可见。两种模式的叠加显示了互补的信息。

图 6 对转基因斑马鱼Tg(fli1:eGFP)幼鱼和果蝇幼虫的双模态EDOF实验结果。a1) 在z = 10微米的环形照明模式下捕获的斑马鱼幼虫原始图像;a2) 全聚焦的原始图像;a3) a2的反卷积结果;b1) 在z = 0微米的宽场荧光成像模式下捕获的斑马鱼幼虫原始图像;b2) 全聚焦的原始图像;b3) b2的反卷积结果;c) 图a3和图b3的双模态叠加EDOF结果,比例尺为150μm;d1) 在z = -5微米的环形照明模式下捕获的果蝇幼虫腿部原始图像;d2) 全聚焦的原始图像;d3) d2的反卷积结果;e1) 在z = 5微米的宽场荧光成像模式下捕获的果蝇幼虫腿部原始图像;e2) 全聚焦的原始图像;e3) e2的反卷积结果;f) 图d3和图e3的双模态叠加EDOF结果,比例尺为30μm。

最后对秀丽隐杆线虫(C. elegans,TJ356)的实验展示了AI-EDOF技术在动态成像方面的能力。实验在40×/0.75NA物镜下进行,在单一焦平面捕获的原始强度图像是耦合的,也就是说,同时可以看到相位信息(如咽部和琼脂)和吸收信息(如性腺)。当ETL快速扫描焦平面时,相位信息被消除,留下的全聚焦图像只包含吸收信息,经过反卷积处理后,主要由相位信息构成的头部和尾部几乎看不见,而性腺则变得清晰,结果如图 7所展示的动图所示。

图 7 环形照明模式下对秀丽隐线虫进行动态景深延拓成像。

另一方面,方法在荧光成像模式下也表现良好。对秀丽隐杆线虫进行了热休克处理(35℃持续20分钟)。图 8所示的视频展示了这一实验结果。反卷积后,可以清楚地看到热休克诱导了DAF-16转录因子明显转移到细胞核中,动态EDOF实验使得研究人员可以监控整个体积中的DAF-16转录情况。这些结果突显了AI-EDOF方法在研究分子生物学和发育生物学方面的潜在应用价值。

图 8 在宽场荧光成像模式下对秀丽隐线虫进行动态景深延拓成像。

结论与展望

在本研究中,研究团队探索了部分相干显微镜中EDOF成像中光源分布的影响。与传统的圆形照明孔径相比,采用与物镜数值孔径匹配的环形照明的AI-EDOF技术,实现了高对比度成像,并且横向分辨率接近非相干衍射极限。结合位于商用倒置显微镜管镜后的4f远心模块傅里叶平面上的高速ETL,研究团队所提出的新方法首次展示了无运动的高空间和时间分辨率全聚焦成像。通过倾斜的USAF分辨率标靶定量验证了分辨率,并通过转基因斑马鱼幼虫和果蝇幼虫展示了AI-EDOF的能力。此外,通过秀丽隐杆线虫的动态实验结果展示了吸收EDOF信息可以被解耦。这项技术与传统的明场显微镜(Köhler照明)兼容,并且可以轻松地与荧光技术结合,以获得标记的特异性,为研究动态生物过程提供了更广阔的视野。

尽管本研究已经取得了一些进展,但在显微成像技术领域,仍有许多关键问题亟待深入探究和阐明。首先,尽管理论分析和实验结果均显示,通过照明光源的相干性调控,我们能够提高成像分辨率和改善EDOF成像的对比度,但鉴于部分相干成像过程中图像形成的复杂性,寻找最优照明源仍是一个充满挑战的任务。研究团队受到显微镜和微光刻领域环形照明研究益处的启发,提出了利用环形照明来提升EDOF成像的对比度和分辨率的创新思路。目前,环形孔径的选择是基于与三维吸收光学传递函数(AOTF)形状相关的直观标准进行的经验性设计。未来,采用更为精细的评价标准(即评价函数)来评估孔径的优劣,并运用优化算法进行孔径的优化,将是富有前景的研究方向。其次,当前EDOF成像结果的时间分辨率受限于sCMOS相机的性能。尽管ETL的聚焦扫描速度可高达约1 kHz,但sCMOS相机的帧率却有限。同时,LED光源的功率和荧光激发强度也限制了曝光时间。虽然RL-TV反卷积方法能够在一定程度上抑制噪声,但合理的曝光时间依然是必需的。通过硬件升级,如改进相机和光源,这一问题有望得到进一步的研究和解决。此外,除了提升数据采集速度,加速重建算法的开发同样是一个值得关注的重要课题。第三,由于成像系统中可能存在的像差,实际的PSF可能与模拟的PSF存在偏差。结合RL反卷积的像差校正算法,例如盲反卷积或自适应光学技术,将有助于实现更为精确的成像重建。第四,传统的计算机断层扫描技术通常依赖于相干光源(如激光)来照亮物体,在透射成像中获取特定方向的投影,而投影强度对应于傅里叶谱的一个切片。借助ETL,三维荧光样本的强度分布可以沿z轴进行积分,并“投影”到二维图像平面上。这表明,“傅里叶切片定理”——此前仅适用于相干或部分相干成像的情况,有望扩展到非相干荧光成像领域,这为未来研究开辟了充满希望的新方向。最后,本研究提出的AI-EDOF方法目前只能恢复样本复杂折射率的吸收EDOF信息,而在ODT中,对于多种厚生物样本的相位和吸收信息的EDOF都是至关重要的。由于POTF沿z轴具有奇对称性,相位信息被消除,但这种对称性可能会被非对称照明所打破,这同样是一个值得在未来研究中深入探讨的有趣方向。

文章信息

High-Speed Multi-Modal Extended Depth-of-Field Microscopy with an Electrically Tunable Lens

Runnan Zhang, Ning Zhou, Hanci Tang, Minhao Xia, Zewei Cai, Jiasong Sun, Qian Chen,* and Chao Zuo*

Laser & Photonics Reviews

DOI: https://doi.org/10.1002/lpor.202300770

团队介绍

南京理工大学智能计算成像实验室(SCILab: www.scilaboratory.com)隶属于南京理工大学光学工程国家一级重点学科带头人陈钱教授领衔的“光谱成像与信息处理”教育部长江学者创新团队、首批“全国高校黄大年式教师团队”。实验室学术带头人左超教授为教育部长江学者特聘教授、国际光学工程学会会士(SPIE Fellow)、美国光学学会会士(Optica Fellow),入选科睿唯安全球高被引科学家。实验室致力于研发新一代计算成像与传感技术,在国家重大需求牵引及重点项目支持下开展新型光学成像的机理探索、工程实践以及先进仪器的研制工作,并开拓其在生物医药、智能制造、国防安全等领域的前沿应用。研究成果已在SCI源刊上发表论文200余篇,其中36篇论文被选作Light、Optica、LPR等期刊封面论文,20篇论文入选ESI高被引/热点论文,论文被引超过13000次。获中国光学工程学会技术发明奖一等奖、江苏省科学技术奖基础类一等奖、日内瓦国际发明展 “特别嘉许金奖”等。培养研究生5人获全国光学工程优秀博士论文/提名奖,5人获中国光学学会王大珩光学奖,10人入围Light全国光学博士生学术竞赛全国百强,获“挑战杯”、“创青春”、“研电赛”全国金奖十余次,“互联网+”全国总冠军。


 点击 原文链接 查看全文

明:本文旨在传递更多科研资讯及分享,所有其他媒、网来源均注明出处,如涉及版权问题,请作者第一时间后台联系,我们将协调进行处理(按照法规支付稿费或立即删除),所有来稿文责自负,专委会仅作为分享平台。转载请注明出处,如原创内容转载需授权,请联系邮箱:cita@csoe.org.cn



公众号投稿请联系:cita@csoe.org.cn
商务合作/文章转载请联系:010-63726007



欢迎多多关注

  
   欢迎分享                                                 点赞,在看

CSOE计算成像CITA
中国光学工程学会计算成像专委会官微
 最新文章