研究背景
自第二次世界大战以来，内窥镜作为外科手术医生的视觉延伸得到了广泛应用。如今，结合了渐变折射率（GRIN）波导和卷积神经网络（CNN）图像恢复技术的新一代内窥成像系统已成为实现细口径低发热硬质内窥镜的新思路。然而，这种新兴的内窥成像系统面临着来自外界环境干扰和光学成像系统内部干扰的双重图像劣化，应用光学手段和传统的CNN无法区分不同来源的劣化，致使图像恢复成本高昂。高质量的医疗成像数据的稀缺性在短期内难以逆转，因此如何在数据量受限的情况下高质量地实现成像恢复，成为了该领域的重大科学问题。
研究内容
近期，华中科技大学王健（Jian Wang）教授课题组段仔鹏、杨洋等人在Advanced Imaging上发文“Ultra-robust imaging restoration of intrinsic deterioration in graded-index imaging systems enabled by classified-cascaded convolutional neural networks”，该论文介绍了一种新型的级联卷积网络（CC-CNN），用于分部式矫正基于GRIN波导的硬质内窥镜遇到的像差干扰，为构建成像稳定、抗干扰、细口径的高质量新型内窥镜架构提供了有效的解决方案。
文章提出了一种新型的CC-CNN架构，用于分部式矫正基于GRIN波导的硬质内窥镜遇到的像差干扰，基于合理的基本假设：认为图像虚实和图像劣化二者相互正交，分别基于ResNet50和Unet构建了图像虚实判断网络和图像像差矫正网络，此级联结构相较于同一批数据训练的单一网络在峰值信噪比（PSNR）上实现了9.4dB的提升，结构相似度（SSIM）上实现了0.09dB的提升。文章为基于GRIN波导的新型内窥镜架构提供了低成本图像矫正的方案，使其在高质量内窥成像数据相对匮乏的背景下进行研发提供了重要基础。
技术突破与创新点
基于随机长度GRIN波导和CC-CNN的内窥成像系统
由于GRIN波导的节距（Pitch）随口径缩小而缩小，且不同波长下的等效光学长度不同，因此细口径GRIN内窥镜不得不考虑Pitch失配下的成像。实验和仿真结果均表明，不同节距数下的GRIN波导在图像清晰度、亮度和虚实均表现出截然不同的性质。为了彻底解决该问题，该项目在一个Pitch长度中选取了随机长度的7根GRIN透镜用于成像数据采集训练，并且在不给予编码信息的前提下，实现了可以同时矫正任意来源GRIN成像的CC-CNN网络。
分而治之：为不同物理来源的劣化设计分类CNN
在现实世界的场景中，光学系统经常遭受可能来自不同物理源的多种失真从而严重影响成像保真度。在GRIN内窥镜中观察到的随机长度问题可能会引入物理像差和虚实性质问题的组合。当面对如此复杂的失真场景时，依赖于单个训练网络的传统成像恢复算法需要大量的训练数据和相关成本。为了应对这一挑战，该项目首先需要在实验中区分物理像差和虚-实问题，随后开发并训练了两个不同的CNN，每个CNN都被分类以解决一个特定的问题。这种有针对性的策略通过简化整体问题来提高CC-CNN解决方案的效率，在数据量受限的场景下通过更合理的CNN任务分配妥善解决了该问题。
高质量图像重建
结论与展望
综上所述，该文章提出了基于ResNeSt50和U-net的组合CC-CNN，用于实现随机长度GRIN透镜成像系统的高清彩色图像劣化校正。对数据量的低依赖性和对GRIN波导长度变化的高鲁棒性使得以GRIN透镜为核心的内窥镜新架构成为可能，通过合理的先验知识，复杂的问题可以分解为更简单的子问题组合，从“乘法”降维至“加法”。随后，为每个子问题设计了多个网络，最终通过级联架构完成整体图像矫正。这一方案显著缓解了数据集受限场景下的成像恢复挑战，特别是在医学成像等成像成本高的领域。
作者简介
王健，华中科技大学博士、教授、博导，国家杰出青年科学基金，2008年华中科技大学讲师，2009-2011年美国南加州大学博士后，2010和2013年华中科技大学破格副教授和破格教授，2021年武汉光电国家研究中心副主任。2013年国家优秀青年科学基金，2017年长江学者奖励计划青年学者，2017年英国皇家学会牛顿高级学者，2021年国家杰出青年科学基金，2020年美国光学学会会士（OPTICA Fellow），2022年国际光学工程学会会士（SPIE Fellow）。担任中国光学学会常务理事、IEEE Photonics Journal主编（2024-2026）、Frontiers of Optoelectronics执行主编、Optics Letters栏目编辑、Chinese Optics Letters 副主编。主要研究方向是光计算、光信号处理、光电子器件与集成、光芯片。2016和2019年以第1完成人两次获教育部自然科学一等奖。2020年获教育部青年科学奖。2022年获王大珩光学奖中青年科技人员奖。承担国家重点研发计划、973计划课题、国家自然科学基金杰青/优青/国际（地区）合作/面上等项目。发表Science、Nat. Photon.、Nat. Nanotechnol.、Nat. Commun.、Sci. Adv.、Light: Sci. & Appl.、Phys. Rev. Lett.等高水平论文，论文引用17300余次，单片最高引用4150余次，爱思唯尔2020-2022年中国高被引学者。国际会议邀请报告110余次。授权国家发明专利31项，技术转让6项。研究成果被Nature亮点报道，被英国广播公司BBC、Optics & Photonics News、AAAS EurekAlert!、NewScientist、PhysicsWorld、Phys.Org、ScienceDaily、IEEE Spectrum和SciTechDaily等国际知名媒体和科技杂志报道，国际上引起广泛深远影响。研究成果入选美国光学学会重要进展（Optics in 2022）、2022中国光学十大进展提名奖。特别地，研发的多款硅基智能光计算和光处理芯片入选国家“十三五”科技创新成就展。
期刊简介
Advanced Imaging (AI)由中国激光杂志社与西安电子科技大学杭州研究院联合出版。由中国科学院西安光学精密机械研究所邵晓鹏教授与法国索邦大学Sylvain Gigan教授担任共主编，致力于发表成像及相关领域内的高水平基础和应用研究进展，推动先进成像技术的快速发展，增强该领域国内外的学术交流合作，促进科研成果的转化。欢迎大家投稿！
End
免责声明
本文中所出现的所有图片均为转载，如涉及版权等问题，请作者在20个工作日之内来电或来函联系，我们将协调给予处理（按照法规支付稿费或删除）。
