背景介绍
随着光学成像系统小型化和高性能的需求日益增加，超透镜作为一种新兴技术，逐渐成为传统透镜的替代方案。通过在超薄膜上排列亚波长结构，超透镜克服了传统透镜在色差、球差、体积大和成本高等方面的局限性，展现出在紧凑型成像、摄影、LiDAR、VR/AR等领域的巨大潜力。然而，宽带超透镜在设计中需平衡聚焦效率、透镜直径和工作带宽，面临色差、角度偏差和低聚焦效率等挑战，制约了其商业化应用。
为了解决这些问题，研究者尝试结合深度学习算法，探索超透镜设计与机器学习的融合。韩国浦项科技大学Junsuk Rho教授与汉阳大学Haejun Chung教授团队提出了一种基于深度学习的“端到端”成像系统，通过结合大面积量产超透镜与定制的图像恢复框架，解决了超透镜成像中像差和效率低的问题，实现了高质量、无畸变的图像生成。该框架具有较强的普适性，可应用于同一种工艺制造的其他超透镜，显著提升了超透镜商业化的可行性。相关成果以Deep-learning-driven end-to-end metalens imaging为题，发表在Advanced Photonics 2024第6期。
研究内容
研究人员首先描绘了“端到端”集成成像系统的架构（图1）。该系统结合了基于超透镜的成像系统和后续的图像恢复框架。超透镜负责捕获图像，而图像恢复框架则自动修复所捕获的图像，从而生成接近真实图像质量的像。
超透镜成像系统
通过纳米压印光刻和原子层沉积技术，制备出由纳米条阵列组成的直径为10毫米的超透镜（图2a），该透镜在532 nm波长下，虽然具有55.6%的较高衍射效率，但是存在显著色差。此外，由于不同波长的焦距差异（图2c），透镜会产生横向轴向色差（TAC）。
为量化色差和角向像差对成像质量的影响，研究团队测量了点扩散函数（PSF）并计算了调制传递函数（MTF）。PSF测量显示，红、绿、蓝光的PSF形状在不同视角下各异，其中红光和绿光的PSF较宽，绿光的PSF因TAC而呈现不规则形状。此外，红光和蓝光的MTF在所有空间频率下均低于绿光（图2d），暗示了TAC对成像质量的影响。图2(f)和2(g)展示了超透镜图像与真实图像的对比，红、蓝通道因TAC导致严重模糊；绿色通道在中心区域分辨率较高，但边缘随视角增加而下降，表明高视角下的角度像差问题。
图像恢复网络
如图3所示，该研究中的图像恢复框架分为两个阶段。第一阶段优化现有深度神经网络（DNN）框架，减少恢复模型输出与真实图像的差异；第二阶段引入辅助鉴别器的对抗性学习方案，增强模型对丢失信息的恢复能力。通过采用强正则化方法，对输入数据进行随机裁剪并加入位置嵌入，将裁剪块的坐标信息融入模型训练中。在频域中通过快速傅里叶变换应用对抗学习，能有效解决从退化图像恢复出潜在清晰图像的欠约束问题。
实验结果
图4展示了真实图像、超透镜成像图像和框架恢复后图像的对比。可以明显看出，超透镜成像图像存在显著色差，而经过恢复框架处理后，图像保真度显著提高，接近真实图像，验证了框架在复杂场景下的成像效果。
通过超透镜图像、恢复框架图像和真实图像之间的差异评估指标，包括PSNR、SSIM、RGB空间的学习感知图块相似度（LPIPS）、平均绝对误差（MAE）和余弦相似度（CS）等，恢复后的图像在图像质量上均显著优于直接使用超透镜成像（图5）。
模糊和颜色失真的恢复效果验证实验中，图6(a)和6(b)为超透镜采集的白色和黑色图像，显示出明显的模糊和失真。经恢复框架处理后（图6c和6d），原始颜色得到高质量恢复，同时清晰度显著提升，验证了框架在颜色和细节恢复方面的有效性。
同时，研究人员进一步验证了该框架在实际应用领域中的优化效果。在目标检测任务中，超透镜成像导致的模糊影响了特征检测模型的识别准确度。经框架优化后，图像清晰度显著提升，使得目标检测模型可以更精准地识别目标，实现接近真实图像的精确检测（图7）。
总结与展望
该研究提出了一种创新的“端到端”超透镜成像系统，将大面积量产的超透镜与基于DNN的图像恢复框架相结合。通过在傅里叶空间中引入对抗性学习和位置嵌入技术，该方法突破了传统图像恢复的局限，能够高效恢复高空间频率信息，从而实现无像差的全彩成像。系统有效地解决了大面积宽带超透镜固有的色差和角向像差问题，并显著提升了宽带聚焦效率。该图像恢复框架具有较强普适性，可广泛应用于同一工艺制造的其他超透镜，从而增强了系统的商业化前景。研究成果标志着超透镜成像领域的重要突破，为未来紧凑、高效和可商业化的成像系统奠定了坚实基础，并有望推动光学工程的革新。
引用信息：Joonhyuk Seo, Jaegang Jo, Joohoon Kim, Joonho Kang, Chanik Kang, Seong-Won Moon, Eunji Lee, Jehyeong Hong, Junsuk Rho, Haejun Chung, "Deep-learning-driven end-to-end metalens imaging," Adv. Photon. 6, 066002 (2024)
研
究
团
队
介
绍
Junsuk Rho 韩国浦项科技大学（POSTECH）
主要研究方向：纳米光子学、超材料、超表面光学及纳米制造
Junsuk Rho，美国加州大学伯克利分校机械工程及纳米科学与工程博士，现任韩国浦项科技大学（POSTECH）Mu-Eun-Jae讲席教授，兼任机械工程、化学工程、电气工程和量子科学与技术学院的教授,韩国国家研究基金会（NRF）全球META-生物成像/传感研究中心和智能光学安全先锋研究中心主任。曾获2023年Clarivate高被引研究员称号、韩国光学学会Haerim光子学奖、美国化学会ACS Nano Lectureship和2022年韩国国家工程院青年工程师奖，并被授予POSTECH青年杰出教授称号及韩国国家工程院准院士头衔。Rho是META会议、CLEO-PR和SPIE Photonics West等多个顶级学术会议的组织者和技术委员会成员。同时在npj Nanophotonics、Advanced Photonics Nexus 和Nanophotonics 等期刊担任副主编,发表论文300余篇，总引用次数超2万次。
期
刊
介
绍
Advanced Photonics（AP）创刊于2019年，是一本重点关注新兴光学领域的基础与应用研究成果、聚焦最新及快速发展的光学与光子学学科的国际OA期刊。期刊入选中国科协高起点新刊计划，2021年被SCI收录，最新影响因子20.6，在全球100种JCR光学期刊中位列第3（Q1区），中国科学院一区，入选中国科技期刊卓越行动计划二期。创刊以来AP发表了众多国际顶尖学者的高水平学术论文，并以采访、新闻、评论等丰富的形式，展现了光学与光子学领域的最近进展。姊妹刊Advanced Photonics Nexus（APN）接收AP的快速转投和自然来稿，致力于成为既发表基础研究类又发表工程应用类文章的综合性大刊。
END
点在看联系更紧密
