马寅鹏 西安电子科技大学 博士研究生
成像技术最早起源于的小孔成像，光线通过小孔投射在屏幕上形成倒立实像的简单光学现象，但只能观察无法记录，随着电子自动化技术发展，人们使用数码相机拍摄照片，实现图像的数字化，同时，成像镜头向系列化发展，由焦距毫米级的鱼眼镜头到焦距长达几米的超摄远镜头，并有在手机摄像、医学成像、工工业检测、安防监控等方向具有广泛的应用。传统的光学系统设计中，为了提升成像质量，工程师们通常依赖于增加透镜的数量或调整透镜的形状，通过光学补偿以减少像差。但不可避免地导致体积增大、重量增加和成本上升等问题。例如，苹果公司推出的头戴式Vision Pro系统，在追求硬件实现高质量的成像效果，但其重量却限制了用户的使用时间，影响了用户体验。
计算成像技术为现代光学成像系统的设计带来了新的解决方案。创新性地将传统光电成像流程中最末端的信息处理和计算拓展到成像过程中进行，极大地提高了成像的自由度。在解决某一成像问题或满足特定成像需求时，计算成像技术将部分物理上难以突破的光学问题转换为数学和信息处理问题，将硬件设计与软件计算相结合，以信息的获取和传递为目的。计算成像技术能够在不依赖复杂光学成像系统的前提下，实现高质量的成像效果，打破原有依赖于光学设计增强系统的成像性能。
高性能的光学系统通常采用复杂的结构设计，包括多个透镜元件和精密的机械支撑，以确保光路的精确控制和像差的精细校正。这种复杂性使得系统能够捕捉到丰富的细节和色彩，提供清晰、锐利的图像。然而，这也带来了额外的体积、重量和成本，限制了其在便携式设备和成本的使用。因此，如何在不牺牲图像清晰度和细节表现的前提下简化系统结构，一直是光学设计领域的一个挑战。计算成像技术的出现为简化光学系统提供了新途径，通过在物理光学系统和数学计算共同处理像差校正任务，使得结构更简单、更轻的光学组件成为可能。应用图像恢复算法进一步增强了图像的成像质量，解决了成本高昂和系统体积庞大的问题。
近日，西安电子科技大学的科研团队提出了一种针对极简光学系统的计算光学设计框架，并提出了一种基于调制传递函数的成像性能评价方法。实验结果表明，极简光学系统的成像性能可达到任务需求。在光学期刊Optics Express上发表以”Computational imaging-based single-lens imaging systems and performance evaluation”为题的研究论文。
论文对极简光学系统成像模型进行了研究，针对极简光学系统的光学像差问题，研究团队构建了一个高质量成像的计算光学框架，论文根据光线追迹模型构建不同视场的退化关系的点扩散函数模型，分析现有的分块卷积退化方法的限制，目前模拟退化成像过程中假设空间位置处的退化一致，而在实际成像时点扩散函数在整个视场中存在差异，因此，研究点扩散函数随视场全局变化的退化成像数学模型，对于每个像素位置对应的点扩散函数通过将其邻域区域的已采样的点扩散函数的权重系数进行加权求和得到，相邻像素所对应的点扩散函数均不相同。根据建立物理模型对平凸透镜的成像过程进行了仿真，单透镜光学系统存在严重的像差，由于只存在一种介质，色差也无法校正，其成像效果较差，通过提取光学系统特征参数，基于光线跟踪算法来追迹计算出的存在光学像差的成像退化图像，为后续计算重建生成了批量的数据集。本论文通过分析目前的图像评价方法存在问题，提出了一种针对计算光学系统的成像性能评价方法。现有图像评价方法常受场景中像素值和亮度差异的影响，限制了其有效性。为了克服这些限制，本研究采用了调制传递函数（MTF）来评估不同空间频率下的对比度传递特性，并通过其详细描述像差退化的程度。从图像像素中提取了低频和高频信息，量化系统的成像能力，利用此方法对极简光学系统的计算成像质量进行了深入分析。
论文提出通过模拟正向仿真构建极简系统的成像过程，计算由像差导致的成像效果退化，为后续神经网络算法提供训练数据集信息。利用改进的Unet神经网络复原成像模糊图像，引入Transformer模块提高大视场下的特征提取能力。论文提出一种评价图像信息的方法，将重建后图像调制传递函数中低频与高频分量按照一定权重计算所包含的信息量。
![]()
成像过程的正向仿真根据光学系统的视场将成像区域划分为多个区域，在RGB单个可见光通道下，对每个区域用光线追迹方式计算物平面到像平面的光波传输过程得到点扩散函数，利用邻域区域的点扩散函数计算中间位置处的退化核，该方法减少对空间上点扩散函数取样间隔，基于该区域的加权点扩散函数进行退化过程建模获得该区域的模拟退化图像，对所有区域的模拟退化图像进行叠加，获得图像不同视场下非线性变化的退化结果作为当前可见光通道的模拟图像。论文提出了一种适用于大场景的神经网络架构，神经网络拟合逆向成像过程，引入Transformer模块结构，解决了高分辨率图像重建中的信息丢失问题，复原得到高质量的成像结果。网络整体为编码器-解码器架构，编码器块从输入提取特征映射，解码器块处理特征映射以完成任务，所有编码器和解码器块都使用残差模块连接，通过直接将输入信息连接输出，避免传统卷积神经网络顺序传递，导致信息的丢失和信息梯度的快速增大，保持了梯度流的完整性。平凸透镜成像系统如下图所示，通过神经网络重建出清晰成像效果。
![]()
图2 极简成像系统结构和真实场景成像与重建实验结果
为了定量评价计算光学系统的成像性能，提出了高频低频权重分布的光学系统性能评价方法。MTF曲线表征了不同频率下光学成像系统能够传递的信息通量，低频区间代表着成像系统成像结果的锐度，高频信息代表成像系统的分辨率，加权求和可评价成像系统的综合性能，本研究所提出的方法有效地规避了现有评价手段易受图像本身特性影响的局限性，更准确的量化了计算光学系统的成像性能。
![]()
(a)真实图像数据集复原处理 (b) 不同方法的复原图像的MTF曲线 图3 实验处理结果图
本论文的算法在高频区间保持数值不下降，如图3所示。对于单透镜极简系统，远距离极简成像系统的低频MTF从0.2135提高到0.8742，高频MTF从0.0150提高到0.5996，验证了论文所提出的方法在极简光学系统下具有复原能力，极简单透镜成像系统可达到传统相机镜头成像效果。本文通过构建基于光线追迹与点扩散函数全局变化的光学成像系统仿真模型，并提出一种基于Transformer块的U-Net深度学习算法，主要研究了极简成像系统的成像性能优化和高质量图像重建技术。在提出的算法框架中，对极简系统中常见的图像质量缺陷进行了实验研究，并测试了平凸单透镜成像系统。为了更有效地评估计算光学系统的成像性能，引入了一种基于低频和高频调制传递函数加权计算的通用评估方法，该方法不仅在光学设计领域具有重要意义，而且在图像处理领域也具有重要意义。实验结果表明，极简系统不仅在成本、重量和体积方面具有固有优势，而且在计算成像技术下表现出优异的成像性能。本研究促进光学系统极简设计领域的进一步研究和进展，特别是在智能手机、投影仪、VR头显和相机等应用中。这些进步不仅有助于降低生产成本，而且还提高了产品性能，从而提高了商用成像设备的整体质量和竞争力。在光学透镜应用不断发展，商用成像器件小型化趋势明显的背景下，这将促进相关行业技术水平的进步，促进整体行业增长。
Shijie Wei, Huachao Cheng, Ben Xue, Xihang Yang, Yinpeng Ma, Yue Wang, Teli Xi, and Xiaopeng Shao, "Computational imaging-based single-lens imaging systems and performance evaluation," Optics Express 32, 26107-26123 (2024).
![]()
邵晓鹏，二级教授，中国科学院西安光学精密机械研究所副所长，西安市计算成像重点实验室主任，173重点项目首席，科普专栏作家，历任西安电子科技大学物理与光电工程学院执行院长、光电工程学院院长。主要研究方向：计算光学成像技术、光电图像处理与模式识别、光电仪器研制与测试。现任国家部委专业组专家，中国光学工程学会常务理事、中国光学学会理事、陕西省光学学会副理事长。Advanced Imaging创刊主编，《应用光学》副主任委员， Ultrafast Science、《激光与光电子学进展》《光子学报》《系统工程与电子技术》《数据采集与处理》《光电技术应用》《激光与红外》《航空兵器》《西安电子科技大学学报》等期刊编委；发表论文300余篇，授权发明专利100余项。席特立,菁英副教授，西安电子科技大学计算成像研究所副主任，光学工程学会计算成像专委会青年委员。长期从事计算成像、光学检测等相关技术研究，近年来主持了国家或省部级纵项目及横向项目十余项，在国内外重要学术期刊发表SCI论文20余篇，申请专利十余项。
![]()
魏士杰，西安电子科技大学光电工程学院博士研究生。研究方向为新体制的光学计算成像与计算光学系统简化设计。参与国家自然科学基金面上项目，国家863计划、科技委创新基金等多项科研项目，在Optics Letter、Optics Express、Applied optics等期刊发表4篇论文。
声明：本文旨在传递更多科研资讯及分享，所有其他媒、网来源均注明出处，如涉及版权问题，请作者第一时间后台联系，我们将协调进行处理（按照法规支付稿费或立即删除），所有来稿文责自负，专委会仅作为分享平台。转载请注明出处，如原创内容转载需授权，请联系邮箱：cita@csoe.org.cn
公众号投稿请联系：cita@csoe.org.cn商务合作/文章转载请联系：010-63726007
