前沿:基于非局部卷积稀疏编码的彩色分焦平面偏振超分辨成像

文摘   科学   2024-09-04 21:41   北京  
撰稿人:罗毅东 硕士研究生  中南大学自动化学院

撰稿人

研究背景

偏振是光的重要物理特性之一,地表或大气中的目标在反射、散射、透射和辐射电磁波时会产生由自身特性所决定的特定偏振信息,且这些偏振信息能用于分析目标的形状、表面粗糙度、纹理走向和材料的理化特性等。偏振成像技术在传统成像基础上增加了偏振维度的信息,不仅能提供二维空间光强分布,还能获得图像上每个像素的偏振信息。

图1 树荫下皮卡车的成像实验对比

偏振成像获取方式主要包括:分时型、分振幅型、液晶调制型、分孔径型、分焦平面型和通道调制型等。彩色分焦平面偏振成像系统具有结构紧凑、体积小和高实时性等优点,可同时获得光谱、空间、偏振等多维信息,是偏振成像领域的研究热点。然而,分焦平面偏振成像系统存在像元非均匀性响应、图像空间分辨率降低和易受噪声干扰等成像问题。

导读

近日,中南大学自动化学院、光电智能测控湖南省重点实验室研究团队提出了一种基于非局部卷积稀疏表示的彩色分焦平面偏振图像去马赛克模型(NLCSR-CPDM)。该成果以“Learning a Non-Locally Regularized Convolutional Sparse Representation for Joint Chromatic and Polarimetric Demosaicking”为题,发表于本领域顶级期刊IEEE Transactions on Image Processing (IF>10)。硕士研究生罗毅东为第一作者,张俊超副教授为通讯作者,中南大学为论文的通讯单位。


主要研究内容

本研究立足于彩色分焦平面偏振成像机理,构建了非局部卷积稀疏表示的彩色偏振图像去马赛克物理模型NLCSR-CPDM,该模型结合了卷积稀疏编码和非局部自相似的优势,从细节恢复和噪声抑制两个方面提升彩色偏振超分辨成像质量。

(1)NLCSR-CPDM模型

为保持偏振通道间相关性和提升超分辨重建精度,基于图像块进行建模。图2为NLCSR-CPDM模型的流程框图:首先,进行简单初始插值获得“粗”超分辨重建的光强图像;其次,基于卷积稀疏编码理论建立彩色偏振超分辨重建物理模型,并设计专门的非局部自相似和图像保边性正则项约束;最后,通过迭代优化求解字典和编码系数,并基于强表征能力的字典和编码系数获得“精细”超分辨重建的光强图像和偏振图像。
图2 NLCSR-CPDM模型的流程框图

(2)实验结果

为了验证所提算法的有效性和先进性,该研究对2个公开数据集和1个课题组实测数据集(基于分焦平面偏振相机),与目前SOTA (state-of-the-art)的算法进行了定量和定性对比。图3和图4分别展示了基于公开数据和实测数据的实验结果对比,可以看出所提出的NLCSR-CPDM模型能够有效地实现噪声抑制、边缘保持和细节恢复,且在定量指标(峰值信噪比PSNR和结构相似度SSIM)上优于目前SOTA算法。该研究成果能为后续的偏振图像融合和目标检测等任务提供高质量的成像保障。

图3 基于公开数据集的实验结果对比

图4 基于分焦平面偏振相机实测数据的实验结果对比

技术突破与创新点

本研究基于彩色分焦平面偏振成像机理,首次建立了基于卷积稀疏编码的彩色偏振超分辨重建物理模型。在重构精度方面,通过联合卷积稀疏编码和专门的正则项约束进行优化求解,实现了噪声抑制、边缘保持和细节恢复;在重构效率方面,利用卷积稀疏编码的ADMM最优化求解特性,实现精准表征的低维字典学习,打破了传统稀疏编码学习较高空间和时间复杂度字典的限制,极大提升算法的运行效率;在模型泛化能力方面,采用非监督在线学习的方式,使得NLCSR-CPDM模型适用于不同类型的场景(数据分布),弥补了有监督学习模型依赖训练数据(特定数据分布)的不足。

结论与展望

本研究提出了一种基于非局部卷积稀疏表示的彩色分焦平面偏振图像去马赛克模型(NLCSR-CPDM),该模型结合了卷积稀疏编码和非局部自相似的优势,有效地实现了噪声抑制、边缘保持和细节恢复。基于彩色分焦平面偏振成像系统,验证了该模型能够高精度地重构光强和偏振信息,有望应用于光学测量等领域。

文章信息


Yidong Luo, Junchao Zhang*, Jianbo Shao, Jiandong Tian and Jiayi Ma. Learning a Non-Locally Regularized Convolutional Sparse Representation for Joint Chromatic and Polarimetric Demosaicking. IEEE Transactions on Image Processing, 2024, DOI: 10.1109/TIP.2024.3451693.

Code: https://github.com/roydon-luo/NLCSR-CPDM 

主要作者介绍

罗毅东,中南大学自动化学院2022级硕士研究生,从事偏振成像和图像处理方面研究,参与国家自然科学基金等多个项目,在IEEE Trans. on Image Processing、Information Fusion等期刊发表学术论文4篇。

张俊超,中南大学副教授,湖南省普通高校青年骨干教师,入选斯坦福全球前2%顶尖科学家榜单(Optics领域)。中国光学工程学会计算成像专业委员会青年委员,中国自动化学会青工委委员,中国光学工程学会高级会员,《红外与激光工程》和《应用光学》等期刊青年编委,2017-2018年国家公派访学美国亚利桑那大学。主要研究方向为偏振成像、光电信息处理和机器学习,在IEEE Trans. on Image Processing、Information Fusion、Pattern Recognition、Optics Letters和《光学学报》等期刊发表学术论文50余篇,Google学术引用1400余次,H指数为22。主持国家自然科学基金、国家重点研发计划子课题、湖南省自然科学基金和重点实验室基金等项目多项,获湖南省自然科学优秀学术论文二等奖1项(排1)。


 点击 原文链接 查看全文

明:本文旨在传递更多科研资讯及分享,所有其他媒、网来源均注明出处,如涉及版权问题,请作者第一时间后台联系,我们将协调进行处理(按照法规支付稿费或立即删除),所有来稿文责自负,专委会仅作为分享平台。转载请注明出处,如原创内容转载需授权,请联系邮箱:cita@csoe.org.cn



公众号投稿请联系:cita@csoe.org.cn
商务合作/文章转载请联系:010-63726007



欢迎多多关注

  
   欢迎分享                                                 点赞,在看

CSOE计算成像CITA
中国光学工程学会计算成像专委会官微
 最新文章