成像专题 | 计算光谱成像：光场编码与算法解码（综述）
文摘
科技
2024-08-27 12:57
河北
光谱成像旨在同时获取二维图像的空间信息和其对应的光谱图像，可以完整地描述物体的颜色与材质信息，广泛应用于遥感、人脸识别、生物医药等领域。传统光谱成像方法通过分时扫描测量光谱数据，极大受限于三维光谱图像与二维传感器之间的矛盾。而计算光谱成像采用特殊的光学系统对光谱数据进行光学编码，并通过光谱重建算法解码得到三维光谱图像。计算光谱成像可较好兼顾光谱和时空分辨率，实现了光学系统的轻量化与数据的高效处理。 来自同济大学和香港大学的研究人员对近年来的计算光谱成像研究进行了详细的归纳整理，以综述形式近期发表于领域内中文核心期刊《激光与光电子学进展》。该特邀综述在统一的理论框架下阐述了不同的光场编码和重建算法以及其区别与联系，系统性帮助学者以宏观视角认识计算光谱成像中的光学设计与求解算法及其未来的研究方向。![]()
在计算光谱成像中，目标场景发出的光谱分布经过具有编码功能的光学系统调制后，图像传感器采集到编码的光信号并转换为电信号，最后由光谱重建算法重建完整的光谱图像。其中，线性光学系统成像原理与压缩感知（CS）理论是设计光场编码和进行光谱重建的重要基础。
像面编码是将景物成像至某一中间像面，在该像面上进行压缩编码后再成像到探测器得到二维测量图像。像面编码光谱成像系统种类繁多，该文章将其作为光学编码的一类方法，主要讨论了单像素相机（图2）、编码孔径快照式光谱成像（图3）、多帧编码（图4）和三维编码（图5）的原理与各自优劣。![]()
图2. 单像素相机系统结构及编码原理：（a）普通 SPC 光谱成像；（b）CHISSS![]()
图3. 编码孔径快照式压缩光谱成像系统结构及编码原理：（a）DD-CASSI；（b）SD-CASSI![]()
![]()
图5. 三维编码孔径系统结构及编码原理：（a）CCA；（b）DCSI；（c）SSCSI- 点扩散函数编码
不同于像面编码系统，点扩散函数编码是通过额外的光学元件改变系统的PSF实施编码，进而重建数据立方体。在成像中不同波长的信息将与对应的PSF卷积，从而在每个像素附近提供光谱重建的线索。依据被调制后的PSF提供光谱信息的方式，该文章将现有PSF编码研究分为三类：散射编码、色散编码和衍射调控编码，如图6所示。
![]()
- 光谱响应编码
除了针对像面与系统PSF编码之外，还可以对图像传感器进行光谱响应特性的编码。光谱响应编码方法的原理是根据多通道图像中不同通道提供的互补信息重建三维光谱图，因此多通道光谱响应函数的设计是该类方法研究的重点。这篇文章基于光谱响应函数设计的方法将光谱响应编码分为了固定光谱响应、随机光谱响应和优化光谱响应，并进行了原理、发展及应用上的详细讨论。在线性光学系统的作用下，光学系统对光谱图像的编码可以由下式描述：![]()
其中，矩阵Η刻画了光场编码过程，M为编码图像，I为目标场景的多光谱图像光强分布。光谱重建算法即从Μ反推I，这一般是一个高度欠定的问题，但在CS理论与机器学习的帮助下是可行的。鉴于此，光谱重建算法可以分为基于物理模型与先验知识的方法和基于深度学习的端到端重建两类。前者侧重于不同方法应用的先验信息，后者则侧重于所采用的网络架构。常用的先验及对应的求解算法包括稀疏逼近，全变分约束，低秩结构，张量分解等，均为迭代式。而光谱重建中的测量信息M是高维信号，导致了重建光谱立方体的巨大计算量。使用分块处理的方法可以显著提高重建速度。此外，传统的正则化项只能提供启发式的先验信息，这限制了光谱重建的质量。可以采用深度学习来学得先验知识以解决这个问题。随着深度学习技术的快速发展，神经网络的拟合能力越来越强大，光谱图像的高质量端到端重建逐渐成为可能。端到端重建利用神经网络可以直接从被编码的图像中端到端快速重建三维光谱图像。代表性的端到端光谱重建方法包括卷积神经网络（CNN），多尺度CNN，生成对抗网络，注意力机制等。随着更先进的网络架构和训练方法被提出，端到端重建的效果已经超越了传统算法。由于不同光谱重建算法之间差异悬殊，该文将两类光谱重建方法进行了梳理总结，如表1所示。![]()
表1. 基于物理模型与先验知识的光谱重建算法与范例总结
计算光谱成像技术的研究在近二十年来取得了巨大进步，但仍然存在一些问题，且从现有技术到商业化落地仍有一定距离。该综述于文末讨论了计算光谱成像未来可能的研究方向，包括多种光场编码方式的结合以提升系统设计的自由度，空间和光谱维度的解耦以提升算法重建速度，以及利用无监督学习、迁移学习来提升系统的泛化性等。目前多数的计算光谱成像技术仍然局限于特定应用场景与实验室，且关于光场编码器件的加工难度、系统鲁棒性、计算资源限制等问题都阻碍了相关技术的应用。随着光学、数学、计算科学和人工智能等交叉学科的发展，新型理论工具和技术手段可能助力于计算光谱成像技术，特别是超表面等先进器件和机器学习的发展都可能为上述问题提供解决思路。
论文信息：
Computational Spectral Imaging: Optical Encoding and Algorithm Decoding (Invited), 激光与光电子学进展, 2024, 61 (16).
*该技术分享所涉及文字及图片源于发表论文和网络公开素材,不做任何商业用途。
INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台。如果喜欢，请点击“在看”和“点赞”，将有助于微信公众号平台对信息的定向统计和及时推送，小编团队在此不胜感激，谢谢！！
