成像专题 | 阵列孔径-色彩编码助力快照式高光谱成像 (ACM ToG)
文摘
科技
2024-11-29 12:29
中国香港
Learned Multi-aperture Color-coded Optics for Snapshot Hyperspectral Imaging快照式高光谱成像（HSI）通过一次曝光获取数十个波段的图像，可提供观测场景高时间分辨率的丰富光谱和空间信息。传统快照式HSI通常依赖传感器前的Bayer滤光片进行光谱编码，但目前Bayer滤光片并未针对HSI应用进行优化，限制了光谱重建的保真度。此外，快照式HSI通常还采用衍射光学元件（DOE）引入额外的空间编码能力，但目前多采用单孔径DOE结合Bayer滤光片的形式，即共用一个光谱编码，这种空间-光谱编码共用的模式并未完全发挥光学系统的编码能力。
鉴于此，同济大学、香港大学和普林斯顿大学的研究人员提出阵列孔径+端到端设计色彩编码的新模式：通过多孔径排列的衍射透镜和彩色滤光片，结合深度学习端到端优化架构，实现空间编码和光谱编码完全解耦，且空间-光谱编码模式依据HSI任务专门优化。仿真实验结果表明，该方法可在429-700nm波长范围内实现高保真度的31个通道的光谱成像，相较于传统快照式HSI系统，光谱重建质量显著提升（+5dB）。实际室内外光谱成像也获得了与商用Specium IQ扫描式光谱相机相当的表现。该工作发表于图形学领域顶刊《ACM Transactions on Graphics》(Siggraph Asia 2024) 上。
技术实现上，如图1所示，该系统包含多个DOE和滤光片组成的阵列，以及灰度图像传感器。与传统基于单一镜组或传感器端滤光片设计的方案相比，其核心创新在于采用孔径位置阵列式透镜和滤光片组的设计。改设计充分利用了空间和颜色编码自由度，同时显著降低了系统结构的复杂性，尤其是避免了传感器前端定制化Bayer滤光片加工所带来的高成本。
![]()
图2展示了整个成像系统联合优化系统的架构，其中衍射透镜、彩色滤光片及图像重建网络通过深度学习进行联合优化。在前向传播过程中，图像与不同波长及经过不同DOE的点扩散函数（PSF）相卷积，随后经过B、G1、G2和R通道的滤光片，并在传感器处累加得到网络模型的输入，最终经网络处理得到高光谱图像堆栈及一张RGB图像。
![]()
图2. DOE和color filter的联合优化框架。
表1比较了不同系统设置对于HSI成像质量的影响。当不使用DOE且固定传感器响应曲线时，由于算法能够精确利用已知的响应曲线，该配置在RGB成像中表现最佳，但在高光谱上表现较弱。相较而言，该研究提出的HSI系统在高光谱成像质量上最优，同时兼顾了较佳的RGB成像效果。![]()
表1. 衍射透镜编码是否使用及其数量对HSI成像质量的比较，同时比较引入可学习的滤光片对成像结果的影响。 图3展示了模拟得到的PSF，揭示了每个孔径中DOE与彩色滤光片对该通道成像的具体影响。图4则展示了实际拍摄结果，该研究对比了室内外不同光照环境下该系统的多光谱重建效果，发现所提出的HSI系统在视觉与量化指标上均更接近真实情况。
![]()
图3. R,G1,G2,B四通道的不同波长的点扩散函数示意（429-700nm）。![]()
图4. 高保真度多光谱图像和RGB图像重建实验结果：Scene 1&2室外，Scene 3室外。技术小结：该研究提出了一种新型用于快照式高光谱成像的解决方案，核心在于解决了传统基于深度光学计算成像在空间与光谱上的编码带宽限制，通过将衍射透镜阵列及彩色滤光片排列在孔径面，并借助深度光学优化模型得到最优的设计参数，包括各个子通道的衍射透镜相位分布以及滤光片光谱响应曲线，从而还原了更为真实的多光谱信息。这一进展为HSI技术的发展提供了新的思路，有望在未来的科学研究与实际应用中发挥重要作用。
论文信息：Z Shi, X Dun, H Wei, S Dong, Z Wang, X Cheng, F Heide, Y Peng, "Learned Multi-aperture Color-coded Optics for Snapshot Hyperspectral Imaging." ACM Transactions on Graphics (TOG) 43.6 (2024).
https://whywww.github.io/ArrayHSI/*该技术分享所涉及文字及图片源于发表论文和网络公开素材,不做任何商业用途。
INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台。如果喜欢，请点击“在看”和“点赞”，将有助于微信公众号平台对信息的定向统计和及时推送，小编团队在此不胜感激，谢谢！！
