原文来源于微信公众号“色之彩”。转载或者引用本文请注明来源及原作者,版权归原作者及刊载媒体所有。
英国物理学家托马斯·杨(Thomas Young)于1802年首次提出,人眼可能只有三种光接收器,分别对红色、绿色、蓝色敏感,这便是三色学说(trichromatic theory)的雏形。18世纪50年代,德国物理学家赫尔曼·冯·亥姆霍兹(Hermann von Helmholtz)进一步发展三色学说,并通过心理物理学实验进行了初步验证。后来,人眼视觉系统的相关生理学研究也表明,人的视网膜中有三种锥体细胞,其峰值波长分别约为450nm、525nm和555nm。这就是彩色图像的颜色往往由三个通道表示的原因所在。
人眼的锥体响应函数
然而,三通道图像只能记录目标物在特定光照下的色度信息,导致其很难获得独立于设备的颜色表示。在某种特定的照明和观察条件下,反射特性不同的物体可能呈现出相同的颜色,产生同色异谱现象,但是三通道图像难以分辨这些物体的光谱差异。另外,由于RGB通道的宽光谱带设计,常规的三通道图像缺乏在特定波段提供详细信息的能力。
为了弥补三通道图像的不足,多光谱成像技术应运而生,其通过扩展光谱维度的分辨率揭示了目标物隐藏在色度之下更为丰富的物理信息。今天小彩就从定义、技术方案和应用三方面入手,为大家简要介绍多光谱成像的相关知识。
什么是多光谱成像
我们日常使用的相机多采用RGB三通道进行成像,不能完整捕捉真实的光谱数据。而在诸多实际应用中,对光谱信息的需求超出了传统RGB成像的范畴。一些应用需要特定的可见光波段组合,以提升特定环境中的成像效果;另一些则需要捕获可见光波段之外的信息,如紫外光用于材料检测,或红外光用于夜间监控。随着科学研究与工业生产中需求的不断升级,成像场景愈加复杂,许多任务需要数量更多或者波段更窄的光谱通道。因此,催生了多光谱成像技术的发展。
多光谱成像是一种通过捕获多个光谱波段的光信息来生成图像的技术,通常覆盖紫外至近红外的广泛波长范围。
12波段多光谱相机的光谱灵敏度曲线
多光谱图像如何获取
多光谱成像是如何实现的,它和普通相机的RGB三通道成像原理相同吗?接下来,小彩将为大家介绍多光谱相机的常见技术方案。
多相机/传感器方案
要获得多光谱图像,最直接的方法就是将安装有不同滤光片的相机指向同一个目标拍摄。然而,独立的两台相机,即使两个镜头紧挨着放置,仍然存在不可忽略的光学视差,这导致两个图像中的像素几乎不可能对齐,使光谱数据的融合变得非常困难。
实现多光谱成像的相机阵列
多个镜头间存在光学视差
左图为未经处理的叠加图像,右图经过了对齐和校正。颜色通道中剩余的偏移是由相机的水平视差造成的。
引入分束器元件可以解决光学视差问题、减轻与平行多相机方法相关的图像捕获和图像配准问题,并使光谱信息在多个捕获的图像之间关联和组合。例如,使用两个不同拜耳模式(关于拜耳滤色器阵列的介绍可以在小彩的往期推送中找到哦)的相机,可以捕获两个3通道图像并将其重建为6通道多光谱图像。然而,分束器会大幅降低每个相机接收到的光强,因此往往需要配合使用高功率的照明或较长的曝光时间。
使用分束器的多光谱成像技术
使用棱镜代替分束器元件,并把接收不同谱段的相机换成传感器,则可以实现使用单台相机完成多光谱成像,同时节约镜头数目,减小装置体积。加上具有类似干涉滤光片性质的二向色涂层后,棱镜能将入射光中对应光谱范围内的光线投射到各传感器,光能利用率更高。这种方法的主要限制在于棱镜的尺寸无法适配大型CMOS传感器。
多传感器二向色棱镜式多光谱相机示意图
滤色器方案
滤色器方案主要有两种,一种是通过切换通道滤色片多次成像,由同一个传感器记录场景的多个通道图像。滤色片轮相机作为该方案的典型代表,通过旋转安装在传感器或镜头前面的滤色片轮中的滤色片来捕获多通道光谱图像,而且其滤色片可以根据应用要求定制和更换。然而滤色片轮相机成像速度慢,要求目标物在拍摄时静止不动,因而应用场景受限。除了滤光轮,也可以利用液晶的电控双折射效应和偏振光的干涉效应实现光谱的连续调谐,并减小多光谱相机的体积。
滤色片轮相机示意图
快照式多光谱成像则将普通相机中的RGB拜耳滤色器阵列替换为独特的多光谱滤色器阵列(multispectral filter array,MSFA),在不增加尺寸的情况下实现单次曝光获得多光谱图像。该方法的主要问题在于随着通道数的增加,每个通道的空间分辨率快速降低,给去马赛克算法带来了极大的挑战。
使用MSFA获取多光谱图像
LED照明方案
要实现多光谱成像,基于窄带LED照明的方案是一种高效且灵活的选择。这种方法利用LED的窄带发射特性,通过控制不同波长的LED依次发光,形成一系列单一波段的光源。每次发光时,相机记录被摄物体反射或透射的光信号,从而获取该波段的图像。
这个方案不需要移动部件,因此降低了由于光路改变而产生误差的风险,LED的高光效和长寿命特点也使系统适合长期运行。然而该方案要求目标物在拍摄时必须处于该装置提供的照明环境下,因此应用场景受限。另外,窄带LED存在波长范围有限和光谱重叠问题,需要通过优化LED阵列的波长选择和图像重建算法来提升光谱分辨率和成像精度。
使用窄带LED照明获取多光谱图像
多光谱成像的应用
多光谱成像技术在颜色科学相关领域具有诸多优势,例如颜色采集精度比传统的三色测量系统更高,从而有效提高颜色信息获取、传递、再现的准确性;结合光源信息解耦技术,多通道图像可以更精准地复原物体本身的光谱反射比,有效减少同色异谱问题,从而实现颜色图像的标准化、高保真再现。因此,多光谱成像技术常被用于复杂场景、目标物的光谱测量及颜色复制。
图3 多光谱成像能提升颜色再现的准确性
图中展示了分别利用RGB图像和10波段多光谱图像应用颜色转换矩阵的结果。每个色块的左半部分是测量的实际颜色,右上四分之一是从RGB图像使用3*3矩阵映射得到的颜色,而右下四分之一则是10波段多光谱图像使用10*3矩阵得到的颜色。10波段多光谱图像能提供更准确的颜色再现结果。
利用多光谱成像技术进行光谱反射率重建
在已知光源的光谱辐亮度和多光谱相机相关参数的情况下,将物体反射率与光源信息解耦,可以实现光谱反射率重建。
因其捕获光谱精细信息的能力,多光谱成像在医学、农业、气象等领域也被广泛应用。
多光谱成像用于研究视网膜病变
图中展示了人眼视网膜的RGB图像和不同波段图像的对比。
不同波段的图像能展现视网膜不同层的细节,例如550nm波段图像能清晰辨认视盘新生血管(红色箭头),780nm波段图像能明显观察到全视网膜光凝治疗后留下的痕迹(黄色圆圈)。
多光谱成像用于检测病变种子
第1列为健康种子,2、3列和4、5列分别为由链格孢属和镰刀菌属的真菌感染黑点病的种子。
(A)种子的RGB图像,(B)多光谱成像后不同波段图像处理并合成的结果,(C)种子经培育后的RGB图像
结语
人类的视觉是有极限的,而成像技术的发展就是不断突破人眼视觉极限的过程。长焦镜头突破空间分辨率的极限,让我们欣赏更远的风景,观察更细微的结构;高速摄影突破时间分辨率的极限,让我们捕捉转瞬即逝的瞬间,解析高速运动的奥秘。多光谱成像突破光谱分辨率的极限,让我们能探测人眼不可见的光谱信息,揭示物质的内在特性。我们期待多光谱成像技术能进一步应用到日常生活、研究工作等各种领域,让我们看见光的更多可能。
图源、参考文献:
徐海松. 颜色信息工程(第二版)[M]. 杭州:浙江大学出版社, 2015.
Stockman A. Cone fundamentals and CIE standards[J]. Current Opinion in Behavioral Sciences, 2019, 30: 87-93.
Genser N, Seiler J, Kaup A. Camera array for multi-spectral imaging[J]. IEEE Transactions on Image Processing, 2020, 29: 9234-9249.
Lapray P J, Wang X, Thomas J B, et al. Multispectral filter arrays: Recent advances and practical implementation[J]. Sensors, 2014, 14(11): 21626-21659.
Li H, Feng J, Yang W, et al. Multi-spectral imaging using LED illuminations[C]//2012 5th International Congress on Image and Signal Processing. IEEE, 2012: 538-542.
Xu P, Xu H. Filter selection based on light source for multispectral imaging[J]. Optical Engineering, 2016, 55(7): 074102-074102.
Kuzio O, Farnand S. Color accuracy-guided data reduction for practical LED-based multispectral imaging[C]//Archiving Conference. Society for Imaging Science and Technology, 2021, 18: 65-70.
Ma F, Yuan M, Kozak I. Multispectral imaging: Review of current applications[J]. Survey of Ophthalmology, 2023, 68(5): 889-904.
Vrešak M, Halkjaer Olesen M, Gislum R, et al. The use of image-spectroscopy technology as a diagnostic method for seed health testing and variety identification[J]. PLoS One, 2016, 11(3): e0152011.
https://www.jai.com/cn/multispectral-imaging#multispectral-imaging-applications
颜色科学40
同色异谱2
多光谱成像1
光谱1
颜色科学 · 目录
上一篇