人工智能(AI)与高光谱成像(HSI)的协同作用

文摘   2025-01-15 10:00   湖北  
文章有高度,思想有深度

高光谱成像(HSI)于 20 世纪 80 年代中期最初用于遥感,在过去二十年已扩展到众多研究领域,尤其是农业和食品科学,用于收集研究对象视觉和化学属性的补充数据。HSI将传统成像与红外、拉曼和荧光等光谱技术相结合,形成称为超立方体的三维数据结构,整合了二维数字图像和光谱数据维度,每个像素都关联着反映其代表区域光学特性的光谱,虽受邻域像素影响,但光谱可作为物质识别的独特特征。在水果、蔬菜和蘑菇质量评估方面,HSI 面临数据可用性和模型可靠性等挑战,现有研究多缺乏实际应用导向,需注重重复性和研究参数向工业参数的转化,以实现无损质量评估,减少食品浪费并保障食品安全。

人工智能(AI)与 HSI 的整合至关重要,AI 算法(主要是机器学习和深度学习方法)能有效处理高维和大规模 HSI 数据,实现精准特征提取和分类,在处理大数据集、降噪、实时分析及提高任务精度等方面表现出色,对农业、遥感等依赖高光谱数据的应用必不可少。随着 AI 技术发展,其与 HSI 的结合将更紧密,实现实时处理,结合新兴技术可扩大应用范围,推动行业创新,尽管面临数据和计算挑战,但前景乐观。本综述将深入探讨 AI 在 HSI 应用中的关键作用、面临的挑战及未来发展前景。

HSI的工作机制与挑战
HSI通过捕获和处理光谱信息来工作,超越了传统成像仅在少数波段采集数据的局限。其过程始于光源照射目标场景,光与场景中材料相互作用后,HS传感器利用光学元件(如棱镜或衍射光栅)将收集到的光分散成不同波长,再通过传感器阵列检测各波长光强度,从而生成包含丰富光谱信息的HS数据立方体,涵盖两个空间维度和一个光谱维度。数据采集方式包括点扫描、线扫描、光谱扫描和快照相机等。采集后需进行校准以校正传感器响应、光照和大气影响,随后运用光谱解混、分类、特征提取和降维等高级数据处理技术。

HSI数据具有高维度和复杂性,每个像素包含数百个光谱带,导致数据集庞大,对计算资源和存储要求高,且存在数据冗余问题。同时,数据易受噪声干扰且对环境条件敏感,需要复杂的预处理技术如降噪、大气校正和校准等。而AI能够解决这些挑战,其机器学习和深度学习技术擅长处理复杂数据,可自动学习光谱特征,减少手动特征工程,在处理高维数据、降噪、实时分析和提高任务精度等方面具有显著优势,在高光谱数据分析中具有重要作用。

图1 HSI 系统主要部件示意图

HSI的类型
点扫描(point scanning):一次捕获一个像素,相机扫描样本时逐步构建图像,每个像素包含完整光谱信息,光谱分辨率高,但图像采集耗时,不适用于快速数据收集场景,常用于实验室光谱分析。

线扫描(line scanning):逐行测量连续光谱,在工业质量控制监测中广泛应用。虽因光谱仪入口狭缝存在光损失,但在速度和光谱分辨率间取得平衡,适用于实时监测与分析。

傅里叶变换(Fourier Transform,FT)光谱:可测量连续光谱,结合单色成像传感器和干涉仪,光通量高于推扫式系统,光谱数据收集效率和精度高,适用于高灵敏度和精度要求的应用,能处理宽波长范围,在化学分析等领域应用广泛。

光谱扫描(spectral scanning):能收集特定波长的全部空间信息,逐个波长进行处理。虽单张图像采集相对较快,但整体因需切换波长而较慢。在特定波长需要高空间分辨率的应用中作用显著,如荧光显微镜,也可优化聚焦于特定感兴趣区域。

HS 快照相机(HS snapshot cameras):可拍摄 HS 视频,适合对运动物体成像,采集快速高效,但光谱和空间分辨率相对其他技术受限,在实时 HS 成像如医疗诊断中有重要应用。

高分辨率 HSI 对检测复杂目标光谱变化至关重要,但现有高分辨率设备成本高昂,限制了其应用和普及。Stuart 等人研发的低成本设备为解决此问题提供了新途径,其在矿物学环境监测中表现出良好性能。

表1 HSI中使用的扫描方法的特点。
AI与HSI的协同作用
HSI包含数百个光谱带,数据维度高,存在冗余、噪声及“维度诅咒”等问题,传统分析方法难以应对。而人工智能算法,尤其是机器学习(ML)和深度学习(DL)模型,能有效处理这些问题。

监督学习算法利用标记数据训练模型进行分类或分析,如支持向量机(SVMs)适用于高维数据和小训练集的分类;随机森林(RFs)鲁棒性强,能处理噪声数据;K-近邻(KNNs)基于像素光谱与标记数据的邻近度分类;神经网络如多层感知器(MLPs)可用于像素级分类。

无监督学习算法能在无预定义标签的情况下发现数据中的隐藏模式,如 k-均值聚类、主成分分析(PCA)等;神经网络中的卷积神经网络(CNNs)和循环神经网络(RNNs)可学习复杂数据的表示;强化学习算法适用于动态环境;独立成分分析(ICA)用于盲源分离;自动编码器用于无监督特征提取和降维。还有如 DiffSpectralNet 等新方法整合不同技术提升分类效果。

DL技术借助深层神经网络自动学习特征,避免手动特征工程,生成对抗网络(GANs)可用于数据增强等。在卷积神经网络中,其卷积层通过局部感受野(Receptive Field)连接提取特征,结合池化层等技术增强模型泛化能力,在处理复杂多维数据方面表现突出。

在光谱解混中,常用非负矩阵分解(NMF)和稀疏编码技术。混合模型结合空间和光谱信息提升分类等任务性能,如空间-光谱 CNNs 和图卷积网络(GCNs)。自然语言处理算法也助力 AI 理解和生成语言,推动多领域智能任务发展。

在实际应用中,利用 AI 技术改进的高光谱相机可提升信号处理速度和噪声容忍度,实现光谱准确重建。AI 驱动的超分辨率算法可增强图像空间分辨率,有助于精确映射和检测。在分类任务中,ML 和 DL 技术能处理高维光谱数据,实现材料或物体分类。AI 算法在去噪时可保留关键信息,在图像重建中能填补缺失部分,在对象检测和图像分割中利用光谱信息提高精度,在不同领域发挥重要作用。

图3 a)深度学习宽带编码随机高光谱相机简化示意图:相机根据光谱编码位置在主动模式(顶部)或被动模式(底部)下运行。(b)基于深度神经网络(DNN)的光谱重建概述:DNN 处理单色相机的初始数据以生成恢复的三维高光谱数据立方体。(c、d)窄带激光束的光谱轮廓:在(c)中,DNN用 “精确” 数据进行训练,而在(d)中,用 “一般” 数据进行训练。(e)在 598.0nm 和603.2nm 处的两个峰的光谱轮廓,峰间距以黑色显示。


表2 AI与HSI相互作用中所使用的各类算法的特性。

人工智能与高光谱成像协同作用的应用
农业领域

作物生长监测:利用AI-HSI能够精准分析作物不同生长阶段的高光谱图像,通过识别作物光谱特征的细微变化,判断作物的健康状况,比如是否遭受病虫害侵袭、营养元素是否缺乏等。例如,深度学习模型可以对高光谱图像中作物叶片的光谱反射率进行分析,区分健康叶片与染病叶片,帮助农民提前采取防治措施,提高作物产量和质量。

农产品品质评估:对水果、蔬菜等农产品进行无损检测,依据其独特的光谱“指纹”结合AI算法准确判别农产品的成熟度、甜度、内部品质等指标,利于农产品的分级筛选和精准销售。

图4 用于分析食品质量的人工智能 - 高光谱成像(AI-HSI)

遥感领域

土地覆盖分类与监测:可以对大面积的陆地表面进行高光谱成像,AI算法对获取的数据进行处理,精确区分不同的土地覆盖类型,像森林、草地、农田、水域、城市建筑等,并且能够实时监测土地利用变化情况,比如城市扩张、森林砍伐、湿地减少等,为土地资源管理和生态环境保护提供有力的数据支撑。

矿产资源勘探:基于不同矿物质具有特定的光谱吸收和反射特征,AI与高光谱成像技术结合,从遥感图像中识别潜在的矿产分布区域,提高勘探效率,降低勘探成本。

环境监测领域

水体污染监测:通过分析水体的高光谱数据,AI可检测出水中污染物的种类、浓度等信息,比如识别水中的重金属含量是否超标、有机污染物的存在情况等,实现对水环境质量的动态监测。

图5 安装在一种名为“水母机器人”的无人驾驶飞行器(UAD)上的远程HSI系统,该飞行器可配备一张网,用于从各种水面收集大型塑料或微型塑料。

大气成分分析:借助HSI捕捉大气中各种气体分子的光谱特征,运用AI算法来确定大气中温室气体、污染物等成分的含量和分布,辅助大气污染治理以及气候变化研究。

医疗领域

疾病诊断:例如在皮肤疾病诊断方面,利用HSI获取皮肤病变部位的光谱图像,AI模型分析这些图像来辅助医生判断病变的类型、严重程度等,提高诊断的准确性和效率。

图9 一名健康成年人静息状态下的外周血流动力学示意图,展示了氧合血红蛋白(HbO2)、血红蛋白(Hb)以及血氧饱和度(sPO2)的相关情况。

组织病理分析:对病理切片进行高光谱成像,基于AI算法挖掘其中蕴含的光谱信息,帮助识别癌细胞、病变组织等微观结构特征,为疾病的精准治疗提供参考依据。

工业领域

产品质量检测:在制造业中,对生产线上的产品进行高光谱成像,AI算法可以快速检测产品表面的瑕疵、内部结构缺陷等质量问题,实现自动化、高精度的质量控制。

材料识别与分析:针对不同的工业材料,通过高光谱成像并结合AI能够快速准确地识别材料的种类、成分以及判断材料的性能是否达标等,便于原材料的筛选和产品的质量把控。

AI与HSI之间的协同作用代表着数据处理和材料识别技术方面的重大进步。随着技术的持续发展,它们的交集有望推动更多创新,进一步拓展其在科学研究以及实际应用场景中的应用范围。这种协同作用的未来有着革新诸多行业的潜力,能够突破现有技术的边界,提供以往传统方法无法实现的精准、高效且通用的解决方案,为各行业带来全新的发展机遇和变革。

原文
Khonina SN, Kazanskiy NL, Oseledets IV, et al. Synergy between Artificial Intelligence and Hyperspectral Imagining—A Review[J]Technologies 2024, 12(9):163.

版权声明

文转载自“AgriPheno平台”微信公众号,原标题“人工智能(AI)与高光谱成像(HSI)的协同作用”。转载仅用于学术分享,若有侵权,请后台留言联系修改或删除!


『点赞在看,精彩不断』↓ ↓ ↓

食品信息学
关注机器学习、化学计量学与仪器分析化学在食品科学领域的交叉应用研究新成果!
 最新文章