近日，蚂蚁科技奖技术沙龙请来第三位特邀嘉宾——湖南大学机器人学院教授、博士生导师佃仁伟，他分享的主题是“高分辨率高光谱智能融合成像”。
作为蚂蚁Intech科技奖首批获奖学者，佃仁伟主要从事高光谱计算成像的研究工作。以第一通讯作者在IEEE TPAMI、IJCV、IEEE TIP和CVPR等权威期刊和会议上发表论文20余篇，其中ESI高被引论文7篇，授权发明专利15件，获得过国家自然科学二等奖（第二排名）、中国光学学会郭光灿光学奖、中国人工智能学会优秀青年奖、中国图象图形学学会优秀博士学位论文奖、粤港澳大湾区国际算法算例大赛一等奖等奖项。
以下是佃仁伟在蚂蚁科技奖专场沙龙上的分享——
感谢能有这样一个机会跟来自蚂蚁集团的同行们介绍我的研究工作。我叫佃仁伟，来自湖南大学机器人学院。我的报告的分享题目是“高分辨率高光谱智能融合成像”，报告主要分三个部分：研究背景概述、主要研究成果、未来研究方向。
研究背景概述
说到高光谱成像，它是一种“空谱合一”的颠覆性技术，相比传统的彩色成像（RGB成像），它不仅能够同时获取目标的几何空间信息，更重要的是还能获取精细的光谱信息。空间信息往往是辨识感知目标的形状，当然RGB也带一定的色彩。当然在识别上，这往往是不够的。
光谱信息带来的是可以辨识这个目标的材质和成分，比如说同样是绿色的，有的可能是绿色的纸植物，有的是绿色的纤维材料，所以说它这个高光谱成像是通过现象看本质的火眼金睛。
高光谱成像在军事侦察、对地观测等工业制造方面都有重大的应用需求，是世界各国竞争的高科技前沿。
现有的高光谱成像技术可以分为扫描式成像、直接快照式成像和压缩编码孔径快照光谱成像等三种。
扫描式成像通过移动扫描来获得高光谱图像，按照扫描的方式可以分为点扫式、线扫式和面扫式，目前线扫式用得非常普遍。线扫式指的是扫描一次就只能获取一条线，这个空间像素中数中的一条线，因为对光谱成像来说，它一条线的数据也是一个矩阵，因为它有光谱和一维式光谱/一维式空间扫描一次。
扫描式成像技术最早起源于扫描式技术，低碳高温成像就是扫描式的。它的优点是获取的光谱分辨率很高，缺点是时间分辨率很低、成像速度慢，不适用于动态场景。扫描式成像与手机拍照有很大区别，手机拍照拍一张就是一个场景，它扫描一次只是一条线，相当于一条像素。
直接快照式成像是通过滤光片阵列，同时将不同光谱波段的信息成像于不同一面阵的不同位置，比如说RGB成像的马赛克就是三个波段的RGB，但当我们光谱波段数变多的时候，比如说这个滤纸，这个就是一个5×6的，那就是30个波段，就是一个马赛克编码，相当于通过滤光片阵列将不同的光谱波段，比如说这是第一个波段、这是第二个波段、第三个波段。
直接快照式光谱成像速度快，它的成像速度能做到很快，缺点是获取的图像空间和光谱分辨率相互制约。可以看到光谱波段数量越多，每个传感器的size也就越小，导致空间分辨率比较受限。
另一种最近比较流行的编码快照光谱成像技术，它是将三维的光谱图像通过编码耦合到二维传感器图像中，本来这个场景是一个三维的光谱，我们通过这些编码传感器件将三维的光谱信息编码到一个二维的平面，再通过这个二维的平面的数据去重构，通过计算的方式去重构光谱图像。当然这是一个突破性的技术。
现在编码快照孔径光谱成像技术虽然获取的图像空间和时间分辨率很高，但它通过重建提高了压缩比，导致光谱信息失真还是比较严重。
综上所述，现在的方案难以同时实现高时空谱分辨率成像。
主要研究成果
针对分辨率相互制约的问题，我们做了一个课题——光谱融合成像。俗话说，三个臭皮匠顶个诸葛亮，现在的成像手段是可以获取高空间分辨率的多光谱图像，也可以获取低空间分辨率的高光谱图像。这个是空间分辨率高，光谱分辨率低；这个是光谱分辨率高，空间分辨率低，这两个都是可以获得的。我们有没有想过通过一种融合的方式，虽然两个可能都不是我们最终想要的，通过他们融合得到这个双高，既高空间分辨率、也高光谱分辨率。在这个融合成像的研究过程中，我们发现了它面临融合成像机理不清，高维空谱结构表示难，以及融合成像效率低三个难题。
我们形成了高空间分辨率高光谱融合成像理论方法，并获得了三个研究成果。
高分辨率高光谱张量耦合成像机理
首先介绍一下第一个研究成果：高分辨率高光谱张量耦合成像机理。
我们发现了高光谱、多光谱和高空间分辨率高光谱图像之间的张量耦合机理。什么意思？这个是我们两个可以获取的图像，本质上是一个空谱耦合的三维张量，以及我们希望获得的高空间分辨率高光谱图像，他们都是通过我的三维张量。我们发现这个三维的张量可以分解为空间张量因子和光谱张量因子，两个空间张量因子和一个光谱张量因子。
当我们发现这个高空间分辨率高光谱图像可以由多光谱图像中的空间张量因子和获取低空间分辨率高光谱图像中的光谱张量因子的张量耦合得到，为什么是它的空间丈量因子？因为空间分辨率高保留了主要的空间信息，它是光谱分辨率高保留了主要的光谱信息，所以说这个耦合得到。
这从原理上验证了，从高光谱到多光谱融合得到高空间分辨率高光谱图像是可行的，我们进一步建立了空间和光谱信息的双光路融合机制，通过双光路的融合来实现高空间分辨率高光谱图像图像的获取，突破了单传感器空谱分辨率相互制约的限制。
我们建立了这三种图像间的空间和光谱映射关系，提出了基于图像传感器物理先验联合求解方法。也就是说，我们要获取的这个高空间分辨率高光谱图像，和传感器已经获得的低空间分辨率和高空间分辨率多光谱图像有什么关系？
这其实是一个空间映射关系，就是说这个高空间分辨率和低空间分辨率图像之中有一个空间模糊核、空间映射和采样的关系（Z=XB）。
这边有一个光谱采样的关系（Y=RX），这个空间模糊核和光谱采样矩阵B和R是非常重要的针对后续算法的设计，我们通过了一些物理模型，比如说和为一的物理先验去求解B和R，建立了高分辨率高光谱融合成像模型。
高光谱结构化低秩张量表示模型
第二个研究成果是高光谱结构化低秩张量表示模型。
传统方法将高光谱图像表示为一维向量或二维矩阵，破坏了高光谱图像固有的高维空谱结构，难以准确表现高分辨率的高光谱图像。
我们从三维视角入手，将高光谱三维数据块聚类成结构化张量簇，发现了结构化张量簇在张量空间的结构化低秩分布规律。也就是说，我们对高光谱图像也开始做尝试，发现它并不存在低秩表征的特性。当然它相似的图像块构成的高维张量空间是存在低秩分布规律的，因此我们将高光谱图像表示从一维向量或二维矩阵拓展到高维张量。
基于上面的模型，我们建立了高光谱图像的结构化低秩张量表示模型，并提出了非凸核范数约束的联合优化机制，来实现高光谱图像的紧致准确表示。
与传统矩阵方法相比，我们提出的这个方法在表示精度上提升了4.9dB，也被IEEE地球科学和遥感学会副主席Jocelyn教授评价为“取得了卓越性能”。
模型引导的低秩张量融合成像方法
第三个研究成果是模型引导的低秩张量融合成像方法。
高光谱融合成像面临着训练数据缺失和融合效率低下的难题，难以满足高精度实时融合成像的需求。训练数据缺失指的是，深度学习确实在图像处理上取得了比较好的成就，但是矩阵神经网络，比如说网络优于光谱图像式最直接的想法是，输入一个高光谱图像，输入一个多光谱，比如说RGB图像，还有一个高分辨率高光谱图像。
但实际上，高分辨率高光谱图像并不存在这样的训练数据，那我们如何去解决这个问题？没有训练数据，我们只能获得一个同一场景的高光谱图像和多光谱图像，但是高分辨率高光谱图像并不存在。第二个是融合效率低，对实时成像而言，我们对时间有非常高的要求，它要在非常轻量的网络下达到较高的融合成像的精度，这也是一个很重要的挑战。
针对融合数据缺失的问题，我们从自己的研究成果中建立了融合模型出发，开始建立空间映射感到和光谱下采样关系。通过空间映射关系下采样生成训练数据，我们获取了多光谱图像和高空间分辨率多光谱图像，这个是低空间高光谱图像，我们通过下采样的多光谱图像、下采样的高光谱图像、原始的高光谱图像，构成了一个训练数据对。但是下采样涉及到一个问题，我们如何去下采样？因为下采样的方式有很多种。为了保证融合模型的一致性，比如说我们做图像超分辨率的任务，你在一个高模糊和训练好的网络，往往不一定能取得很好的效果，比如说训练好的高斯去噪器不一定能够很好的去除条带和椒盐噪声，这个就是模型的一致性。
我们采用了我们的研究成果，估计的空间映射关系去下采样生成训练数据，从而构成了训练数据。这样就解决了训练数据不足的问题，并实现了高质量训练样本的生成。因为这个训练数据是从要融合的图像中并且通过一致性的模糊核去生成的，这样就实现了物理模型的一致性，保证了融合数据和测试数据。
第二个是我们提出了模型的低秩张量融合成像网络，我们将这个低秩张量表示和模型引导结合，来增强网络的学习能力，通过秩一张量表示学习、这种空间和光谱信息，然后再通过模型引导，通过物理模型来实现高效高精度的高光谱融合成像。可以看到我们提出的方法，比起TPAMI2020年的方法，我们在融合成像误差降低的同时，融合效率提升了10倍以上，因此被东京大学的Yoichi Sato教授评价为“高质量的高光谱成像”。
这是我们做的一些应用，这个是将高分七号卫星的高光谱图像的空间分辨率从2.6米提升至0.65米，为目标的精确识别提供重要支撑。这个高分七号卫星带了两个传感器，一个是多光谱传感器、一个是高空间分辨率的传感器，光谱传感器是2.6米的分辨率，高空间分辨率传感器是0.65的分辨率，左边是卫星的原始图像，右边是融合图像，提升了4倍的空间分辨率。
这个是意大利的PRIMASA卫星，这个卫星带了30米空间分辨率的高光谱图像和5米分辨率的全色图像融合，这个分辨率的提升是非常明显的，颜色色彩也没有怎么丢失。
因为高光谱图像最终要用于探测识别，我们去进一步探究了这个融合获取的高光谱图像对后续的分类识别有没有作用？我们在长沙望城区采集到数据并把它分为了这几类。我们采用同样的分类样本、分类方法去做实验，可以看到即使高光谱图像的空间分辨率比RGB要低一点，大概是4倍的差异，但是它的分类精度一样要高近5个点，可以看到这个高光谱图像是非常有用的。通过融合，它又能提升接近5个点，这个是在分类方法都一致、实验设置一样的情况下得出来的结论。
我们还开始做一些来自不同源的卫星以及无人机、传感器的融合。我们发现这个很有效，在成像上有很大优势。我们想根据这个原理去设计一个相机，采用共孔径双光谱设计，研制了高分辨率高光谱相机，将高光谱图像空间分辨率提升至多光谱量级。这个相机通过物镜和分光棱镜，一个获取低分辨率的高光谱，另一个获取高分辨率的多光谱，这个多光谱就是RGB加一个近红外的4波段，通过智能融合来获取高空间分辨率高光谱图像，可以看到这个相机的指标尤其在空间分辨率上是领先的。
这是我们这个相机拍摄到的其中三个波段的高光谱，这个大概就是现在这个高光谱传感器的水平获取拍摄的高光谱，就是这种视频级的高光谱，这个不是推扫式的，是快照式的高光谱。这个就是我们获取的高光谱其中三个波段，做了一个对比，可以看到分辨率得到了显著提升，提升了8倍。
我们还后续做了一些分析，比如说很难以区分的纯净水、雪碧、湖水，可以看到这个光谱曲线可以区分它们。
我们还做了一个真假苹果的检测。可以看到在RGB上很难区分的，但是光谱有比较明显的区别。
这个是运用比较多的，区分一些伪装，比如说在绿色的叶子上，这是绿叶，但我们中间贴了红色标点，这是贴的一个伪装布，跟叶子很相似。可以看到在不相似的波段下面，我们获取了特征波段，大概是700纳米左右，它这个是有明显的区别的。但是在RGB上根本是看不出来的。当然在不相似的波段上也看不出来高光谱，它有些是特征波段它可以看得出来明显的区别。
我们还做了一些粉末成分分析。这是一些中药粉，这是拍的RGB图像，它们的区分度也比较小。但是在高光谱图像上，它这个特征波段差别就会比较大，可以区分伪彩。
未来研究方向
我们现在做光谱相机主要是做了马赛克编码采样，它导致了光谱信息混叠的问题，比如说RGB马赛克。RGB跨的周期比较小，只有2个像素，但是这个可能是8个像素，比如说8×8马赛克，造成光谱之间无法对齐还有混叠，去除这个混叠。
我们还想把光谱范围向红外方面去拓展，因为我们现在做的是400-1000纳米的范围，主要还是硅基的，看在红外应该是表示一个什么样的特性，也做这样的红外光谱的视频，比如说拓展到1000-1700纳米，我们现在正在做的一个相机是这样的，甚至中波、长波红外。
以上就是我今天的分享，谢谢大家。
