让卫星图像更清晰,超分辨率技术的广泛应用

科技   2024-09-18 08:45   新加坡  

卫星图像的质量和可获取性得到了极大提升,从而使这些图像在农业、城市规划等多个领域变得不可或缺。

然而,即便是最高清晰度的图像,分析人员在解读时仍然希望能够获得更多的像素信息。人工智能技术带来了全新的解决方案:超分辨率(Super-resolution)模型,有望将卫星图像的清晰度提升到一个新的水平。

超分辨率技术简介

超分辨率技术虽然不能实际提高数据的分辨率,但它能够显著改善图像的视觉质量,实质上创造出高清(HD)的图像。在商业应用中,SR技术已被用来将图像从30厘米分辨率提升到15厘米,或者从50厘米提升到30厘米。

有些应用甚至将低分辨率的开源数据,如将欧洲的Sentinel-2 10米数据提升到2.5米分辨率。值得一提的是,这种增强效果可以应用于所有光谱波段。

超分辨率对比图

尽管超分辨率的名称中有“超”字,但其改善主要是美观上的。通过生成额外的像素,SR技术能够细化物体的边缘,并人工重建细节,从而提升图像的整体视觉清晰度和可读性。不过,SR技术无法揭示任何在原始数据中未捕捉到的隐藏信息。

例如,如果一个物体在原始数据中不存在,SR技术不会在增强后的图像中显示出来。因此,尽管SR图像的像素数量可能多于低分辨率图像,地面采样间距(Ground Sampling Distance)仍然保持不变

超分辨率技术的工作原理

超分辨率技术不仅限于卫星图像,它现在也被广泛应用于机器学习任务,用于提升图像的细节,通过将低分辨率输入图像转换为高分辨率输出图像。

通过应用算法处理低分辨率图像,缺失的细节得以填补,从而提高分辨率,同时保持或提升视觉质量。

SR技术特别擅长创建精确的边缘和增强长线性特征

超分辨率示例

AI超分辨率模型利用深度学习技术,通过在包含高分辨率和对应低分辨率图像的大型数据集上训练算法,使模型学会识别图像中缺失的数据,并因此重建这些数据。

最常用的AI模型架构是卷积神经网络(CNN),这种网络专门用于处理网格状数据,例如数字图像。使用这种方法,图像通过多个滤波器,包括卷积层和池化层,能够提取高级特征和纹理,从而使模型识别复杂的模式。

超分辨率的技术原理

超分辨率技术的核心在于将低分辨率图像中的像素信息“放大”到高分辨率图像中。

具体来说,超分辨率技术常使用卷积神经网络(CNN)生成对抗网络(GANs)来实现这一目标。CNN通过提取图像的深层特征来生成更高质量的细节,而GANs则通过对抗训练的方式不断优化图像质量。

  • 卷积神经网络(CNN):CNN在超分辨率任务中用于学习从低分辨率图像到高分辨率图像的映射关系。网络通过多个卷积层提取图像中的细节特征,并通过上采样层将这些特征映射到更高的分辨率。最终,模型生成的图像能够展示出更多的细节和更清晰的边缘。
  • 生成对抗网络(GANs):GANs由生成器和判别器两部分组成。生成器负责生成高分辨率图像,判别器则评估这些图像是否真实。通过这种对抗过程,生成器不断改进其生成的图像质量,使其在视觉上更加接近真实的高分辨率图像。

模型还会被训练以最小化SR输出图像与真实高分辨率图像之间的差异。这通常通过损失函数(如均方误差或感知损失)来实现,以鼓励模型生成既美观又准确的重建图像。

超分辨率在卫星数据中的应用

市场上已经出现了一些超分辨率产品,它们利用最先进的机器学习技术为分析人员提供增强的细节和可读性。

例如,UP42的CNN超分辨率模型使用了多光谱和全色图像对进行训练,能够将Pléiades和SPOT图像的分辨率提高到原来的四倍,并在其市场上提供。

来自韩国的Nara Space公司开发了一种超分辨率算法,将Pléiades Neo图像的分辨率从30厘米提升到10厘米。Airbus也推出了Pléiades Neo HD15产品,提供15厘米的增强分辨率。

Maxar的HD技术同样取得了显著成功,生产的15厘米SR图像在评分系统(NIIS)中常常获得6-7分的高评价(NIIS是一个主观评分系统,评估航空图像的质量,0分代表基本的土地使用,8分则可以清晰读取车牌)。

Maxar超分辨率示例

目前国内部分卫星厂商的数据也经过超分手段处理并提供给用户使用。

超分辨率技术的优势与应用

超分辨率模型在卫星图像中带来了多种应用机会,包括地图绘制、监测、特征识别和分析。通过提升视觉效果和减少像素化,这些模型为分析人员提供了可操作的信息,使他们能够辨识地面上的细小特征,从而有助于更好的决策。

城市规划中,SR技术使得特征识别更加精确,大幅减少了对如路灯、太阳能电池板、路标和车辆等小物体的错误识别。在灾害管理中,增强的图像有助于评估基础设施状况。在农业气候监测中,SR技术可以提高对植被和树冠的纹理信息的识别。

SR技术不仅对新数据有帮助,还能提升存档数据的质量。例如,它可以将低分辨率的存档数据提高到与新采集的30厘米数据相匹配的分辨率。由于高分辨率卫星的任务成本通常非常高,SR技术提供了一种经济实惠的替代方案

实际上,经过SR增强的15厘米卫星图像在某些应用中接近10厘米的航空数据质量,并且在一些情况下,SR卫星图像数据甚至可以替代航空数据——成本却只有其一小部分。

一个特别显著的优势是,SR模型能够提高其他AI模型的准确性。例如,Maxar的早期测试显示,使用SR增强的图像,机器学习模型在检测车辆方面的准确性提高了15-40%。在某些情况下,SR模型的解释性甚至优于原始30厘米数据——特别是在处理线性特征和重建地面或车辆上的标记方面。

超分辨率模型为提升卫星图像的可读性提供了一种创新的解决方案,不仅对人工分析人员,也对AI系统提供了更高质量的数据。它们在改进决策制定AI性能方面的潜在好处,使其成为分析工具中的重要补充——并且对于许多客户来说,可能是成本效益高的替代方案

随着技术的不断进步,我们可以期待超分辨率技术及其在卫星图像中的应用取得更大的突破,为更可靠的地理空间数据铺平道路。


欢迎交流

笔者长期从事人工智能、遥感、大模型等业务

欢迎添加微信交流

空天感知
专注商业航天、人工智能、气象水文等交叉学科,精选行业资讯,深耕AI业务落地
 最新文章