今天来聊聊一个老生常谈的话题为何遥感技术对深度学习具有特殊性？，为什么在这个领域仍然有大量工作要做，或者说没有达到一般的CV领域的技术水平。
我们看看常见的工作种都可能面临哪些问题。
地球不是平的：参考坐标系的重要性
首先，大家都知道地球是圆的。
在遥感领域，如何在一个弯曲的地球表面上正确定位图像是个大问题。你可能会用到墨卡托投影，但如果你在南极工作，可能连东西方向都搞不清楚。
这就像是你在拼一张巨大的拼图，但每块拼图的形状都不太一样。
在准备遥感数据集时，参考坐标系非常重要。它不仅决定了图像查询的方式（比如某个缩放级别），还影响了我们如何展示结果。
遥感图像不仅仅是图片，它们还是地理空间信息的载体，图像中的坐标信息与图像本身同样重要。
图像校正的挑战：不同的获取几何
遥感图像不是总能从上往下垂直拍摄的，有时候角度会有些偏差。
为了让不同传感器拍摄的图像匹配，我们需要进行地理参考和正射校正。这就像是你拍了一张斜着的照片，然后用软件把它拉直。尤其是雷达图像，处理起来更加复杂，简直像是在拼一幅立体的拼图。
如果你想结合来自不同传感器的图像，首先需要对它们统一坐标系，并在高分辨率下进行正射校正。
正射校正是为了纠正由于不是从纯垂直方向获取图像而产生的投影偏差。对于处理雷达图像的人来说，叠加不同几何形状的图像也非常头疼。
标签的定义：真值的复杂性
在深度学习中，标签就像是老师给你的答案。但在遥感图像中，定义这些标签并不容易。
在监督学习中，我们需要使用标签来训练模型。对于常见的图像数据集，比如ImageNet，标签的定义相对简单且广泛使用。
但在遥感图像中，标签的定义却复杂得多。我们常常需要描述一些自然物体，而这些物体的定义并不明确。
举个例子
什么是房子？霍比特人的小屋算房子吗？屋顶上有网球场的建筑是房子还是运动场？ 什么是树？如果一棵树干分成两部分，这是一棵树还是两棵树？巨大的竹子算树吗？ 如何定义两个日期间的变化？如果一个物体在t0和tN之间出现又消失，这算变化吗？纹理或颜色的变化算建筑变化吗？增加一层楼呢？
这些问题听起来简单，但在实际应用中却非常棘手。
数据获取的多种限制
遥感图像的获取条件受限于卫星轨道和拍摄角度等因素。
这就像你只能在特定时间、特定角度拍摄照片，不能随心所欲。导致我们现有的图像数据集在分辨率、像素尺寸和频率上都比较稀疏。
像素与对象：不同的评估方法
根据具体需求，我们可能会选择“像素级”或“对象级”处理方法。这就像是你在看一幅画时，可以选择关注每一个像素点，或者整体看待画中的物体。不同的方法需要不同的评估标准。
多维度数据：处理复杂图像
许多深度学习模型只能处理灰度或RGB图像，但遥感图像往往是多光谱或高光谱的，甚至包括复杂的SAR图像。
这就像习惯了看黑白电视，突然要看彩色的，还带3D效果，处理起来难度大增。
如何处理多光谱和高光谱图像？如何处理复杂的SAR图像？如何管理多模态数据库？这些问题需要我们重新思考和设计模型。
异构数据的整合：不仅是图像
遥感图像还会受到天气和季节的影响。
如何将这些非图像信息整合到学习过程中，是一个大挑战。此外，历史数据中也有很多宝贵的空间信息，如何充分利用这些数据也是一个难题。
超越可见光：不同的物理信息
雷达图像和人眼看到的完全不同。即使是先进的AI模型也需要从这些遥感图像中学习更多信息。
比如，如果让文生图模型生成雷达图像，目前它们还做不到。
动态变化：数据处理的挑战
动态变化在遥感数据处理中非常重要。举个例子，2016年，Google Earth Engine提供了所有Sentinel-1图像，但这些图像经过了热噪声去除、辐射校准和地形校正等处理，导致数据在像素值的1%和99%之间进行了对数缩放。
雷达专家对此表示不满，因为这些极端值包含有价值的统计信息。2019年，GEE重新处理了这些数据，将其编码为浮点格式。
数据保护：高分辨率和雷达数据的安全性
高分辨率或雷达数据对情报部门非常重要。处理这些数据时，开源解决方案并不总是理想的。这些领域仍有大量工作要做，以充分利用可用的大量数据。
遥感技术与深度学习的结合为我们提供了巨大的潜力，但也带来了诸多挑战。从多维度数据处理，到动态变化的管理，再到数据安全性，仍有许多问题需要解决。
未来的研究和技术进步将继续推动这一领域的发展，使我们能够更好地理解和利用地球的遥感数据。
欢迎交流
笔者长期从事人工智能、遥感、大模型等业务
欢迎添加微信交流
往期精彩回顾
