RS DL
论文介绍
年份：2024
单位：国防科技大学
注：本篇由论文原作者审阅
主要内容
系统回顾多源遥感影像变化检测（RSICD）的发展历史
文章详细介绍了RSICD从诞生到发展的三个阶段：萌芽期、发展期和高峰期。通过回顾这些阶段，文章展示了早期变化检测方法的演变过程，并引入了新兴的深度学习技术。
多源遥感数据的优势与挑战
文章分析了不同类型的遥感数据源（如光学影像、SAR、3D点云等）的特性及其在变化检测中的应用。通过这些不同数据源的融合，能够提高变化检测的精度与可靠性。文章还收集并整理了公开的变化检测数据集，提供了大规模AI模型的基准数据。
分类与总结现有的变化检测方法
文章系统性地对RSICD方法进行分类与总结，基于检测框架、检测粒度和数据源等方面进行分析，并详细评估了不同方法在特定任务和应用场景中的适用性，帮助读者理解多源数据在不同应用中的强项与弱项。
应对高分辨率影像和大规模AI模型的挑战
随着高分辨率影像和大规模AI模型的兴起，文章指出了RSICD所面临的技术挑战，尤其是在多源数据处理和融合方面。文章还讨论了未来的研究方向，包括如何利用AI模型来改进变化检测技术。
发展历史
1. 萌芽期 (Embryonic Stage)
时间范围：1960年代至1980年代 主要内容：这一时期是变化检测技术的初期探索阶段。随着遥感技术的发展，研究人员开始尝试利用卫星数据进行地表变化分析。早期的方法主要基于像素的光谱对比，依靠像素级别的差异来检测变化。 关键研究：Rosenfeld（1961年）提出了早期变化检测的概念；Weismiller等（1977年）提出了第一个图像差分算法，用于监测沿海环境变化。 典型方法：该阶段的变化检测方法主要包括图像差分、图像比值、回归分析等。虽然这些方法操作简单、直观，但容易受到噪声的影响，尤其是在低分辨率影像中。 特点：该阶段的变化检测主要依赖于低分辨率的单源遥感数据，主要应用于土地利用变化和城市发展检测。由于数据分辨率和处理技术的局限，早期的方法相对粗糙且容易受环境因素影响。
2. 发展期 (Development Stage)
时间范围：1990年代至2010年代 主要内容：随着机器学习技术的发展，变化检测技术在这一时期得到了显著提升。支持向量机（SVM）、随机森林（RF）、马尔可夫随机场（MRF）等机器学习方法被广泛应用于遥感数据的变化检测中。同时，地理信息系统（GIS）和面向对象的变化检测方法也在这一阶段得到广泛使用。 关键进展：支持向量机（SVM）成为这一阶段的代表性方法，能够处理非线性问题并对噪声具有鲁棒性。另一方面，面向对象的方法将遥感图像分割成具有语义和空间连续性的对象，通过对象级别的分析来提高检测的准确性。 数据与应用：这一阶段高分辨率数据（如QuickBird、IKONOS等）逐渐普及，推动了变化检测从像素级别向对象级别的转变。同时，变化检测的应用范围从城市发展和土地利用扩展到农业、环境监测和灾害评估等领域。 特点：这一时期变化检测的一个重要进展是从像素级别的分析转向对象级别的分析，并结合GIS技术，提升了检测精度和应用范围。数据源的多样化和分辨率的提升也为复杂场景下的变化检测提供了支持。
3. 高峰期 (Peak Stage)
时间范围：2010年代至今 主要内容：随着深度学习技术的崛起，变化检测进入了快速发展的高峰期。卷积神经网络（CNN）、生成对抗网络（GAN）、自动编码器（AE）等深度学习方法极大地推动了变化检测技术的发展，特别是在处理高分辨率、多源数据方面。 关键技术：CNN用于提取影像的空间特征，GAN通过生成器和判别器的对抗训练生成逼真的变化结果，AE在无监督学习中表现出色，适合处理大规模、无标签数据集。 新趋势：随着Transformer模型的出现，基于注意力机制的模型进一步提升了变化检测的时空特征捕捉能力，尤其适合多时相、多源遥感数据的分析。 数据源与应用：高分辨率数据、SAR、3D点云等多源数据在这一阶段得到了广泛应用。变化检测的应用领域更加广泛，包括气候变化监测、自然灾害响应和城市发展分析。 特点：这一时期的主要特征是深度学习方法的广泛应用，使得变化检测技术不仅可以检测地表的物理变化，还能够捕捉更复杂的语义信息和空间关系。数据驱动的方法也使得变化检测从对象分析上升到场景理解的层次。
数据
光学变化检测数据集 (Optical CD Dataset)
主要内容：光学影像是变化检测中最常用的数据源，因为它具有较好的解释性、较高的空间分辨率和丰富的光谱信息。光学影像可以直观地通过亮度、颜色等视觉特征进行地表变化的评估。 多光谱变化检测数据集 (Multispectral CD Dataset)：多光谱遥感影像涵盖了从可见光到近红外和短波红外的多个光谱波段，能够提供丰富的地表变化信息。数据集的特点是时间跨度长，能够分析长期变化趋势。
典型数据集：Landsat系列数据集、Sentinel-2数据集、QuickBird数据集等。这些数据集具有较高的空间分辨率，并且长期积累了大量数据，适合用于土地利用变化检测、城市扩张等场景。
优点：光学影像直观且高分辨率，数据积累丰富。
缺点：易受天气和光照条件影响，尤其是在多云或夜间，获取高质量影像较困难。
高光谱变化检测数据集 (Hyperspectral CD Dataset)：相比于多光谱影像，高光谱影像在多个窄波段提供更详细的光谱信息，能够区分具有相似光谱特性的材料。因此，它在检测植被健康、土壤类型、污染物扩散等变化时具有优势。
典型数据集：AVIRIS、Hyperion等高光谱数据集。
优点：能够提供更丰富的光谱信息，适合细粒度的变化检测。
缺点：数据量大，处理复杂，通常具有较低的空间分辨率。
2. SAR变化检测数据集 (SAR CD Dataset)
主要内容：SAR（合成孔径雷达）数据具有全天候和全时段观测能力，不受云层、雨雪和光照条件的影响，能够在复杂的天气条件下进行地表变化监测。SAR数据常用于灾害监测和土地变化分析。
典型数据集：COSMO-SkyMed、ERS-2、Radarsat-2等SAR数据集。
优点：不受天气和时间限制，能够穿透云层和植被，捕捉地表信息，适合自然灾害监测和地形变化分析。
缺点：SAR数据的解读难度较大，受到几何变形和电磁干扰的影响，图像中的斑点噪声也是主要问题之一。
3. 3D点云和异构变化检测数据集 (3D and Heterogeneous CD Dataset)
主要内容：3D点云数据提供了丰富的地形高程和空间结构信息，适合在复杂环境中进行变化检测，例如人口稠密的城市区域和密林覆盖地区。异构数据集则结合了来自不同传感器的数据（如光学、SAR、激光雷达等），通过多源融合来提高变化检测的精度。
3D点云数据集：包括城市级别的3D场景数据集（如SHREC、Change3D等），这些数据集提供了详细的城市建筑物和地形信息。
优点：能够提供准确的三维空间信息，适合复杂环境下的变化检测，尤其是建筑物变化和地形变动的监测。
缺点：数据密度不均匀，容易受到噪声干扰，数据处理成本较高。
异构变化检测数据集：这类数据集结合了不同传感器（如光学、SAR、激光雷达等）采集的数据，能够在不同成像条件下提供互补的信息，弥补单一传感器的不足。
典型数据集：Heterogeneous CD datasets，如Google Earth与无人机（UAV）数据组合，结合了多个传感器的数据，有效提升变化检测的时空分辨率。
优点：能够结合多个传感器的优点，提供更加全面的变化信息。
缺点：数据源融合复杂，不同数据源的对齐和融合处理是一个挑战。
方法
RSICD techniques（遥感影像变化检测技术）
1. 基于数据类型的分类 (Classification based on the data type)
同源变化检测 (Homogeneous Change Detection)：
在同源变化检测中，数据源来自同一类型的传感器，通常是同一种类的光学影像、SAR影像或LiDAR数据。由于数据来源一致，处理过程较为简单，通常可以直接进行像素级的变化对比。
优点：因为数据一致，减少了配准和数据转换的难度，检测精度较高。
缺点：对于复杂场景的变化检测，可能无法捕捉到多样性变化。 异源变化检测 (Heterogeneous Change Detection)：
异源变化检测涉及多种数据源的融合，例如将光学影像与SAR影像、LiDAR数据相结合。这种检测方式能够捕捉不同传感器的数据特征，在更复杂的环境中发挥优势。
优点：通过结合不同类型的数据源，可以获取更多的地表信息，提高检测的准确性。
缺点：数据融合和配准的难度较大，异源数据的不同成像特性可能导致额外的噪声和误差。
2. 基于检测粒度的分类 (Classification based on the granularity)
像素级变化检测 (Pixel-based Change Detection)：
像素级检测是最早期和最常见的变化检测方法，通过比较不同时相的图像中相应像素值的变化来识别地表变化。这类方法简单直观，适合同源数据。
优点：计算简单，适合大范围监测任务。
缺点：对噪声敏感，无法处理细节复杂的场景，且误报率高。
对象级变化检测 (Object-based Change Detection)：
对象级检测首先对影像进行分割，生成空间上连续的图像对象（如建筑物、植被），然后对比这些对象的特征来检测变化。它通常适用于高分辨率遥感影像。
优点：减少了噪声的影响，适用于复杂的地物变化检测，尤其是城市变化检测。
缺点：分割和分类算法对检测结果影响大，计算复杂度较高。
场景级变化检测 (Scene-based Change Detection)：
场景级检测基于对整个场景或区域的理解，通过分析场景整体的变化趋势来检测变化。它常用于大范围、宏观的变化检测任务。
优点：适合大规模变化检测，能够捕捉区域级别的变化。
缺点：无法检测微小的变化，适合宏观趋势的变化监测。
3. 基于检测框架的分类 (Classification based on the detection framework)
1. 单流架构 (Single-stream architecture)
主要特点：这种架构将多时相的遥感图像直接堆叠在一起，然后使用同一个深度学习网络进行处理。网络学习到的特征来自于不同时相图像的联合特征空间。这类架构简洁且适合处理相对简单的变化场景。
优点：单流架构实现简单，适用于同源数据的变化检测，尤其是在光学影像或同一类型的传感器数据下，表现较好。
缺点：对于多源数据或异源数据，单流架构难以有效捕捉不同数据源之间的特征差异，可能导致较低的变化检测精度。
2. 双流架构 (Dual-stream architecture)
主要特点：双流架构为每个时相的图像分配一个独立的特征提取网络（例如CNN），然后在后续阶段将提取的特征进行融合，生成变化检测的最终结果。每个流网络可以独立学习各自时相的特征，而融合层可以综合这些特征用于变化检测。
优点：这种架构能够更加细致地捕捉不同时间段或不同传感器之间的特征差异，尤其适合异源数据的融合检测。
缺点：双流架构的计算成本较高，因为需要训练两个网络，并且特征融合阶段的设计对结果影响较大。
RSICD architecture（遥感影像变化检测架构）
一般的变化检测（CD）流程包括四个主要步骤：数据集构建（获取数据并标注样本）、数据预处理（几何校准和辐射校正）、变化检测实施（识别变化、位置、变化前后的地物类型以及分布模式），以及精度评估（定性和定量评估结果）。
精度评价指标
RSICD应用
随着遥感技术和图像处理算法的进步，变化检测（CD）在监测植被覆盖、土地利用和城市发展等方面具有重要应用价值，也用于评估军事打击、洪水和地质灾害，以及军事设施和设备部署的侦察。应用类型可以分为三类：动态监测、损害评估和目标侦察。
动态监测通过多时相图像持续观察地表变化，如城市扩张、农业用地和植被变化，常用卫星有Landsat 8、Sentinel-2等，NDVI和NDWI用于植被和水体监测。
损害评估快速评估自然灾害和军事打击的损害，多传感器结合（光学遥感+SAR）提高时空分辨率。
目标侦察专注于飞机、军舰等关键目标的变化，常采用任务导向型和多任务检测方法。
讨论
文章讨论了当前遥感影像变化检测（RSICD）领域面临的挑战和机遇
样本不平衡问题：文章提到一个长期存在的问题是变化和非变化样本之间的不平衡。这种不平衡会影响变化检测方法的准确性，模型往往会对非变化样本过拟合。文章建议通过数据增强和修改损失函数（如焦点损失）等技术来解决这一问题。 伪变化和复杂场景问题：另一个重要挑战是伪变化的出现，即检测到的变化并不反映实际的物理变化。文章还讨论了在特征异质性较高的复杂环境中进行变化检测的困难，这要求方法能够处理传感器数据的高变异性。 异构多源数据：文章指出，尽管多传感器和多平台数据的日益丰富带来了好处，但也引入了对齐问题以及图像分辨率、传感器特性和获取角度差异等问题。这种数据类型的整合需要灵活且强大的算法。 大数据和人工智能的挑战：随着高分辨率影像和大规模人工智能模型的广泛应用，既带来了机遇，也带来了挑战。处理大数据集所需的计算能力是主要的担忧之一。讨论中还提到了需要高效且可扩展的变化检测模型，以应对大数据的复杂性。
更多讨论图表可查看原文
欢迎关注CVPR/ECCV 2024系列
公众号欢迎优秀作者投稿！可加入优秀论文作者群：欢迎加入AI遥感优秀论文作者群！目前群里有很多顶刊Nature、TPAMI和顶会CVPR、ECCV、AAAI等文章的作者一起交流！
问题及讨论可直接在文章下方留言
相关链接：
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
