RS DL
论文介绍
题目：Unifying remote sensing change detection via deep probabilistic change models: From principles, models to applications
期刊：ISPRS Journal of Photogrammetry and Remote Sensing
论文：https://www.sciencedirect.com/science/article/pii/S0924271624002624
代码：https://github.com/Z-Zheng/pytorch-change-models
更多资源：http://rsidea.whu.edu.cn/resource_sharing.htm
年份：2024
创新点
深度概率变化模型(DPCM)：该模型提供了一个统一的、可解释的、模块化的概率框架，用于解决多种变化检测任务。旨在标准化和简化多种变化检测场景的方法，包括二元变化检测(BCD)、一对多语义变化检测(o2m-SCD)和多对多语义变化检测(m2m-SCD)。 稀疏变化Transformer：旨在减少高分辨率图像变化检测计算复杂度的新组件。它利用变化的稀疏性和局部相关性，将计算资源集中在变化区域而不是整个图像上。 ChangeSparse架构：DPCM的一个实例，集成了稀疏变化Transformer，在多个实际应用场景中表现出很好的速度和精度，如灾害响应和城市发展监测。
数据
本文对于不同的任务使用了不同的数据集。
二元变化检测 (Binary Change Detection, BCD)：
S2Looking数据集：包含5000对图像对，分辨率从0.5米到0.8米不等，图像来自中国的高分卫星、SuperView卫星和北京-2号卫星。每张图像的尺寸为1024×1024像素。
CDD数据集：包含10000对训练图像对、3000对验证图像对和3000对测试图像对，分辨率从0.03米到0.1米不等。
California Flood数据集：包含Landsat 8图像和Sentinel-1图像，图像尺寸为3500×2000像素，上下50%的划分用于训练和测试。
一对多语义变化检测 (One-to-Many Semantic Change Detection, o2m-SCD)：
xView2数据集：包含六种自然灾害类型的9168对训练图像对、933对测试图像对和933对保留图像对，图像来自WorldView-2、WorldView-3和GeoEye卫星，分辨率为亚米级，图像尺寸为1024×1024像素。
多对多语义变化检测 (Many-to-Many Semantic Change Detection, m2m-SCD)：
SECOND数据集：包含2968对高分辨率遥感图像，图像尺寸为512×512像素，分辨率从0.3米到5米，涵盖非植被地面、树木、低植被、水体、建筑物和操场等六类土地覆盖类型。
DynamicEarthNet数据集：时间序列多光谱卫星数据集，图像来自Planet卫星，分辨率为3米，包含RGB和近红外四个波段，提供每月密集的语义标签，涵盖七种土地覆盖和土地利用类型。
方法
深度概率变化模型（DPCM）
DPCM提供了一个统一的、可解释的、模块化的概率框架，用于处理多种变化检测任务（如二元变化检测、一次对多次语义变化检测、多次对多次语义变化检测）。DPCM的核心是将变化过程建模为概率图模型（PCM），这种模型能够同时考虑变量及其不确定关系。
数据因子：数据因子（Data Factors）通常用来描述数据本身的统计特性和分布。
图像分布P(It)和P(It+1)：这些因子表示在不考虑变化检测任务的情况下，前事件和后事件图像的独立分布。例如，如果我们有一组卫星图像，这些分布会描述在没有任何变化检测任务影响下，不同时间点卫星图像像素值的统计特性。
条件图像分布P(It+1| It)
：该因子表示在给定前事件图像的情况下，后事件图像的分布。这通常用于描述图像间的时间相关性。例如，在时间序列卫星图像中，这种条件分布可以捕捉到季节变化或者光照条件变化等因素。
任务因子：任务因子（Task Factors）用于建模具体的变化检测任务，它们通常描述在变化检测任务中的特定因素和关系。
任务因子P(St+1,St| It+1,It) ：该因子用于描述在特定任务下的状态变化。在变化检测任务中，这些状态可能表示土地覆盖类型的变化、建筑物的新增或移除、自然灾害导致的地形变化等，任务因子捕捉了这些变化背后的机制和模式。
任务建模：
二元变化检测（BCD）：仅检测变化是否发生，不考虑具体的语义类别变化。
一次对多次语义变化检测（o2m-SCD）：识别变化的发生及变化后的具体状态。
多次对多次语义变化检测（m2m-SCD）：识别变化的发生及变化前后的具体状态。
参数化Parameterization
1. 双时相分层编码器（Bitemporal Hierarchical Encoder）
提取双时相图像的分层时空特征图，作为进一步处理的输入。
实现：
复用视觉骨干网络作为Siamese编码器：使用现有的高效视觉骨干网络（如ResNet、EfficientNet）作为Siamese编码器，提取时间独立的分层特征。
时空聚合：通过绝对差值后接批归一化来聚合双时相特征图，简化并提高计算效率。
2. 稀疏变化Transformer
稀疏变化Transformer旨在减少高分辨率图像变化检测的计算复杂度，通过利用变化的稀疏性和局部相关性，集中计算资源于变化区域。
组件：
变化区域估计器（Change Region Estimator）：估计变化概率图，用于指示变化区域。
稀疏变化多头自注意力模块（Sparse Change MSA Module）：在变化区域内计算自注意力，计算复杂度与变化区域大小的平方成正比，而与图像大小无关。
ConvMLP模块：替换标准Transformer中的FFN层，通过在两个MLP层之间引入3×3深度卷积层来保持位置信息。
具体实现：
变化区域估计：通过窗口Transformer块处理最粗的特征图，然后通过最近邻上采样层获得输出步幅为16的特征图，变化区域估计器在此特征图上应用3×3卷积层、BN层、ReLU和1×1卷积层。
稀疏变化Transformer块：由稀疏变化MSA模块和ConvMLP模块组成，每个模块前应用层归一化，后接残差连接。
解码器架构：稀疏变化Transformer作为通用变化检测的解码器，遵循不对称自上而下路径设计。
3. 语义解码器（Semantic Decoder）
将分层图像特征和可选的变化特征转换为语义掩码，参数化语义分割的任务因子。
语义解码器架构与上述解码器类似，但不包括稀疏变化MSA模块。
语义解码由一个线性分类器完成，应用于最粗的特征图或其与变化特征的拼接。
结果和精度
精度对比
二值变化检测
一对多语义变化检测
多对多语义变化检测
模型分析与消融实验
消融实验部分通过移除或修改模型的某些组件来评估这些组件对模型性能的影响。实验结果表明，关键组件如稀疏变化Transformer和双时态层次编码器对模型的性能有显著贡献。详细的消融实验图表和分析可查看原文。
欢迎关注CVPR 2024系列
因配置了AI回复功能，除关键词自动回复外，号内信息主要由AI大模型回复。如需资源、投稿、合作等，请直接联系小助手微信（添加请备注：咨询、投稿、合作、加群，加群需备注姓名/昵称，单位和研究方向）。
关于AI回复功能：
公众号新增AI回复功能，已接入大模型，集成查找ArXiv论文、CSDN博文等功能
问题及讨论可直接在文章下方留言
相关链接：
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
