RS DL
论文介绍
题目：Overcoming the uncertainty challenges in detecting building changes from remote sensing images
期刊：ISPRS Journal of Photogrammetry and Remote Sensing
论文：
代码：https://github.com/Henryjiepanli/UA-BCD
年份：2024
创新点
不确定性建模：提出了新的不确定性感知建筑变化检测框架(UA-BCD)，系统性解决了多时相遥感数据中的两类不确定性： 数据层面的不确定性(Aleatoric Uncertainty)，如因标注错误或背景元素误分类导致的噪声。
模型层面的不确定性(Epistemic Uncertainty)，如伪变化(pseudo-changes)和类别不平衡。 模块化设计： Aleatoric Uncertainty Estimation Module (AUEM)，用条件变分自编码器(CVAE)估算数据噪声。
开发Knowledge-Guided Feature Enhancement Module (KGFEM)，结合粗略变化图优化特征提取。
使用Epistemic Uncertainty Estimator (EUE)，通过熵计算监督减少模型的不确定性。 综合实验验证：在5个公开建筑变化检测数据集上全面验证，显著超过现有方法，并在武汉市的实际应用中展示了其大规模应用能力。
不确定性
数据层面的不确定性（Aleatoric Uncertainty）
由于遥感数据的复杂性和标注过程的局限性，可能会引入噪声。例如，背景元素（如道路或桥梁）可能被误分类为建筑变化，导致数据标注错误。
伪变化（pseudo-changes）问题，即建筑外观、纹理或风格的变化并不代表实际语义上的变化，但可能影响模型的判断。
类别不平衡问题，变化区域样本相对较少，而未变化区域占主导地位，进一步加剧了数据层面的不确定性。
模型层面的不确定性（Epistemic Uncertainty）
模型自身的局限性或知识不足，特别是在处理复杂或罕见场景时，可能导致预测结果的不确定性。
对变化区域的边界或小目标的识别存在困难，可能引发边界模糊或小目标漏检。
难以准确量化模型对某些样本的预测信心，导致模型对变化区域判断的不一致性。
数据
LEVIR-CD:包含637对高分辨率遥感影像，分辨率为0.5米，大小为1024×1024像素。数据经过裁剪为256×256像素的影像块，用于训练、验证和测试。涵盖了多样化的建筑变化场景。
SYSU-CD: 包括20,000对256×256像素的影像瓦片，覆盖多种变化类别（建筑、道路、植被等）。本研究集中分析建筑变化，使用预定义的数据集划分。
Lebedev: 包含16,000对256×256像素的高分辨率影像。数据来源多样，分为训练、验证和测试集。
WHU-CD: 覆盖大尺度影像，大小为32,507×15,354像素，分辨率为0.2米/像素。涉及城市建筑变化，特别是地震后建筑结构的变化。数据通过裁剪策略处理为小块。
Google-CD: 19对高分辨率影像，分辨率为0.55米，影像大小从1006×1168到4936×5224像素不等。数据涵盖郊区的季节性和长期变化。
方法
整体架构
1. 粗略变化图生成
模型结构：使用Siamese Pyramid Vision Transformer（PVT）作为特征提取器，从双时相影像中独立提取多层次特征。
特征融合：通过特征金字塔网络（FPN）将多层次特征融合为单一特征图，并生成初步的粗略变化图。
特点：生成的粗略变化图可能包含较高的不确定性，为后续的不确定性估算和优化提供输入。
2. 数据层面不确定性估算（Aleatoric Uncertainty）
模块设计：引入Aleatoric Uncertainty Estimation Module (AUEM)，采用条件变分自编码器（CVAE）对数据噪声进行建模。 处理过程：
利用双时相影像生成先验分布和后验分布，通过比较它们的差异量化数据层面的不确定性。
在训练过程中，后验分布使用真实标签进行指导，以确保模型能够有效学习数据中的噪声模式。
在推理阶段，仅使用先验分布进行不确定性估算，无需依赖标签。 作用：该模块减少因标注错误、背景干扰等引起的数据层面噪声对模型性能的影响。
3. 精细化变化图生成
不确定性嵌入：
将数据层面不确定性（由AUEM生成）嵌入到多层次特征中。
使用粗略变化图（C0）中的变化区域信息指导特征增强。 知识引导特征增强模块（KGFEM）：
结合粗略变化图中变化区域和非变化区域的信息，对特征进行多尺度增强。
使用隐式空间注意力机制，将局部高响应特征与全局背景信息相结合。
输出精细化的变化图，显著提升变化检测的准确性。 作用：通过整合变化和非变化的上下文信息，提升模型对建筑变化的感知能力。
4. 模型层面不确定性估算（Epistemic Uncertainty）
模块设计：引入Epistemic Uncertainty Estimator (EUE)，通过分析模型预测结果的不确定性，评估模型本身的局限性。 处理过程：
将双时相影像和精细化变化图作为输入，提取更高维的语义特征。
使用卷积网络分析变化图中的不确定性区域，并结合熵计算指导模型优化。 特点：通过优化模型层面的不确定性估算，提升预测结果的置信度。
优化与损失设计
多阶段优化 第一阶段优化粗略变化图生成、AUEM和精细化变化图生成模块，主要关注数据层面的不确定性。
第二阶段优化EUE模块，减少模型层面的不确定性。 综合损失函数：联合多种损失项，包括用于像素级分类的交叉熵损失，以及用于分布匹配的Kullback-Leibler散度损失，以实现全局性能最优。
精度
本文提出的UA-BCD方法在五个公开建筑变化数据集上显著优于现有方法，各项指标均表现出更高的精确性和鲁棒性。该方法能够有效识别变化区域，同时降低误检和漏检率，展现了卓越的变化检测能力。
精度对比
可视化对比
大尺度区域测试
在武汉市东西湖区进行了大尺度区域的测试，以验证UA-BCD框架在实际应用中的性能。
更多图表分析可见原文
公众号欢迎优秀作者投稿！可加入优秀论文作者群：欢迎加入AI遥感优秀论文作者群！
问题及讨论可直接在文章下方留言
RSE | 降低对灾后图像的依赖! 遥感建筑损毁评估模型, 受灾前后样本无需相同位置
TGRS | UBCV2:全球建筑检测和细粒度分类数据集, 光学和SAR影像精准对齐
TGRS | P2PFormer: 武大等提出遥感建筑轮廓提取新pipeline
TGRS | Easy-Net: 轻量级建筑提取网络, 基于建筑本身特征, 结合CNN和Transformer
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
