近年来大量深度学习方法应用到遥感图像变化检测任务中,这些方法主要基于多编码器-单解码器(Multiple encoders and single decoder, MESD)和双编码器-解码器(Dual encoder-decoder, DED)这两种基础架构,它们在单一场景下能够取得优良的效果,但是在多场景的通用性表现仍然存在不足。
其中,MESD利用两时相遥感图像的语义融合特征进行变化检测,由于两时相特征进行的是特征级融合,一个时相中变化地物的特征会被另一个时相中在同一空间位置的背景特征所干扰,从而导致模型难以准确地确定变化地物(图1a)。DED先分割出两时相遥感图像的目标地物,然后对比两时相目标地物特征得到变化检测结果,它通过对两时相特征进行决策级融合,从而解决了MESD中的问题。然而,在只有变化标签而没有变化类型标签的类内变化检测场景中,DED难以分割出两时相遥感图像中的目标地物。在具有视角差异的多视角建筑物变化检测场景中,DED也无法区分变化地物和未变化地物由于不同视角导致的伪变化(图1b)。
图1. 变化检测模型的不同基础架构示意图
针对上述问题,南京大学高分辨率遥感实验室提出了一种语义引导与空间定位的变化检测新思路,解决了既有基础架构存在的不足,实现了在多个变化检测场景(类内变化检测、单视角建筑物变化检测、多视角建筑物变化检测)中优越的表现,为变化检测任务提供了通用的深度学习架构。
这一变化检测思路利用语义引导与空间定位实现多场景通用的变化检测,具体而言,首先利用两时相遥感影像共同的语义特征确定出大致的变化区域,为后续变化地物的精确定位提供引导,然后使用每个时相遥感影像自身的空间特征精确定位自身时相中的变化地物,最后融合两时相变化地物特征,准确地定位出所有变化地物(图1c)。根据这一思路,我们构建了一个交换式双编码器-解码器(Exchanging dual encoder-decoder)基础架构(图2)和一个语义引导与空间定位网络(Semantic guidance and spatial localization network, SGSLN)变化检测模型(图3)。
图2. 基础架构EDED的网络结构
图3. SGSLN的网络结构
EDED对两时相变化地物特征进行决策级融合,从而解决了MESD中两时相特征相互干扰的问题。在类内变化检测场景中,EDED能够利用变化特征来确定两时相遥感图像的变化地物而非目标地物;在多视角建筑物变化检测场景中,EDED可以通过两时相遥感图像的语义特征来辨别视角差异伪变化。因此,EDED解决了既有架构中存在的不足,能够应用于多个变化检测场景。
在类内变化检测数据集(CDD和SYSU)、单视角建筑物变化检测数据集(WHU、LEVIR CD和LEVIR-CD+)、多视角建筑物变化检测数据集(NJDS)上进行了广泛的实验。结果表明,EDED在多个场景中优于MESD和DED。在F1-Score指标上,EDED在类内变化检测场景(SYSU)、单视角建筑物变化检测场景(LEVIR-CD)和多视角建筑物变化检测场景(NJDS)中的提升分别达到了1.24%、0.44%和3.5%(图4)。
图4. 基础架构EDED的多场景对比实验
通过SGSLN与其他变化检测方法在多个场景下的对比实验,发现SGSLN在多个场景中的表现均有很大的提升(图5)。在类内变化检测场景(CDD和SYSU)中,模型的F1-Score分别提升了0.60%和2.04%(图5a-b);在单视角建筑物变化检测场景(WHU、LEVIR-CD和LEVIR-CD+)中,模型的F1-Score分别提升了1.12%、0.08%和5.10%(图5c-e);在多视角建筑物变化检测场景(NJDS)中,模型的F1-Score提升了4.82%(图5f)。
图5. SGSLN的多场景对比实验
EDED解决了既有架构MESD和DED存在的问题,是深度学习变化检测中极具潜力的新架构。基于EDED构建的SGSLN在多个场景中取得了优异的表现,但仍只挖掘了这一架构的部分潜力。期望未来的研究能在EDED的基础上实现性能更好、通用性更强的多场景通用变化检测模型。
该研究成果近日以“Exchanging Dual Encoder-Decoder: A New Strategy for Change Detection with Semantic Guidance and Spatial Localization”为题发表于IEEE Transactions on Geoscience and Remote Sensing。南京大学地理与海洋科学学院硕士生赵思杰为论文第一作者,张学良副教授为论文通讯作者,肖鹏峰教授和天地一体化信息技术国家重点实验室贺广均副研究员为论文合作作者。该研究得到国家自然科学基金项目(42071297)和中央高校基本科研业务费项目(020914380119)资助。
点击“阅读原文”即可跳转到论文页面。
S. Zhao, X. Zhang, P. Xiao and G. He, "Exchanging Dual-Encoder–Decoder: A New Strategy for Change Detection With Semantic Guidance and Spatial Localization," in IEEE Transactions on Geoscience and Remote Sensing, vol. 61, pp. 1-16, 2023, Art no. 4508016, doi: 10.1109/TGRS.2023.3327780.