ISPRS | 即插即用模型用于弱监督遥感变化检测, 从场景级数据到实例级结果, 代码开源

文摘   2025-02-02 09:10   荷兰  

 RS   DL 

论文介绍

题目:Plug-and-Play DISep: Separating Dense Instances for Scene-to-Pixel Weakly-Supervised Change Detection in High-Resolution Remote Sensing Images

期刊:ISPRS Journal of Photogrammetry and Remote Sensing

论文:https://arxiv.org/abs/2501.04934

代码:https://github.com/zhenghuizhao/Plug-and-Play-DISep-for-Change-Detection

年份:2025

单位:武汉大学,蚂蚁集团,东京大学,苏黎世联邦理工学院,安徽大学
注:本文由论文原作者审阅

创新点

  • 实例分离(DISep):提出 Plug-and-Play 方案,解决弱监督变化检测(WSCD)中实例合并问题,使密集变化目标能被正确分离。
  • 三步优化流程:
    • 实例定位:利用 高通 CAM 过滤 提取可靠变化区域。
    • 实例检索:通过 连通性搜索 赋予每个变化区域唯一的实例 ID。
    • 实例分离:设计 分离损失,在特征空间增强同一实例内的像素一致性。
  • 无额外推理成本:仅增加极少训练计算量,但不会影响模型推理速度。
  • 适用于多种模型:可用于 CNN 和 Transformer 结构,且可扩展到全监督变化检测(FSCD),提升实例分离能力。

背景


在实际应用中,我们往往只能知道某个场景发生了变化,却无法准确定位和量化变化实例的数量。文章提出了一种方法,在仅有场景级变化信息的情况下,实现更精准的变化实例识别。

  • 现有 WSCD 方法容易出现 实例合并(instance lumping) 问题,即 多个变化目标被错误合并,导致:
    • 误检:未变化区域被误认为变化区域。
    • 无法正确计数:无法准确区分多个独立变化实例(如多个建筑变化被误认为一个整体)。
  • 本文:提出 DISep 方案,在不增加推理成本的情况下,通过 实例分离 改进 WSCD,确保密集变化区域能正确区分,提高检测精度。

数据


  • WHU-CD(0.3m分辨率):城市 建筑变化检测,7434 张影像。

  • LEVIR-CD(0.5m分辨率):大规模建筑变化检测,10,192 张影像。

  • DSIFN-CD(2m分辨率):多种地类变化(道路、农田、水体等),15,952 张影像。

  • SYSU-CD(城市扩展变化):关注 城市发展(新建筑、道路扩展等),20,000 张影像。

  • CDD(季节变化):Google Earth 季节性变化检测,16,000 张影像。

方法


本文提出了一种即插即用(Plug-and-Play) 的密集实例分离(DISep) 方法,以解决弱监督变化检测(WSCD)中的 实例合并(instance lumping) 问题。
DISep 通过 实例定位 → 实例检索 → 实例分离 的三步优化 WSCD 方法,使得密集变化区域能被正确检测和分离,最终提高了弱监督变化检测的精度和可靠性。

1. 实例定位(Instance Localization)

目标:找到图像中的变化区域,排除未变化区域的干扰。
方法:
  • 利用类激活图(CAMs):从弱监督模型的特征中提取变化区域的高置信度像素。
  • 高通滤波:设置一个阈值,仅保留高置信度的变化区域,确保不会引入太多噪声。
  • 低通滤波:同时,区分出背景区域,避免未变化的像素被误分类。
结果:
  • 生成一个实例定位掩膜(Instance Localization Mask),标记可能发生变化的区域,为后续步骤做准备。

2. 实例检索(Instance Retrieval)

目标:将变化区域进一步划分为不同的独立实例,避免多个目标合并成一个。
方法:
  • 连通性搜索:扫描整个图像,对相邻的变化像素进行分组,确保同一目标内的像素被赋予相同的“实例 ID”。
  • 分配唯一实例 ID:
    • 孤立像素 赋予新 ID,视为一个新的变化实例。
    • 相邻像素 继承已有 ID,确保同一变化目标被正确分组。
    • 多个相连实例 若错误合并,则重新拆分,避免误检测。
结果:
  • 生成实例身份掩膜(Instance Identity Mask),每个变化区域有一个唯一 ID,明确区分不同的变化目标。

3. 实例分离(Instance Separation)

目标:确保每个实例内的像素保持一致,同时让不同实例的像素分布更清晰。
方法:
  • 实例级特征优化:
    • 计算每个变化实例的特征中心,使得同一实例内的像素在特征空间内更加接近。
    • 通过优化,使得不同实例的特征更加分散,避免错误合并。
  • 背景区域处理:
    • 将未变化的像素区域也作为一个特殊的实例,确保模型不会错误识别背景为变化区域。

结果与分析

DISep 在多个数据集上均显著提升了弱监督变化检测(WSCD)模型的性能,优于基线方法。相比其他后处理方法,它在保持高效性的同时,提高了模型的精度和泛化能力。
精度表现

可视化对比

更多图表分析可见原文


众号升级版AI回复功能已启用,如需加群、投稿或合作,请微信联系小助手(备注:咨询/投稿/合作/加群,加群需姓名/昵称、单位和研究方向)。

我们目前有交流群、作者群(已发表成果的作者)、竞赛群和语义分割、变化检测等具体方向的交流群,详见:交流群说明

公众号欢迎优秀作者投稿!投稿说明请查看:投稿说明

往期推荐

JSTARS | COUD: 遥感时序建筑变化检测, 持续城镇化分析, 基于wv2的新数据集开源

2025-01-27

ISPRS | “内容净化”遥感变化检测框架, 内容和风格特征分离减少伪变化干扰

2025-01-05

AAAI2025 | ChangeDiff: 文本控制生成变化检测数据, 代码已开源

2024-12-26

ISPRS | 克服遥感建筑变化检测中的不确定性问题, 代码已开源

2024-12-12


  欢迎关注  


分享遥感与深度学习领域的技术、论文、书籍、新鲜事。



欢迎加入遥感与深度学习交流群(点此加入)

遥感与深度学习
聚焦遥感与深度学习,分享相关技术、论文、书籍、资讯,团队来自国内外著名期刊作者及审稿人
 最新文章