AAAI2025 | ChangeDiff: 文本控制生成变化检测数据, 代码已开源

文摘   2024-12-26 08:02   荷兰  

 RS   DL 

论文介绍

题目:ChangeDiff: A Multi-Temporal Change Detection Data Generator with Flexible Text Prompts via Diffusion Mode

会议:39th Annual AAAI Conference on Artificial Intelligence (CCF-A会议)

论文:https://arxiv.org/pdf/2412.15541

代码:https://github.com/DZhaoXd/ChangeDiff

年份:2024
单位:西安电子科技大学、合肥工业大学
注:本篇由论文原作者审阅

AAAI 2025 合集请点击:AAAI 2025

研究简介

本研究针对语义变化检测(Semantic Change Detection, SCD)任务中的数据获取和标注成本高昂的问题,提出了一种基于扩散模型的由文本控制的多时序SCD数据生成器——ChangeDiff。该方法通过生成强连续性、高质量的多时序变化数据,显著提高了变化检测的性能和迁移能力。

创新点

  • 首个文本控制的SCD数据生成器:ChangeDiff 是首个通过文本控制生成语义变化检测数据的扩散模型方法。其利用文本到布局(T2L)扩散模型和布局到图像(L2I)同时生成连续变化事件和对应的语义掩膜。
  • 多类分布引导文本提示:提出了一种灵活控制类比例和分布的文本提示,通过调整类比例、添加类别和移除类别,灵活生成时间连续的多样化语义布局,解决了传统生成方法中变化事件模拟不灵活的问题。
  • 无依赖外部数据:生成数据不依赖配对图像或额外的分割数据,大幅提升了方法的实用性和可扩展性。


数据


本文使用多个公开的语义变化检测数据集,包括SECOND、Landsat-SCD和HRSCD数据集,涵盖从稀疏标注到完整标注的多种场景。此外,实验还探索了使用LoveDA数据集生成的合成数据在迁移任务中的表现。

部分数据集可见:https://github.com/rsdler/Remote-Sensing-Change-Detection-Dataset

  • SECOND数据集:稀疏标注的语义变化检测数据集,主要用于评估生成模型在有限标注数据上的表现。
  • Landsat-SCD数据集:基于Landsat影像,分辨率较低,主要用于测试数据生成方法在处理不平衡数据和稀疏标注问题上的能力。
  • HRSCD数据集:具有完整语义标注,专注于高分辨率影像的变化检测任务,用于验证生成数据在精细标注情况下的效果。
  • LoveDA数据集:用于跨领域语义分割任务的数据集,被用来测试零样本迁移和微调迁移的效果。

方法

ChangeDiff由两个核心模块组成:
1. 文本到布局生成(T2L):通过多类分布引导文本提示(MCDG-TP),生成连续且多样化的语义布局。
2. 布局到图像生成(L2I):利用扩散模型,将生成的语义布局转化为高质量、多时序的变化图像。

该方法通过设计分布精炼损失,保证生成的语义布局和图像在类别比例和空间位置上的一致性,从而提升了生成数据的真实性和多样性。

实验和精度


1.数据增强实验:在SECOND、Landsat-SCD和HRSCD数据集上,结合现有的变化检测模型(如SSCDL、BiSRNet、TED、A2Net和SCanNet)进行数据增强实验。实验结果显示,在5%、20%和100%的训练数据条件下,ChangeDiff显著提升了模型的分割性能,特别是在处理类不平衡问题时效果显著。

2.迁移学习实验在LoveDA数据集上进行零样本迁移和微调迁移实验。结果表明,ChangeDiff生成的数据在迁移性能上明显优于其他生成方法(如Copy-Paste和Changen)。

3.定性分析:通过视觉化对比,展示了ChangeDiff在生成数据的语义一致性和变化质量上的优势。

更多图表分析可见原文


因配置了AI回复功能,除关键词自动回复外,号内信息主要由AI大模型回复。如需资源、投稿、合作等,请直接联系小助手微信(添加请备注:咨询投稿合作加群,加群需备注姓名/昵称,单位和研究方向)。

公众号欢迎优秀作者投稿!可加入优秀论文作者群:欢迎加入AI遥感优秀论文作者群!


问题及讨论可直接在文章下方留言

相关链接:
NeurIPS24 | AnyChange, 遥感零样本变化检测!
TPAMI | Changen2, 用于生成多时相遥感图像及变化检测数据的基础模型
RSE | 降低对灾后图像的依赖! 遥感建筑损毁评估模型, 受灾前后样本无需相同位置

ISPRS | 克服遥感建筑变化检测中的不确定性问题, 代码已开源


  欢迎关注  


分享遥感与深度学习领域的技术、论文、书籍、新鲜事。



欢迎加入遥感与深度学习交流群(点此加入)


遥感与深度学习
聚焦遥感与深度学习,分享相关技术、论文、书籍、资讯,团队来自国内外著名期刊作者及审稿人
 最新文章