RS DL
论文介绍
题目：Segment Any Change
会议：Conference on Neural Information Processing Systems 2024
论文：http://arxiv.org/abs/2402.01188
创新点
Segment Any Change（AnyChange）模型实现了零样本变化检测功能，通过使用SAM（Segment Anything Model）实现无需训练即可跨越未见的变化类型和数据分布进行检测，为变化检测模型设立了新的范式。 模型利用了双时相潜在空间匹配，通过SAM的潜在空间中的语义相似性，独特地将SAM转化为一种变化检测工具，使其能够在不进行训练的情况下对各种数据和场景进行广泛的泛化。 AnyChange 支持带有点查询机制的面向对象的变化检测，允许进行交互式、特定对象的检测，这在现实应用中（如灾害评估）尤其有益。
数据
本文使用的数据已全部收录于：https://github.com/rsdler/Remote-Sensing-Change-Detection-Dataset/
LEVIR-CD：用于建筑物变化检测的二分类数据集，包含前后两个时间点的高分辨率遥感图像，用于识别建筑物增减或结构上的变化。LEVIR-CD数据集常用于测试在城市环境中建筑变化的检测能力，特别是在建筑增建或拆除等场景下的应用。
S2Looking：S2Looking数据集专注于建筑变化检测，但其图像来自卫星的侧视角度拍摄，因此为建筑物变化的检测增添了复杂性。该数据集同样为二分类数据集，包含成对的多时相图像，以检测建筑物在不同时间点的变化。
xView2：xView2数据集是灾后建筑损毁评估的基准数据集，用于识别和评估建筑物在自然灾害（如地震、洪水等）中的损坏情况。该数据集包含受损前后的图像对，通过对建筑物损毁的识别和标注，为灾后救援和评估提供帮助。数据集的标签信息涵盖了建筑物受损的程度，因此xView2数据集在检测建筑物结构变化方面具有挑战性。
SECOND：SECOND是一个多类别的城市变化检测数据集，涵盖了多达36种变化类型，包括建筑、道路、植被等多个地物的变化。相比前几个数据集，SECOND具有更丰富的地物类别和变化类型，为AnyChange模型提供了更复杂的测试场景。由于SECOND数据集的多类别特性，AnyChange模型在该数据集上的表现尤为重要，展示了模型在无监督和零样本检测条件下识别多种地物变化的能力。
方法
1. 双时相潜在空间匹配（Bitemporal Latent Matching）
具体步骤：
给定时相t和
t + 1 SAM生成多个对象掩膜，并在每个掩膜区域内计算嵌入的平均值作为该区域的潜在表示（称为“掩膜嵌入”）。
在两个时相之间计算掩膜嵌入的相似性，通过余弦相似度评估掩膜在不同时间的语义变化程度，定义为“变化置信度分数”。如果两时相的嵌入角度较大（低相似性），则表明发生了变化。 双向匹配：为了确保变化检测的时序对称性，AnyChange采用了双向匹配，即从 t t + 1 t + 1 t 筛选变化：最终的变化预测通过对变化置信度分数进行排序和筛选得到，可以采用前 k
2. 点查询机制（Point Query Mechanism）
点查询机制赋予AnyChange交互式变化检测能力，使用户可以选择特定对象来实现面向对象的变化检测。用户在一张图像上点击某个对象（如建筑物），模型将聚焦于该对象的变化。 具体操作： 用户点击的点会生成一个对象掩膜（即SAM的点提示功能），并计算该点区域的平均嵌入。
该嵌入作为查询，与所有对象掩膜的嵌入进行匹配，以获得与该类别对象最相关的变化。 多点查询：为了提高变化检测的稳定性，用户可以选择多点查询模式，通过多个相同类别对象的点击点平均嵌入来提升变化检测的精度。这种机制在需要特定目标变化的应用场景（如灾后建筑评估）中尤为有效。
3. 实例级变化检测（Instance-Level Change Detection）
AnyChange不仅支持像素级变化检测，还能够检测实例级的变化，即检测单个对象（如建筑、道路等）的变化区域。这种能力得益于SAM生成的对象掩膜。 在每个时相中，AnyChange通过SAM生成对象掩膜，并在双时相间计算每个对象掩膜的变化分数，这样可以识别对象级别的变化，从而获得具体实例的变化区域。
4. 模型的零样本和无监督模式
零样本变化检测：AnyChange不需要针对变化检测任务进行任何训练，直接基于SAM的潜在空间适应来实现变化检测。这种方式避免了大量标注数据的依赖，扩展了SAM的应用场景。 无监督变化检测：AnyChange在没有监督标签的情况下生成“无类别变化掩膜”，即不依赖特定变化类别，仅检测任何语义上显著的变化。这使其在完全无标注数据的场景中也具有强大的变化检测能力。
实验和结果
为了验证AnyChange的有效性，本文与几种基线方法进行了比较，结果表明，AnyChange在多种数据集上实现了更高的变化检测精度，特别是在像素级和实例级的变化召回率上，显著优于基线方法。
CVA（变化矢量分析）：一种传统的基于像素差异的无监督变化检测方法。
DINOv2+CVA：基于DINOv2视觉模型提取的深度特征的变化矢量分析。
SAM+Mask Match：通过SAM生成的掩膜的几何匹配来检测变化。
SAM+CVA Match：基于SAM潜在空间的特征差异，通过负L2范数计算变化。
精度对比
更多图表分析可见原文
因配置了AI回复功能，除关键词自动回复外，号内信息主要由AI大模型回复。如需资源、投稿、合作等，请直接联系小助手微信（添加请备注：咨询、投稿、合作、加群，加群需备注姓名/昵称，单位和研究方向）。
公众号欢迎优秀作者投稿！可加入优秀论文作者群：欢迎加入AI遥感优秀论文作者群！
问题及讨论可直接在文章下方留言
相关链接：
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
