RS DL
论文介绍
年份：2024
单位：斯坦福大学，武汉大学等
创新点
单时相变化适应（STCA）算法：该算法只需要灾前图像进行域自适应，而不需要灾后训练图像，这解决了灾后图像获取困难的问题，特别是在紧急情况下可以显著减少评估延迟。 任务解耦建模：将建筑物损坏评估中的多时相、多任务问题解耦为两个单任务的域自适应子问题，从而将一般的单任务域自适应方法应用于建筑损坏评估。 伪双时相损坏样本构造：通过目标域灾前图像和源域灾后图像构造伪双时相损坏样本，打破了传统基于位置一致性条件的限制，实现了无需目标灾后图像的自适应模型训练。 避免时间窗口问题：该框架不依赖灾后图像，可以提前在灾前图像上完成模型训练，极大减少灾害评估的时间窗口问题。
数据
1. 全球尺度数据集
xView2建筑损坏评估数据集（xBD）：该数据集由全球范围内19个灾害事件的高分辨率光学卫星图像对组成，包括灾前和灾后图像对。 数据规模：
图像对数量：11,034对高分辨率卫星图像。
覆盖区域：45,361.79平方公里。
建筑物实例：850,736个建筑物。
图像分辨率：亚米级分辨率，来自多个卫星平台（如WorldView-2、WorldView-3等）。 损坏类别：数据集中的建筑损坏分类系统包括四个等级：无损坏（Non-Damage）、轻微损坏（Minor Damage）、重大损坏（Major Damage）和损毁（Destroyed）。损坏分类系统参考了多种自然灾害评估工具，如HAZUS、Kelman Scale、EMS-98 Scale等。 数据集划分：
源域数据：Tier3数据集包含9个不同的灾害事件，用于源域模型训练。
目标域数据：Train、Test和Holdout划分的图像对，包含10个灾害事件，用于目标域评估模型的迁移能力。
2. 地方尺度数据集
作者选择了几个最新的灾害事件数据集用于验证框架在真实场景中的迁移能力：
2023年土耳其-叙利亚地震数据集：
地震发生在2023年2月6日，震级为7.8 Mw。
数据源：使用WorldView-2、WorldView-3和GeoEye-1卫星的灾前和灾后图像，补充使用了Bing卫星图像。
地面真实数据：结合了微软的土耳其建筑损毁坏估产品和专家的修正。
2023年刚果民主共和国洪水数据集：
洪水发生在2023年1月至2月，位于南基伍省卡雷洪地区。
数据源：WorldView-2和WorldView-3卫星图像，图像分辨率分别为0.5米和0.3米。
地面真实数据：基于Google开源的建筑轮廓数据和专家注释生成。
2023年夏威夷毛伊岛火灾数据集
火灾发生在2023年8月，影响了毛伊岛的大部分地区。 数据源：灾前图像来自Bing卫星图像，灾后图像由WorldView-2卫星提供。
方法
本文提出了一种新的方法框架，名为“无监督单时相变化适应（STCA）”，用于建筑损坏评估模型的域自适应，特别是在紧急灾害响应场景中，解决了灾后图像不可用的情况。
1. 问题背景与任务建模
建筑损坏评估任务是多时相、多任务的挑战，通常需要灾前和灾后图像对来实现损坏损坏评估，主要包括两个子任务：
建筑物定位：识别图像中的建筑物。
损坏分类：对建筑物损坏程度进行分类。
传统方法通常依赖灾前和灾后图像，但灾后图像的获取通常存在时间滞后，尤其在紧急灾害响应中，这会影响评估的及时性。为了解决这个问题，本文提出了一种任务解耦建模方法，将多时相、多任务的域自适应问题解耦为两个单任务的域自适应子问题：
建筑物定位任务：处理灾前图像，进行建筑物识别和定位。 损坏分类任务：基于伪双时相的建筑物变化信息来推断损坏程度。
通过这种任务解耦，本文将通用的域自适应方法扩展应用于建筑损坏评估任务。
2. 无监督单时相变化适应（STCA）
STCA的核心思想是仅依赖目标域的灾前图像和源域的灾后图像来实现模型的域适应，而不需要目标域的灾后图像。这一方法的关键在于构造伪双时相样本，即将源域灾后建筑物损坏的特征与目标域灾前建筑物的特征相匹配，用于域自适应训练。
传统双时相建筑损毁检测基于相同位置的灾前和灾后图像进行评估，而STCA的“Damage is Everywhere”概念打破了这种限制。伪双时相样本无需相同位置，而是将目标域灾前建筑像素与源域损坏像素随机匹配。图6展示了这一过程：目标域的5个正常建筑像素和源域的3个毁坏像素用于生成伪双时相样本，图中还标注了特征通道用于匹配和损坏标签分配。
2.1. 模型架构
本文的损毁评估模型基于ChangeOS框架，具备以下关键组成部分：
建筑物定位网络（𝑓loc）：用于确定图像中的建筑物像素。
损坏分类网络（𝑓dam）：用于分类建筑物的损坏程度，类别包括无损坏、轻微损坏、重大损坏和毁坏。
在STCA框架中，模型首先通过源域的灾前-灾后图像对进行预训练，然后通过伪双时相样本实现单时相变化适应。
2.2. 伪双时相样本构造
STCA算法的核心是构造伪双时相样本以实现域自适应，主要包括以下步骤：
特征提取：从目标域的灾前图像和源域的灾后图像中提取深度特征图。
建筑物预测：使用建筑物定位网络（𝑓loc）预测目标域灾前图像中的建筑物位置，生成二值掩膜来筛选建筑物的特征点。
特征点匹配：通过源域的灾后特征点与目标域的灾前特征点构建伪双时相特征对，这些特征对用于模拟建筑物损坏的过程。
标签分配：为每个伪双时相特征对分配适当的建筑物损坏标签，标签来源于源域的灾后图像。
2.3. 模型适应
通过伪双时相样本和损坏标签，模型使用交叉熵损失进行自适应训练。损坏分类网络（𝑓dam）被分解为一个特征提取器（𝑓dam.feature）和分类器（𝑓dam.classifier），特征提取器提取深度特征，分类器对伪双时相特征对进行分类。STCA方法的优势在于它不需要灾后图像，可以提前在灾前图像上完成自适应训练，从而大大减少灾害发生后的评估时间窗口。
3. 双阶段训练过程
监督的双时相预训练：使用源域的灾前和灾后图像对进行监督学习，训练建筑物定位和损坏分类网络。 无监督的单时相变化适应：利用伪双时相样本和源域灾后图像，对目标域灾前图像进行域自适应训练。
4. 算法实现
从源域灾前-灾后图像对中进行监督预训练。 使用目标域灾前图像和源域灾后图像构建伪双时相样本。 使用伪双时相样本进行模型的无监督变化适应。
结果和精度
本文的方法通过创新的单时相变化适应算法STCA，成功解决了传统建筑损毁评估中灾后图像不可用的问题，并且大幅提高了模型的迁移能力和实际应用中的响应效率。
精度对比
可视化
更多结果讨论图表可查看原文
欢迎关注CVPR/ECCV 2024系列
公众号欢迎优秀作者投稿！可加入优秀论文作者群：欢迎加入AI遥感优秀论文作者群！目前群里有很多顶刊Nature、TPAMI和顶会CVPR、ECCV、AAAI等文章的作者一起交流！
问题及讨论可直接在文章下方留言
相关链接：
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
