IEEE TGRS丨基于时空增强与跨层融合网络的遥感影像变化检测

文摘   2024-12-30 21:18   山东  

1. 研究背景

变化检测(CD)旨在识别同一区域在不同时期内的目标的变化。从遥感(RS)影像中进行变化检测广泛应用于环境监测、资源调查、城市扩张分析和灾害评估,但变化检测研究面临诸多挑战。不同传感器会导致成像条件的差异,包括时间和角度的不同,产生诸如季节变化和阴影等伪变化;此外,更高分辨率的影像通常包含复杂的目标,这对遥感变化检测提出了更大的挑战。

2.创新之处

虽然基于深度学习的遥感变化检测方法取得了广泛的进展,但仍需认识到现有的局限性。一方面是时序信息利用不足。变化检测的基本目标是检测和表征差异,然而,现有方法往往侧重于特征提取,忽视了双时相图像之间的差异。另一方面,多尺度特征增强还有待进一步改进。现阶段多尺度特征融合的方法严重依赖于模块的特定结构,而忽略了跨尺度特征的关联性。通常情况下,低层特征有助于目标定位,高层特征提供语义上下文。

因此,本研究提出了一种新颖的时空增强与跨层融合网络算法(SEIFNet)。首先,将双时相图像输入主干网络以获得多尺度特征图。然后,为了突出变化区域,设计了一个具有双分支结构的时空差异增强模块(ST-DEM),以学习同尺度双时相特征图之间的目标级的全局变化信息和细粒度的局部内容。接着,采用自适应上下文融合模块(ACFM)和细化模块(RM)进行渐进式解码。最后,使用基于求和的预测头聚合来自不同尺度的特征图,从而增强双时相图像的变化检测结果。

3. 关键图表

1 SEIFNet的模型架构。该网络模型包括三个部分:分层时空增强编码器、渐进解码器和基于求和的预测头。

LEVIR-CD数据集上,所提的方法与SOTA方法的视觉效果对比

不同主干网络和方法在LEVIR-CDSYSU-CDWHU-CD数据集上的模型复杂度对比。

4. 主要结论

为研究双时相遥感图像之间变化的上下文信息,本研究提出了SEIFNet网络,该网络结合了时空差异增强与自适应上下文融合,用于遥感变化检测任务。首先,使用Siamese预训练的ResNet18作为主干网络,从双时相图像中提取分层特征。为了聚焦于真实变化并抑制无关变化,引入ST-DEM模块以捕获两个特征图之间的全局时空与上下文信息。随后,多尺度差异特征通过ACFM和细化模块解码,这些模块自适应地对紧凑的内部结构和位置信息进行重加权。最后,将不同尺度的细化特征结合,以实现更全面和精确的变化检测结果。在三个公开数据集上的大量实验表明,所提出的SEIFNet在效率和精度效果方面均优于八种SOTA方法。考虑到模型在特征提取中的灵活性,未来的研究将探索更强大的主干网络,以更好地解释双时相遥感图像变化。

5. 发表信息

Y. Huang, X. Li, Z. Du and H. Shen, "Spatiotemporal Enhancement and Interlevel Fusion Network for Remote Sensing Images Change Detection," in IEEE Transactions on Geoscience and Remote Sensing, vol. 62, pp. 1-14, 2024, Art no. 5609414, doi: 10.1109/TGRS.2024.3360516.

6.声明

1)小编水平有限,文章分析和理解均是个人见解,强烈推荐通过合理渠道获取原文,直接进行阅读。

2)文稿涉及的材料仅为交流学习,如涉及版权和其他问题,请联系删除,小编对此表示歉意,邮箱:xu_xibo@126.com

高光谱与资源环境遥感
分享最新的高光谱遥感及其在资源环境应用领域内的科研动态进展及资讯信息,欢迎广大朋友投稿,信息如有侵犯请联系删除xu_xibo@126.com.
 最新文章