RS DL
论文介绍
题目：FUSU: A Multi-temporal-source Land Use Change Segmentation Dataset for Fine-grained Urban Semantic Understanding
会议：Conference on Neural Information Processing Systems 2024
论文：http://arxiv.org/abs/2405.19055
数据和代码：https://github.com/yuanshuai0914/FUSU
创新点
提出FUSU数据集：FUSU是首个针对细粒度城市语义理解的多时态、多源地类变化分割数据集。 高时空分辨率数据：FUSU提供高分辨率双时态图像和每月时序观测，支持对城市动态变化的高频率监测。 FUSU-Net时序架构：FUSU-Net是一个统一的时序架构，可同时进行变化检测和分割任务。 多源数据融合：FUSU结合光学和SAR数据，通过特征融合提升了城市地类分割的精度。
背景
现有数据集的局限性
尽管已有多个土地覆盖变化分割数据集用于城市变化监测，但这些数据集大多只关注粗粒度的土地覆盖分类系统。 现有数据集在分辨率、覆盖区域、时间间隔和标注精细度上存在权衡。例如，有些数据集只包含双时态图像，且标注类别较少，无法全面捕捉城市内部丰富的土地类型和动态变化。 由于获取高分辨率、多时态影像的难度（如云层遮挡、数据获取限制），大多数现有数据集缺乏多时态的观测，难以满足及时城市规划和管理的需求。
数据
1. FUSU数据集概况
数据量：FUSU数据集包含62,752个图像块，每个图像块包含27张不同时间点和来源的图像，总共覆盖了847平方公里的城市区域。
覆盖区域：数据集选取了中国南北五个主要城市地区，包括嘉兴的秀洲区和西安的雁塔区、碑林区、新城区和莲湖区。这些区域具有不同的地理特征和气候类型。
土地类型：FUSU数据集定义了17种细粒度土地类型，如交通用地、住宅用地、农业用地、工业用地、森林、湿地等，具有极高的标注精细度，总计超过300亿像素的土地类型标注。
2. 数据来源与时序特性
高分辨率双时态图像：数据集包含双时态的高分辨率图像，分辨率为0.2-0.5米，获取于2018年和2020年，每次拍摄间隔2年。
时序光学和雷达数据：数据集还包含来自Sentinel-2和Sentinel-1的每月时序观测。Sentinel-2提供10米分辨率的多光谱影像，包括12个光谱波段；Sentinel-1提供10米分辨率的C波段SAR影像，具有VV和VH极化模式。
时间跨度：Sentinel数据的时间跨度为2018年8月至2020年8月，涵盖了从两个高分辨率图像拍摄之间的每个月观测。
3. 数据标注
标注标准：土地类型的标注依据中国土地利用分类标准（GB/T21010-2017）的一级分类体系，由两组地理学专家团队手动标注，确保了数据的精度和一致性。
标注方法：使用ArcGIS地理信息软件进行像素级别的标注，所有标注对象均为多边形特征，标注工作耗时约3个月。
质量控制：两个标注团队之间进行了交叉核对，并随机抽取了100个小区域进行质量检查，确保标注的一致性和准确性。
4. 数据特征与分布
像素与多边形分布：FUSU数据集在不同城市区域和时间点上，土地类型的像素和多边形数量分布各异。嘉兴区域主要以耕地和住宅用地为主，而西安区域则商业用地比例较高。
不平衡性：不同土地类型的样本数量差异显著，例如某些农业建设用地的样本数量远少于常见的交通或住宅用地。这种数据分布的不均衡增加了模型训练的挑战性。
5. 多源数据整合
光学与雷达数据整合：通过Google Earth Engine平台，结合光学和SAR数据的优势，对Sentinel-1和Sentinel-2数据进行了预处理（包括云移除、大气校正、辐射校正等），确保了数据的一致性和可用性。
空间对齐与数据扩展：FUSU数据集采用了中心裁剪的方式，将高分辨率图像与覆盖更大区域的Sentinel数据对齐，以提供更全面的空间和时间上下文信息。
方法
本文提出了一种新的方法，称为FUSU-Net，用于处理多时态、多源的城市土地类型变化分割和检测任务。
1. 方法概述
FUSU-Net是一个统一的时间序列架构，旨在同时执行变化检测和语义分割任务。 该方法充分利用了多时态、多源数据的优势，能够在高分辨率图像和低分辨率时序数据之间进行有效的特征融合。 主要包括两大模块：一个是用于处理时序数据的U-TAE（基于时间注意力的编码器），另一个是用于双时态高分辨率图像的分割模块。 创新
时间序列注意力机制：在时序分支中，通过U-TAE架构捕捉时序图像间的长时间上下文关系，提高了变化检测的准确性。 多时态特征融合：通过对高分辨率双时态图像和低分辨率时序数据进行联合特征提取和融合，能够捕捉更丰富的时空信息，实现了对城市土地类型变化的精准检测和分割。 数据增强设计：在处理高分辨率图像时，考虑了与时序图像的对齐，通过中心裁剪和大范围的上下文覆盖，提升了模型在不同空间尺度上的泛化能力。
2. 架构设计
双分支结构：
时序分支：采用U-TAE架构，用于处理来自Sentinel-1和Sentinel-2的时间序列图像，提取多时态特征。U-TAE集成了时间注意力机制，能够有效捕捉不同时刻特征之间的变化。
双时态分支：利用HR-Net作为基础骨干网络，处理高分辨率的双时态图像，并通过ASPP（空间金字塔池化）模块进行特征提取，生成每个时态的分割结果。
特征融合：
在特征融合阶段，将时序分支提取的特征与双时态分支的特征进行对齐和融合。
采用中心裁剪和上采样的方法，使时序特征和高分辨率特征在空间上严格对齐，便于进行联合预测。
通过融合模块中的瓶颈结构和扩张卷积，将融合后的特征映射到相同的特征空间，实现精确的变化检测。
3. 损失函数
多任务损失：FUSU-Net通过四个损失函数进行联合训练，分别是两个时态图像的分割损失、时序图像的分割损失以及变化检测的二值交叉熵损失。 权重设置：为了平衡分割任务和变化检测任务，变化检测损失的权重设置为2，分割损失的权重设置为1
结果和精度
本文的实验和结果主要围绕语义分割和变化检测展开。
精度对比
可视化对比
更多图表分析可见原文
因配置了AI回复功能，除关键词自动回复外，号内信息主要由AI大模型回复。如需资源、投稿、合作等，请直接联系小助手微信（添加请备注：咨询、投稿、合作、加群，加群需备注姓名/昵称，单位和研究方向）。
公众号欢迎优秀作者投稿！可加入优秀论文作者群：欢迎加入AI遥感优秀论文作者群！
问题及讨论可直接在文章下方留言
相关链接：
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
