RS DL
论文介绍
年份：2024
注：本篇经由论文原作者审阅
创新点
提出了DE(Diffusion Enhancement)网络，用于在云层覆盖下恢复地表信息。该方法利用参考视觉先验来引导扩散过程，从而提高在传统深度学习去云 (CR,Cloud Removal) 方法中常常丢失的精细细节的能力。
提出了一个权重分配WA网络，用于计算参考视觉先验和扩散模型生成的中间去噪图像的自适应加权系数，能够动态调整扩散模型和参考视觉先验之间的特征融合。
建立了一个超高分辨率的基准数据集CUHK-CR，用于评估不同云层覆盖下的CR方法。该数据集包含668张薄云图像和559张厚云图像，具有多光谱信息，并且是现有CR数据集中分辨率最高的，达到0.5米。
粗到精训练策略： 为了提高超高分辨率图像上训练的效率和效果，论文提出了粗到精的训练策略。
数据
CUHK-CR 数据集
数据集概述：
CUHK-CR 数据集是一个超高分辨率的数据集，用于评估去云算法。具有 0.5 米的空间分辨率，远高于其他现有的 CR 数据集。
数据集包含两部分：薄云子集（CUHK-CR1）和厚云子集（CUHK-CR2），分别包含 668 张和 559 张图像。
这些图像覆盖了多种云层覆盖类型，具有丰富的纹理细节和多光谱信息，这使得它成为评估超高分辨率去云方法的理想基准。
数据集由吉林一号卫星星座（Jilin-1）中的一颗名为 Jilin-1KF01B 的卫星采集。该卫星于 2021 年发射，配备了分辨率为 0.5 米的推扫式相机，每天可以获取超过 200 万平方公里的高清影像。
影像覆盖红、绿、蓝和近红外四个光谱波段，同时还包括一个高分辨率的全色带。通过利用全色图像和多光谱图像的互补信息进行泛锐化处理，将多光谱波段的空间分辨率从 2 米提高到 0.5 米。
采集到的影像包括中国北至南的不同地区，图像采集时间跨度控制在 17 天以内，以减少由于时间间隔导致的地形变化对模型评估的影响。
方法
总体结构
DE 框架的核心思想是通过扩散过程逐步恢复图像中的细节纹理，并结合参考视觉先验提供的全局结构信息，以提高图像的恢复精度。
扩散过程：逐步生成图像，从潜变量开始，通过一系列的扩散步骤不断精化图像细节。 参考视觉先验：提供全局图像结构信息，用于引导扩散过程中的细节生成。 权重分配（WA）网络：动态调整扩散模型和参考视觉先验之间的特征融合比重，以适应不同步骤和不同区域的需求。 粗到精训练策略：通过先在较小图像块上进行初步训练，然后在较大图像块上进行微调，加快模型收敛速度并提高最终性能。
扩散过程
扩散过程是DE方法的核心，通过多个步骤逐步生成高质量的去云图像。
前向过程：图像逐步被添加噪声，逐渐变得模糊或“降解”，直至接近纯噪声图像。这个步骤旨在让模型学习如何从不同噪声水平的图像中恢复清晰图像。 反向过程：反向过程则与前向过程相反，从噪声图像开始，通过逐步去除噪声，恢复图像的细节。这个过程逐步调整图像中的细微部分，使得最终生成的图像能够准确还原被云层遮挡的地表信息，同时保持全局结构的一致性。 细节恢复：在反向过程中，扩散模型不仅是去噪，还要逐步恢复图像中的细节，通过逐步调整，最终生成的图像接近无云的高质量遥感影像。
参考视觉先验的整合
在传统去云方法中，生成的图像细节往往不够真实，容易出现与实际场景不符的情况。为了解决这个问题，DE框架引入了参考视觉先验。参考视觉先验提供了一个相对准确的基础图像结构，这样在扩散过程中，可以利用这一信息来指导细节的生成，避免出现虚假的纹理。
图第二行：展示了DE方法在引入参考视觉先验后生成的图像。
动态权重分配（WA）网络
动态权重分配网络是DE框架中的重要组成部分。它的作用是在扩散过程的每一步中，动态调整扩散模型输出与参考模型输出的融合比例，以达到最佳的图像恢复效果。
时序自适应：WA网络能够根据扩散过程的不同阶段调整参考模型和扩散模型的贡献。在早期阶段，参考模型的全局结构信息占主导地位；而在后期阶段，扩散模型生成的细节信息变得更加重要。 空间自适应：WA网络还可以识别图像中不同区域的特点，比如哪里存在噪声或潜在错误，从而在这些区域内动态调整融合比重，以确保整个图像的高质量输出。
4. 粗到精训练策略
为了提高训练效率和效果，DE方法采用了粗到精的训练策略：
初期训练：在较低分辨率的小图像块上进行初期训练，使得模型能够快速掌握基本模式和结构，从而加快收敛。 后期训练：随着模型在低分辨率图像上的初步收敛，接下来使用更高分辨率的完整图像进行微调。这一步骤确保了模型能够精确处理高分辨率图像中的复杂细节。 联合训练：在最终阶段，扩散模型与WA网络一同训练，使得二者在生成图像时能够紧密协作，确保最终的图像既具备精细的局部细节，也能保持整体结构的一致性。
结果和精度
精度对比
可视化对比
计算复杂度
更多结果讨论图表可查看原文
欢迎关注CVPR/ECCV 2024系列
因配置了AI回复功能，除关键词自动回复外，号内信息主要由AI大模型回复。如需资源、投稿、合作等，请直接联系小助手微信（添加请备注：咨询、投稿、合作、加群，加群需备注姓名/昵称，单位和研究方向）。
关于AI回复功能：
公众号新增AI回复功能，已接入大模型，集成查找ArXiv论文、CSDN博文等功能
问题及讨论可直接在文章下方留言
相关链接：
论文赏读 | ISPRS | RFE-VCR: 用于遥感视频数据去云的Transformer网络
遥感竞赛 | 近期竞赛总结, 含道路提取, 变化检测, 高光谱影像分类, 目标检测追踪, 图像去云等
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
