RS DL
论文介绍
题目：https://www.sciencedirect.com/science/article/pii/S1566253524002835
期刊：Information Fusion, IF=14.7
论文：https://www.sciencedirect.com/science/article/pii/S1566253524002835
代码：https://github.com/prowDIY/STF
创新点
基于扩散模型：STFDiff 采用了扩散模型进行时空融合，克服了传统深度学习模型（如 GANs）的模式崩溃问题，并增强了稳定性。扩散模型通过迭代去噪的过程，能够捕捉图像的复杂时空关系。
双流Unet (DS-Unet)：提出了一种新的双流Unet作为噪声预测器，利用双流编码器分别提取噪声图像和先验图像的特征，通过差异来增强噪声特征的表示，从而提高去噪精度。
自适应训练：该方法在训练和迁移阶段，分别优化模型参数，以应对不同区域的时空动态变化，提高了模型的适应性。
数据
CIA（Coleambally Irrigation Area）：包含17对Landsat-MODIS影像，时间跨度为2001到2002年。覆盖面积为2193平方公里，影像大小为2040×1720像素。在移除无效像素后，裁剪后的图像大小为1792×1280像素。 LGC（Lower Gwydir Catchment）：包含14对Landsat-MODIS影像，时间跨度为2004到2005年，涵盖了洪水带来的显著地表变化。影像的空间分辨率为2720×3200像素。移除无效像素后的裁剪图像大小为2560×3072像素。 E-SMILE：全球数据集，包含来自多时相的Landsat和MODIS影像，用于评估STF方法的泛化性能。包含6177个影像块，每个影像块的大小为512×512像素。其中，训练集包含5089个块，验证集有638个块，测试集有450个块。
方法0
总体结构
1. 问题定义
STFDiff的目标是融合不同时间和空间分辨率的遥感影像，生成具有高空间分辨率和高时间频率的融合图像。具体来说，它在已知粗分辨率影像（代表时间动态信息）和细分辨率影像（代表空间细节信息）的情况下，预测目标时间点的高分辨率图像。
2. 扩散模型的引入
扩散过程：通过在预测时间点的细分辨率影像中加入高斯噪声，生成逐渐退化的影像，直到完全变成高斯噪声。 去噪过程：从完全高斯噪声开始，通过多个迭代步骤去除噪声，最终生成目标时间点的高分辨率图像。噪声的预测通过一个特殊的神经网络——双流Unet（DS-Unet）进行。
3. 双流Unet (DS-Unet)
特征差异增强：通过对噪声流和干净流特征的差异进行计算，增强噪声特征的表示，从而更准确地预测和去除噪声。 解码器：将增强的噪声特征通过解码器转换，恢复生成最终的细分辨率图像。
4. 训练过程
STFDiff的训练过程包括以下步骤：
生成噪声图像：在已知的细分辨率图像中逐渐加入噪声，生成不同噪声水平的影像。
优化噪声预测器：通过DS-Unet在不同噪声水平下的噪声预测结果，优化其参数。目标是最小化预测噪声和实际加入噪声之间的误差。
条件训练：DS-Unet结合先验影像的条件信息，提高对目标影像细节和时间动态的预测能力。
5. 去噪过程
从完全随机的高斯噪声开始，通过DS-Unet的噪声预测逐步消除噪声。
每次迭代都会使用先验影像中的信息作为条件，逐步恢复空间细节和时间动态。
通过使用DDIM（Denoising Diffusion Implicit Model）采样器加速生成过程。
6. 模型微调
为了应对不同区域之间的差异，STFDiff还引入了微调策略，在新区域应用时，调整DS-Unet的干净流参数，以适应不同区域的时间动态变化。这种方法只微调部分参数，保持模型的空间特征一致性，减少了训练时间。
结果与精度
STFDiff有效融合了粗分辨率和细分辨率的影像，在复杂场景中生成高质量的融合影像，显著提升了空间和时间动态的精确度。
精度对比
可视对比
迁移能力
更多图表分析可见原文
因配置了AI回复功能，除关键词自动回复外，号内信息主要由AI大模型回复。如需资源、投稿、合作等，请直接联系小助手微信（添加请备注：咨询、投稿、合作、加群，加群需备注姓名/昵称，单位和研究方向）。
公众号欢迎优秀作者投稿！可加入优秀论文作者群：欢迎加入AI遥感优秀论文作者群！
问题及讨论可直接在文章下方留言
相关链接：
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
