RS DL
论文介绍
题目：FLDCF: A Collaborative Framework for Forgery Localization and Detection in Satellite Imagery
期刊：IEEE Transactions on Geoscience and Remote Sensing
论文：https://ieeexplore.ieee.org/abstract/document/10756746
代码：https://github.com/littlebeen/Forgery-localization-for-remote-sensing
创新点
协同框架 (FLDCF)：首次提出结合伪造定位和检测的协同框架，通过伪造定位网络（M-FLnet）和检测网络互相优化，提升了整体性能。 内容驱动的先验：在M-FLnet中加入内容驱动的先验模块，学习伪造区域的特定特征，进一步提高定位精度。 生成模型伪造数据集：提出Fake-Vaihingen和Fake-LoveDA数据集，基于最新的生成扩散模型（如Repaint和LaMa）创建高质量伪造数据，用于遥感伪造定位和检测的基准测试。
背景
卫星影像伪造问题的严重性和现有技术的局限性
伪造问题的影响：卫星影像被广泛用于灾害响应、环境监测等领域，但其易被篡改可能导致决策失误，带来严重后果。 生成技术的挑战：现代生成模型（如扩散模型）能生成高质量伪造图像，使检测更加困难，传统方法难以有效应对。 现有技术不足： 现有伪造检测技术多针对自然图像设计，在遥感影像中适用性差。 缺乏高质量、公开的遥感伪造基准数据集，限制了算法开发和评估。
数据
本文提出了两个高质量伪造遥感影像基准数据集，Fake-Vaihingen和Fake-LoveDA。
数据来源
来源：Vaihingen数据集（分辨率9cm），广泛用于遥感影像语义分割任务。
数据特点：包含33幅大影像，标注为6个地物类别（道路、建筑物、车辆、低植被、树木、杂物）。
来源：LoveDA数据集（分辨率30cm），适用于遥感影像的语义分割和迁移学习。
数据特点：包含5987幅影像，标注为7个类别（背景、道路、建筑物、水体、荒地、森林、农田）。
数据生成方法
使用最新的生成扩散模型Repaint和LaMa，通过随机形状和位置的掩膜生成伪造图像：
掩膜类型：包含规则形状（矩形）和不规则形状（自由绘制）。 掩膜覆盖比例：10%-40%影像区域。
生成目标：在不影响真实区域视觉特性的情况下伪造部分区域，从而生成高质量伪造图像。
数据质量评估
使用无参考图像质量评估指标（如NIQE、BRISQUE、MUSIQ、DBCNN）对伪造图像进行评估
结果：伪造区域的光学特性与真实区域高度一致，生成质量显著高于传统拼接数据集。
方法
总体框架
伪造定位网络（M-FLnet）：负责生成伪造区域的掩膜，用于定位伪造区域。
伪造检测网络：基于定位结果判断整幅图像的真实性，同时对伪造掩膜的微小错误进行修正。
伪造定位网络（M-FLnet）
编码-解码结构：
编码部分：从输入影像中提取多层次的特征，逐步压缩图像信息，强调局部与全局特征的整合。
解码部分：通过多次上采样，重建伪造掩膜，并细化边界以确保定位的精确性。
金字塔特征提取模块：利用多尺度卷积提取不同尺度的特征，包括全局平均池化，用于增强对全局信息的敏感性。
内容驱动的先验：一个独立训练的网络，用于恢复伪造区域的真实内容，提供全局上下文信息，辅助伪造定位网络更好地区分真实与伪造区域。
伪造检测网络
输入：原始图像和伪造掩膜，掩膜为定位网络生成。
架构：基于轻量级的ResNet，采用双分类器区分真实图像和伪造图像。
协同优化：利用掩膜指导检测，提高检测模型的稳定性和精度。
内容驱动的先验
特征融合：学习真实区域的全局特征，以及伪造区域的特征差异，帮助定位网络生成更准确的掩膜。
独立训练：内容驱动的先验网络在定位网络训练之前单独训练，以减少整体训练的复杂性和计算量。
定位网络生成的伪造掩膜为检测网络提供精准的区域信息，提升检测准确性。
检测网络根据全局判断修正定位网络生成的掩膜，减少伪造区域边界的错误。
实验与分析
本文提出的FLDCF框架在伪造定位和检测任务中表现优于现有方法，能够精准勾勒伪造区域边界并提供更稳定的检测结果。此外，框架对不同伪造生成技术具有良好的适应性，在复杂场景下依然保持高精度和鲁棒性。
精度对比
可视对比
更多图表分析可见原文
公众号欢迎优秀作者投稿！可加入优秀论文作者群：欢迎加入AI遥感优秀论文作者群！
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
