NeurIPS24 | MMM-RS: 多模态, 多分辨率,多场景的遥感数据集和基准, 可用于跨模态数据生成

文摘 2024-11-05 08:47 荷兰

RS DL

题目：MMM-RS: A Multi-modal, Multi-GSD, Multi-scene Remote Sensing Dataset and Benchmark for Text-to-Image Generation

会议：Conference on Neural Information Processing Systems 2024

论文：http://arxiv.org/abs/2410.22362

数据和代码：https://anonymous.4open.science/r/MMM-RS-C73A/README.md

年份：2024

单位：南京理工大学等

NeurIPS 2024遥感方向论文合集：NeurIPS024

多模态、多分辨率、多场景的遥感数据集：提出了MMM-RS数据集，集成了多种遥感数据源，覆盖不同的地面采样距离（GSD）和场景（例如雾霾、雪、低光等），提供了丰富的文本描述和图像配对。
自动生成文本描述：利用预训练的视觉-语言模型BLIP-2生成初始文本描述，并手动精细调整，确保文本内容的准确性。
跨模态生成能力：利用MMM-RS数据集训练跨模态生成模型，实现了不同模态（RGB、SAR、NIR）间的转换。

数据来源与整合：

数据集整合了9个公开的遥感数据集，分别为MRSSC2.0、Inria、NaSC-TG2、GID、WHU-OPT-SAR、HRSC2016、TGRS-HRRSD、fMoW和SEN1-2。
每个数据集中的图像进行了标准化处理，确保样本一致性，最终形成了一个包含约210万对文本-图像对的数据集。

多模态数据

多GSD层级

数据集定义了五种GSD（地面采样距离）层级：超高精度（GSD < 0.5米/像素）、高精度（0.5 ≤ GSD < 1米/像素）、普通精度（1 ≤ GSD < 5米/像素）、低精度（5 ≤ GSD < 10米/像素）和超低精度（GSD ≥ 10米/像素）。
为了确保数据多样性，文章设计了GSD提取策略，通过裁剪不同分辨率的图像来创建不同的GSD样本，以支持在同一场景下的不同GSD图像生成。

多场景数据

数据集包含模拟不同天气和环境条件的图像，包括雾霾、雪景和低光照场景。这些场景图像是通过以下方法合成的：

文本描述生成

数据集统计

实验设置：使用Stable Diffusion-V1.5作为基础模型，对其进行微调以适应遥感图像生成任务。微调过程中采用LoRA（低秩适应）技术，以优化模型的参数调整。训练使用了MMM-RS数据集，包含约210万对文本-图像对，训练次数为20万次。
训练细节：输入文本提示包含多个组成部分：地面采样距离（GSD）、天气类型、场景描述和卫星类型，帮助模型生成符合特定条件的遥感图像。
评估指标：使用Frechet Inception Distance (FID)和Inception Score (IS)两项指标来衡量生成图像的质量和多样性。低FID表示生成图像分布与真实图像更为接近，高IS表示生成图像的多样性和清晰度较高。

实验设置：使用ControlNet作为跨模态生成的基础模型，以Stable Diffusion-V1.5作为主干，利用MMM-RS数据集中的对齐样本进行训练，包括约29万对RGB-SAR样本和7000对RGB-NIR样本。
训练任务：实验设计了四种跨模态生成任务，分别为RGB → SAR、RGB → NIR、SAR → RGB和NIR → RGB，目的是验证数据集在跨模态生成中的有效性。
结果分析：实验结果展示了四种跨模态生成任务的可视化效果：

更多图表分析可见原文

欢迎关注会议论文赏读系列

因配置了AI回复功能，除关键词自动回复外，号内信息主要由AI大模型回复。如需资源、投稿、合作等，请直接联系小助手微信（添加请备注：咨询、投稿、合作、加群，加群需备注姓名/昵称，单位和研究方向）。

公众号欢迎优秀作者投稿！可加入优秀论文作者群：欢迎加入AI遥感优秀论文作者群！

问题及讨论可直接在文章下方留言