近日，软件所天基综合信息系统全国重点实验室研究团队的论文Intriguing Property and Counterfactual Explanation of GAN for Remote Sensing Image Generation被计算机视觉领域顶级期刊International Journal of Computer Vision（IJCV）接收。论文提出了一种新方法，可以有效提升生成式对抗网络模型（Generative Adversarial Network, GAN）的性能从而提高遥感图像的生成质量。论文第一作者为博士生苏兴哲，通讯作者为特别研究助理强文文。
由于GAN模型普遍基于自然图像设计，因此在遥感领域应用时容易忽视遥感图像的特性。研究团队实验发现，相比自然图像，基于GAN生成的遥感图像质量在训练数据集中类别数量或单个类别样本数量变化时，生成图像质量会出现更明显的变化。
为了探究上述现象的原因，研究团队首先建立数据生成过程的结构因果模型，证明了GAN遥感图像的生成质量与特征信息量呈正相关。同时，团队对遥感图像生成样本的特征进行了实验。结果显示，生成特征会随着训练类别数量的减少变得稀疏；当每个类别的样本数量减少时，生成样本在特征空间中的分布则越发不均匀。同时，受信息理论启发，即更为稀疏的特征信息熵较低、更均匀分布的信息熵更大，研究团队分析得出，当训练数据量或者单个类别样本数量减少时，GAN模型中包含的特征信息量会显著减少，从而导致生成质量下降。
基于上述实验结果，研究团队提出了一种即插即用的方法，用于提升GAN模型的性能。具体做法是，一方面在分布层次上增加GAN模型学习的特征信息量，使用高斯势核函数提出了均匀性正则化（Uniformity Regularization，UR），在特征空间中将样本特征分布约束为均匀分布；另一方面在样本层次上提升特征信息量，提出熵正则化（Entropy Regularization，ER），最大化单个样本的特征信息熵，来提升遥感图像的生成质量。
方法架构图
研究团队采用不同网络架构、数据增强和正则化的方法组合，在不同分辨率和不同模态的遥感图像上进行了验证。结果显示，在应用研究团队提出的方法后，遥感图像的生成质量均有显著提升。在自然图像上的实验结果也证明了方法的有效性和通用性。
在多个遥感图像数据集上的实验结果
自然图像数据集上的实验结果
论文链接：
https://link.springer.com/article/10.1007/s11263-024-02125-4
供稿：天基综合信息系统全国重点实验室
END
编辑 | 龙梦姣
责编 | 张欢
