遥感图像语义分割是地物信息提取的有力途径，但高度依赖标注成本昂贵的像元级标注训练数据。由于图像级标注更易获取，基于图像级标注的弱监督语义分割逐步受到关注。然而，遥感图像的图像级弱监督语义分割方法仅关注二分类应用场景，难以应用于多类任务。此外，在关注多类地物时，地物的多目标和复杂分布使模拟标注中易存在标注噪声，干扰语义分割网络学习准确的类别信息，从而极大地降低弱监督语义分割的精准度。
为此，南京大学高分辨率遥感实验室提出遥感图像多类弱监督语义分割方法，发现并论证了多类弱监督语义分割方法相比于单类方法的优势，为低成本实现高精度大规模土地覆盖制图提供了技术参考，并为遥感图像弱监督语义分割提供了新思路。
所提出的遥感图像多类弱监督语义分割方法包括图像级标注的合理生成、高质量像元级伪标注生成和分割网络迭代训练（图1）。具体而言，提出图像标签筛选方法和数据集类别共存矩阵（图2），以生成更合适的图像级弱标注；基于多类类型激活图提取像元级不确定性掩模（图3），以缓解伪标注中的标记噪声干扰；最后在不确定掩模的引导下进行分割网络迭代训练，利用分割网络更准确的预测结果逐步优化模型。
图1 多类弱监督语义分割总体框架
图2 类别共存矩阵生成方法
图3 不确定性掩模生成方法
大量实验证明所提出方法可利用图像级标注实现高质量的遥感图像多类弱监督语义分割，取得媲美全监督的语义分割效果，在ISPRS Potsdam和Vaihingen数据集上分别可以取得全监督94.23%和90.77%的精度，针对DeepGlobe数据集，所提出的弱监督语义分割方法可以取得接近全监督99%的精度。
图4 Potsdam数据集上全监督（FSSS）与弱监督（WSSS）语义分割结果示意图
图5 Vaihingen数据集上全监督（FSSS）与弱监督（WSSS）语义分割结果示意图
图6 Deepglobe数据集上全监督（FSSS）与弱监督（WSSS）语义分割结果示意图
对于多类弱监督语义分割，理论上可通过多次利用二分类弱监督语义分割方法予以解决。然而，本研究发现并论证了：相比于训练多个二分类网络，只训练一个多分类网络不仅有更少的时空开销，还可使模型更好地掌握不同类别间的区别，从而生成更高质量的伪标注。
该研究成果近日以“One Model Is Enough: Toward Multiclass Weakly Supervised Remote Sensing Image Semantic Segmentation”为题发表于IEEE Transactions on Geoscience and Remote Sensing。南京大学地理与海洋科学学院博士生李振世为论文第一作者，张学良副教授为论文通讯作者，肖鹏峰教授为论文合作作者。该研究得到国家自然科学基金项目（42071297, 41871235）资助。
Z. Li, X. Zhang and P. Xiao, "One Model Is Enough: Toward Multiclass Weakly Supervised Remote Sensing Image Semantic Segmentation," in IEEE Transactions on Geoscience and Remote Sensing, vol. 61, pp. 1-13, 2023, Art no. 4503513, doi: 10.1109/TGRS.2023.3290242.
