文献总结 | RSE：多种语义分割模型在地表水体信息提取性能评价

文摘 2024-08-12 17:00 北京

点击上方湖泊遥感与智慧流域关注我们

研究背景

RESEARCH BACKGROUND

深度学习的兴起在图像识别领域内引起一大波浪潮，然而不同的模型架构、不同的编译器性能各有优势。本研究拟定评估现有卷积神经网络模型在高分辨率影像上提取水体信息的性能。利用不同的模型架构（U-Net 和 DeepLab-V3+）与编码器（MobileNet-V3、ResNet-50 和EfficientNet-B4），并测试了不同组合方法在不同环境条件和数据可用性下水体提取能力。

研究方法

本研究获取到2000 年至2009间IKONOS在欧洲和中东获取到的遥感影像，最大云覆盖占比不超过5%，空间分辨率为0.8m。此外还使用到GeoEye-1, WorldView-2, WorldView-3卫星影像数据。真值数据由专业人员统一流程标注出来。

研究过程中主要回答以下问题：

1）哪种框架和编码器的组合性能最佳？

2）通过添加额外的信息是否可以提高性能？

3）不同的数据增强技术是否可以提高泛化能力？

4）不同的训练权重对模型性能有什么影响？

5）是否可以将基于卫星图像训练的模型迁移到低辐射分辨率的航空图像上？

研究结果

1、模型性能对比

如表1所示，U-Net 解码器的模型比 Deeplab-V3+ 模型性能更好（U-Net 模型的平均IoU为0.73，而Deeplab-V3+的平均IoU为 0.72），与此同时，Mobilenet-V3 编码器的性能优于ResNet-50和EfficientNet-B4。

表1 基于IKONOS训练的不同模型的结果。测试场景I 与参考数据保持相同的传感器、相同的任务；测试场景II 不同传感器，同一任务的测试数据集；测试场景III 不同传感器，不同任务的测试数据集

2、输入不同波段对模型精度的影响

如表2所示，通过添加波段斜率可将所有测试场景的分割精度至少提高0.07。通过添加近红外和斜率信息，模型展示出最佳性能。

表2 不同波段输入模型性能表现

3、图像增强技术对模型性能的影响

表3描述了不同数据增强技术对三个测试场景的分割结果的影响。实验结果表明U-Net和Mobilenet-V3的组合，在卫星图像上进行训练，增强后的数据集DA-1相较于增强前的 DA-0在所有测试场景中都有提升但是效果甚微。相似的，在DA-2（应用了时间序列增强手段）上的精度也会有提升但是不显著。综合来看通过使用图像增强技术在同一个卫星影像中识别不同的场景精度提升较大，然而会造成超长的运行时间；在应用于不同卫星识别繁杂场景中精度反而会降低。

表3 针对不同数据增强数据集进行训练的模验证结果

4、不同的训练权重对模型性能的影响

表4展示多种输入数据考虑不同的预训练权重，并进行了训练时间增强下模型的表现。当使用相同传感器和任务进行训练和测试时（测试场景I），使用预先训练的权重并没有提升。然而，当使用 ImageNet权重初始化RGB波段时，在测试场景II和III上均获得更高的性能表现，模型的泛化能力得到提高。

表4 针对不同的预训练权重模型测试表现

5、不同的训练权重对模型性能的影响

表5测试了模型在卫星图像和航空图像上的迁移性。对于所有三种场景，基于卫星图像 (TM-0)训练和测试的性能明显优于在航空图像上测试的结果。基于Mapbox图像（TM-1 和 TM-2）模型训练结果在航空图像上要比在卫星图像上表现更好。当在对比度增强卫星图像和Mapbox图像(TM-3)的联合训练数据集上训练模型时，模型性能最佳。

表5 针对卫星影像和航空图像模型迁移性测试

总结讨论

本研究结合了不同的深度学习架构（U-Net和DeepLab-V3+）和多种编码器（Mobilenet-V3、ResNet-50和EfficientNet-B4），评估了它们在不同环境条件和数据可用性场景下监测水体的能力。研究发现，U-Net+Mobilenet-V3模型表现最佳，在不同传感器和环境条件下表现出良好的泛化能力。使用 R-G-B-NIR-Slope作为输入训练的模型在所有测试场景中产生了最高精度，但即使没有NIR光谱波段，模型仍能获得可比的结果，仅需 R-G-B-Slope输入特征，这使得模型适用于更多的传感器。

✎ 编者注

以上总结仅代表个人对论文的理解，仅供研究参考所用，不用于商业用途。若上述理解内容有误，请以论文原文为主。未经同意，禁止转载。

原文链接 ↓

https://doi.org/10.1016/j.rse.2023.113452

点击左下方 “阅读原文” 可下载论文原文。

团队介绍

湖泊遥感与智慧流域创新团队，主要围绕湖泊开展历史重构、现状观测和未来变化模拟等模型研制和应用实践工作，并在流域尺度开展大数据智慧管理平台研究，保障湖泊水质安全。团队拥有博士和硕士导师4人（段洪涛，罗菊花，刘东，谭振宇），可分别在中国科学院南京地理与湖泊研究所、西北大学以及南京信息工程大学（国科大南京学院联合培养）等招收博、硕士研究生，欢迎报考！同时，长期招收联合培养研究生，欢迎咨询！

联系人：段洪涛研究员，htduan@niglas.ac.cn。

点击下方链接直接关注我们

科学前沿丨文献总结 | RSE：基于中等分辨率水色传感器的湖泊反射率和叶绿素浓度反演

科学前沿丨文献总结 | Global Change Biology：中国沿海湿地开垦和恢复对碳通量的影响研究

科学前沿丨文献总结 | WR：美国中西部和东北部暴发季藻类指标的大规模预测

科学前沿丨文献总结 | Nature Communications：全球河口三角洲悬浮沉积物呈现增加趋势

团队成果 | L&O高被引论文：湖泊CO2排放对全球变化的响应
团队成果 | RSE：黄河悬浮泥沙遥感研究取得进展

团队动态 | 段洪涛研究员连续4年入选全球前2％科学家榜单

团队动态丨段洪涛研究员荣获朱李月华优秀教师奖

http://mp.weixin.qq.com/s?__biz=MzA3NTg4NDcwMQ==&mid=2247542348&idx=1&sn=e4915ff040167258baa60009e85a28c5

湖泊遥感与智慧流域