【TGRS好文推荐】MCMCNet:一种基于多重一致性和多任务约束的高分辨率遥感图像的半监督道路提取网络

文摘   2024-12-12 06:59   中国香港  
关注+星标🌟,好文及时看
应众多读者的需求和建议,遥感地理视界创建了学习交流群,想加入交流的可扫描下方二维码添加。请进群后按照群公告备注如“学位-学校(或机构)-昵称”格式(详情请查看公众号置顶推文)。

(一)文章信息
  • 标题:MCMCNet: A Semi-Supervised Road Extraction Network for High-Resolution Remote Sensing Images via Multiple Consistency and Multitask Constraints

  • 期刊:《IEEE Transactions on Geoscience and Remote Sensing》(中科院1区,IF=7.5)

  • 作者:Lipeng Gao, et al.

  • doi:10.1109/TGRS.2024.3426561

(二)研究背景
道路提取的困难之一是道路的结构非常多变,尤其是在城市与乡村、不同地理环境中的道路特征差异显著。由于建筑物、植被等障碍物的影响,道路经常被遮挡,导致传统方法难以从遥感图像中准确提取道路。道路通常是细长、曲折的,且宽度不一,这使得基于传统方法的提取难度增大。遥感影像中存在大量的背景信息,可能干扰道路的提取。在过去的研究中,许多方法试图解决这些问题,主要包括基于像素的图像分割方法、基于深度学习的方法等。然而,大多数现有方法仍然依赖于大量的标注数据,这对于实际应用来说是一个重要的限制,因为手动标注高分辨率遥感图像需要大量时间和精力。现有的全监督学习方法通常需要大量的标注数据才能取得较好的结果,但标注数据的获取成本非常高。而无监督学习方法虽然减少了标注数据的需求,但其性能往往不如监督方法。为了解决这个问题,近年来半监督学习方法逐渐得到关注,它能够利用有限的标注数据和大量未标注数据,从而缓解对标注数据的依赖。然而,现有的半监督学习方法仍面临诸多问题,特别是在道路的复杂结构和遮挡场景中,它们的提取效果仍不理想。为了解决这些问题,本文提出MCMCNet一个创新的半监督道路提取网络。通过引入伪标签信息和引导对比学习(GCLM),增强模型对未标注数据的学习能力,从而提高了道路提取的精度。除了传统的道路分割任务外,MCMCNet还引入道路骨架预测任务(RSPH),进一步提高道路提取结果的连续性和准确性。该模块帮助模型更好地提取道路的线性特征,避免冗余信息的学习,提高了模型在复杂环境下的适应性。MCMCNet能够在不依赖大量标注数据的情况下,显著提高高分辨率遥感图像中的道路提取性能,特别是在复杂和多变的道路环境中。

(三)研究数据与方法
本研究中使用三种基准数据集来验证模型的性能。为了减少标注数据的依赖,提出的MCMCNet采用半监督学习策略,结合少量标注数据和大量未标注数据显著提高模型在处理复杂道路场景(例如遮挡和前景与背景的区分)的性能。MCMCNet集成以下几种关键模块:

伪标签约束:通过引导对比学习模块(GCLM)增强类间可区分性,促进更精确的伪标签生成。

道路骨架预测:在原有的道路分割预测头的基础上,添加了道路骨架预测头(RSPH)来确保道路提取的连续性和主干道的完整性。

适应性道路增强模块:该模块通过结合局部和全局信息,增强道路的线性特征,避免模型学习冗余信息。

(四)研究结果

在对比实验中,MCMCNet在三个基准数据集上的表现优于其他经典的半监督道路提取模型,F1分数和IoU值提高了3%至5%。具体来说,MCMCNet通过引导对比学习模块(GCLM)有效地提高了伪标签的质量,并且在处理狭窄或复杂的道路时表现出了更高的准确性。此外,基于道路骨架的增强模块(RSPH)保证了提取结果的连续性,避免了由于复杂场景造成的道路丢失问题。实验结果的可视化进一步验证MCMCNet道路提取的优势,尤其在道路遮挡和不同背景下的道路提取精度上。

1. 性能评估与对比

通过对比实验,MCMCNet相较于其他经典的半监督道路提取模型,在这两个指标上分别提高了 3%到5%。这一提升反映了MCMCNet在准确性和完整性方面的优势。F1分数和IoU的提升不仅表现在较为简单的场景下,也在复杂场景中有所体现,特别是道路遮挡和背景干扰较为严重的区域。相比于完全监督的模型,MCMCNet能够在标注数据非常有限的情况下实现优秀的性能,验证了半监督学习策略在遥感影像道路提取任务中的有效性。

2. 伪标签与引导对比学习

伪标签生成是本研究的一个关键创新。通过使用引导对比学习模块(GCLM),MCMCNet能够提升伪标签的质量,并提高网络对未标注数据的学习能力。实验结果表明,这种策略有效提高了伪标签的准确性,减少了因标注数据稀缺而导致的误差。图像分割任务中,通过使用GCLM,MCMCNet增强不同类别之间的可区分性,进一步改善道路提取的精度。通过对比学习模块,模型能够学习到更多关于道路结构的信息,从而提高提取效果。

3. 道路骨架预测(RSPH)

为了保证道路提取的连续性和完整性,MCMCNet引入了道路骨架预测头(RSPH)。这一模块的引入显著提升了模型在长条形道路的提取效果,尤其是在道路被遮挡或背景较为复杂的情况下。通过骨架预测,模型能够保持道路的连贯性,避免出现断裂或遗漏现象。在实验中,RSPH模块帮助模型准确地提取了主干道,并在一些测试场景中处理了复杂的道路形态(如交叉口、曲折道路等)。

4. 适应性道路增强模块(ARAM)

MCMCNet中还加入了适应性道路增强模块(ARAM),该模块通过结合局部和全局信息来增强道路的线性特征,并避免冗余信息的学习。通过该模块,MCMCNet能够更好地处理复杂场景中的道路特征,尤其是在多变的地理环境中表现优异。实验表明,ARAM模块在提高道路提取精度的同时,避免了对无关背景信息的过度学习,提升模型的整体鲁棒性。

5. 复杂场景下的表现

复杂场景(如道路遮挡、背景杂乱、不同道路宽度等)往往是道路提取任务中的一大挑战。MCMCNet通过其独特的模块设计,在这些复杂场景中仍表现出较高的精度。实验显示,尽管遥感影像中存在一些道路被遮挡或具有不规则形状的情况,MCMCNet依然能够成功提取出道路信息,且不会丢失关键细节。对比实验中的可视化结果也验证了MCMCNet在不同场景下的道路提取效果,尤其在解决道路细节的提取和背景噪声的分离上,MCMCNet表现出了较好的能力。

6. 多任务学习的优势

通过引入多任务学习框架,MCMCNet不仅能够进行道路分割,还能够同时进行骨架预测等多项任务。这种多任务约束进一步优化了道路提取的效果,使得MCMCNet能够在处理复杂的道路场景时保持较高的准确率和连续性。实验表明,多任务学习策略有效提高了模型的学习效率和道路提取的精度,尤其是在需要提取细节部分的任务中,表现尤为突出。

(五)研究结论

本研究提出的MCMCNet在半监督学习框架下,通过引入多重一致性和多任务约束,有效解决了高分辨率遥感影像中道路提取的挑战。通过引入伪标签约束、道路骨架预测和适应性增强模块,MCMCNet不仅提高了道路提取的精度,还增强了模型的鲁棒性。实验结果表明,MCMCNet在三个不同的数据集上都实现了优于现有方法的表现,尤其是在处理复杂道路场景时,具有更强的适应性和可扩展性。因此,MCMCNet为未来的道路提取研究提供了一个有效的参考框架。

文章来源 :Gao, L., Zhou, Y., Tian, J., Cai, W., & Lv, Z. (2024). MCMCNet: A Semi-supervised Road Extraction Network for High-resolution Remote Sensing Images via Multiple Consistency and Multi-task Constraints. IEEE Transactions on Geoscience and Remote Sensing.

免责声明 :本公众号发布的内容仅供学习交流使用,内容版权归原作者所有。如有侵犯您的权益,请及时与我们联系。


END

可扫码获取PDF
点击关注

回复1096获取全文

关注后记得加🌟

| 期待下一次相遇


往期推荐

【TGRS好文推荐】利用卫星数据及机器学习和深度学习技术进行玉米产量和价格预测

2024-12-3

【ISPRS好文推荐】PolyR-CNN:用于端到端多边形建筑物轮廓提取

2024-12-3

【ISPRS好文推荐】一种用于高分辨率遥感图像变化检测的分层监督信号引导的多端复合高阶注意力网络

2024-10-23

遥感地理视界
致力于分享遥感科学、地理科学、深度学习相关的最新前沿的顶刊文章。分享数据建模/软件操作/论文绘图等相关知识。文章和科研学术推广欢迎来稿,联系方式:eco_rs_gis@163.com或VX: ECO_RS_GIS 感谢您的关注!
 最新文章