文献总结 | ISPRS :用于珊瑚礁识别的高分辨率无人机RGB影像的太阳耀光校正

文摘   2024-06-07 17:23   北京  

点击上方湖泊遥感与智慧流域关注我们

研究背景
RESEARCH BACKGROUND
珊瑚礁是地球上生物多样性最丰富的生态系统之一,其生态健康的维护至关重要。相较于传统的现场调查,遥感技术凭借其能够在复杂环境中进行大规模、连续观测,在珊瑚礁识别中显示出巨大潜力。无人机(UAV)搭载的RGB光学数据由于其高空间和时间分辨率,正广泛应用于这一领域,提供了一种经济高效的方法来识别珊瑚礁生态系统的健康状况和变化。
然而,太阳耀光对无人机光学影像的珊瑚礁识别构成了重大挑战,影响了图像质量和精确性。这种光学现象降低了影像质量,掩盖了珊瑚礁的关键特征,从而在实现珊瑚礁分布的制图及分类方面造成重大障碍。
研究方法
1. 研究数据
本文在2016123日和24日获取了莫雷阿岛无人机图像。采集的无人机图像包含库克湾和奥普努胡湾的珊瑚礁区域,在不同高度和分辨率下收集了三个数据集,共包含1834000×3000像素的图像,具体详情见表1

表1 数据集详情

2. 太阳耀光识别

本文提出了一种基于前景注意力的语义分割网络(FANet),用于识别海洋无人机RGB图像中的太阳耀光。该网络采用经典的UNet编码器-解码器结构,结合Conv-BatchNorm-ReLU块和最大池化操作,以捕捉高层次的全局上下文和低层次的细节信息。

为了提高分割性能,FANet在解码器最后一层结合真实标签监督,以减少过拟合并提高分割性能。FANet设计了前景注意模块(FAM),通过一系列卷积层和注意力机制,有效地提取前景特征并增强太阳闪光特征,同时保留背景信息。

FANet采用了WCE损失函数和SSIM损失函数的混合损失。WCE损失通过权重系数处理样本不平衡问题,重点关注前景太阳闪光像素;SSIM损失则用于学习太阳闪光和真实标签之间的结构信息,增强网络对前景信息的关注。

图1 FANet架构

3. 太阳耀光校正

本文提出了一种基于光流的技术用于修复受太阳耀光污染的海洋无人机图像。该方法包括光流估计、像素传播和区域修补三个步骤。

首先,利用光流估计方法(如GMA)在连续的无人机图像序列中推断运动信息,以准确识别和分离受太阳闪光影响的区域。然后,通过前向和后向光流传播,识别并验证受太阳耀光影响的像素位置,并进行加权融合以完成像素校正。最后,对于通过光流传播无法填补的缺失像素,采用单像素校正方法(如FMM)进行校正。

图2 太阳耀光校正流程
研究结果
1. 太阳耀光识别结果

本文比较了FANet和其他多个语义图像分割网络,包括UNet、DeepLabv3+、SegNet、UNetglint、EMANet、Attention UNet、HRNet和ConvNeXt的太阳耀光识别性能。结果显示,所有方法在识别和分类无人机RGB图像中的背景像素方面表现良好,准确率均超过98%,但太阳耀光识别的性能差异显著。

表2 与UNet相关语义分割网络比较

其中,FANet在所有数据集上的表现均优于其他方法,识别太阳耀光的平均准确率比经典UNet高5.21%,比UNetglint高6.19%,比Attention UNet高近9%。与其他代表性语义图像分割网络相比,FANet在识别太阳耀光方面的性能也更为优越,比SegNet高8.25%,比ConvNeXt高近20%。

表3 与其他语义图像分割网络比较

即使在最具挑战性的数据集上,FANet在无需调参的情况下也能保持超过70%的识别精度

图3 太阳耀光识别的目视效果
2. 太阳耀光校正
为了评估太阳耀光的校正性能,本研究通过人工的方式向海洋无人机图像添加太阳耀光创建了一个专门的数据集。除评价了本研究提出的方法之外,还对Deepfillv2和FMM进行了评价。结果显示,DeepFillv2校正结果与实际特征不符,FMM导致图像过度平滑,细节丢失。相比之下,本研究提出的方法成功的恢复太阳耀光区域的珊瑚图像特征。

图4 不同太阳耀光校正方法目视解译效果

除了目视结果比较外,本文还采取了定量的方式对校正结果进行评估,使用了SSIM和PSNR来描述修复图像与原始图像之间的相似性。结果显示,本文的方法在这两个指标上均优于其他方法,SSIM值接近1,PSNR值大于40,表明图像质量与原始图像非常接近。
3. 应用
本文研究了太阳耀光对无人机图像拼接和底栖生物分类的影响。通过对比含有太阳耀光的原始图像和经过太阳耀光校正的图像发现,经过校正后显著减少了太阳耀光的污染,提高了珊瑚等底栖生物特征的可见性和分类准确性。

图5 无人机图像在太阳耀光校正前后的拼接结果比较

本文定量评估了太阳耀光对底栖生物分类的影响。实验结果显示,经过太阳耀光校正后,珊瑚提取的平均交并比(mIoU)提高了约13.5%。

表4 太阳耀光对底栖生物分类的不利影响

总结讨论

太阳耀光在海洋生态遥感中构成了重大挑战,它掩盖了底栖群落的特征,从而阻碍了对这些群落的准确识别。在利用高分辨率海洋无人机图像进行珊瑚礁提取时,太阳耀光会降低提取精度。

本研究提出了一种太阳耀光识别和校正流程,结合了基于前景注意力的语义分割网络(FANet)与基于光流的像素传播,旨在实现准确的太阳耀光识别和珊瑚礁真实纹理的恢复。

✎ 编者注

以上总结仅代表个人对论文的理解,仅供研究参考所用,不用于商业用途。若上述理解内容有误,请以论文原文为主。未经同意,禁止转载。


原文链接 ↓
https://doi.org/10.1016/j.isprsjprs.2023.12.007

点击左下方 “阅读原文” 可下载论文原文。



团队介绍

湖泊遥感与智慧流域创新团队,主要围绕湖泊开展历史重构、现状观测和未来变化模拟等模型研制和应用实践工作,并在流域尺度开展大数据智慧管理平台研究,保障湖泊水质安全。团队拥有博士和硕士导师4人(段洪涛,罗菊花,刘东,谭振宇),可分别在中国科学院南京地理与湖泊研究所、西北大学以及南京信息工程大学(国科大南京学院联合培养)等招收博、硕士研究生,欢迎报考!同时,长期招收联合培养研究生,欢迎咨询!

联系人:段洪涛研究员,htduan@niglas.ac.cn

点击下方链接直接关注我们

科学前沿丨文献总结 | WR:过去二十年中国大型湖库水色演变特征
科学前沿丨文献总结 | Journal of Hydrology:松花江水体表层二氧化碳分压和水气交换通量遥感研究
科学前沿丨文献总结 | Nature Communications:湖泊变化的季节特征
科学前沿丨文献总结 | WR:气候变化对藻华物候影响的预测
团队成果 | L&O高被引论文:湖泊CO2排放对全球变化的响应
团队成果 | 我国湖泊二氧化碳从大气的源向汇转变
团队动态 | 段洪涛研究员连续4年入选全球前2%科学家榜单
团队动态段洪涛研究员荣获朱李月华优秀教师奖

湖泊遥感与智慧流域
围绕“湖泊遥感与智慧流域”方向,介绍学科方向前沿,分享团队研究成果和动态,提供论文下载和数据共享等服务。版权所有 @ NN TEAM联合创新团队(NIGLAS & NWU Innovation Team)
 最新文章