水下无人系统学报
Journal of Unmanned Undersea Systems
2024年第5期
基于多域属性表征解耦的水下图像无监督可控增强
署名作者：
周世健, 朱鹏莅, 刘厶源*, 陈瀚
作者单位：
大连海事大学 轮机工程学院, 辽宁 大连, 116026
基金项目：
国家自然科学基金项目资助(62301107).
摘要
水下图像无监督增强技术多面向特定失真因素, 对于水下多类失真图像适应性略显不足; 图像的内容属性(结构)会随风格属性(外观)迁移变化, 导致增强效果不受控, 影响后续环境感知处理的稳定性和准确性。针对这一问题, 文中提出一种基于多域属性表征解耦(MARD)的水下图像无监督可控增强方法。首先设计多域统一的表征解耦循环一致对抗变换框架, 提高了算法对多失真因素的适应性; 其次构建双编码-条件解码网络结构; 最后设计了MARD的系列损失, 提高了质量、内容、风格等属性表征的独立表达性和可控性。实验结果表明, 所提算法不仅可以消除水下图像的色差、模糊、噪声和低光照等多类失真, 还可通过线性插值的方式量化图像风格码对水下图像进行可控增强。
引言
光学视觉感知作为水下作业系统获取环境信息的重要途径, 通过相关算法的处理和分析实时捕获周围环境图像信息, 实现水下目标探测与跟踪、即时定位与地图构建以及场景理解等功能, 已成为保证水下作业任务顺利完成的关键。然而, 水下环境具有复杂多变性, 光线在水中传播时会受到水体吸收作用和微粒杂质散射作用的影响, 导致水下光视觉图像退化严重, 主要体现在图像颜色失真、模糊和噪声等方面。水下环境产生的降质图像无疑会降低后续特征信息提取及环境感知算法的有效性, 进而影响环境事物态势分析及相应作业决策的准确性, 对水下作业安全产生威胁。因此, 提升感知图像质量对于保障水下作业安全至关重要。
水下图像增强(underwater image enhancement, UIE) 作为环境感知的关键环节, 其目的是去除或改变场景特异的风格属性(如色差、模糊、噪声以及低光照等), 并保持场景不变的内容属性(如语义、结构等), 改善图像的整体或局部特征, 丰富可用信息, 增强图像的判读和识别能力。传统UIE技术可分为基于物理模型的方法和基于非物理模型的方法。基于物理模型的方法[1-2]根据水下图像退化原理建立成像模型[3], 通过数学过程对退化前的原始图像进行反演, 其图像恢复能力主要受限于全球大气光和介质传输速率的预先假设。基于非物理模型的方法[4-5]根据水下图像的像素分布特点进行逐像素对比度、色彩和清晰度校正。例如, 近期被国内外学者逐步应用于水下环境的Retinex 方法[6-8], 以色感一致性为基础, 通过在动态范围压缩、边缘增强和颜色恒常3个方面达到平衡, 进而提升图像的亮度、对比度和清晰度等指标。尽管这类方法更加灵活, 但没有考虑成像特性和图像内容, 增强过程可能会导致信息丢失并引入额外伪影。
深度学习技术因其强大的特征提取和回归能力而被广泛应用, 为智能UIE提供了另一种解决方案, 即由合成图像或真实水下图像数据驱动。根据学习策略不同, 基于深度学习的UIE方法可进一步分为有监督UIE和无监督UIE两类。其中, 有监督UIE方法[9-10]通常基于不同的编码器-解码器网络架构, 利用由失真和相应无失真图像组成的成对数据, 以监督学习方式训练UIE模型, 以实现图像对比度、清晰度和颜色等多个指标的质量增强。这类方法的有效性在一定程度上取决于合成配对数据集的质量, 但在实际应用中, 这类配对数据很难通过直接采集获得。尽管水下降质图像可以通过在高质图像上增加特定风格属性模拟, 但风格模拟不能准确和充分地反映真实水下成像的所有可能形式, 致使实际应用中泛化性较低。
为缓解有监督UIE方法对配对数据集的高度依赖, 图像变换领域的生成对抗网络(generative adversarial networks, GAN)[11]及其各种变体模型[12]逐渐应用于无监督UIE方法。该方法虽克服了配对数据的依赖, 但本质上是基于循环一致变换思想[13], 借助不同的全局相似损失项来重建水下图像, 这将导致2个问题: 1) 现有方法大多只能处理特定因素产生的降质图像, 并且增强图像的质量不确定, 难以应用于复杂多变的真实水下环境; 2) 现有方法普遍对水下图像的风格和内容属性特征进行统一编码和解码, 但这2类特征的强耦合性使得图像增强过程中部分内容属性特征会随表征属性特征的迁移而发生变化, 与内容属性的场景不变性相悖[14]。
针对上述问题, 文中将水下图像增强问题建模为失真域和无失真域之间图像变换问题, 提出一种基于多域属性表征解耦(multi-attribute representation disentanglement, MARD)的水下图像无监督可控增强方法。该方法采用统一的多域无监督循环一致对抗变换框架, 从水下图像中解耦出代表质量类型的域标签、反映纹理结构的内容信息和反映失真特征的风格信息, 利用解耦信息交叉融合生成目标无失真图像, 保证增强图像的结构一致性和风格多样性, 进而针对性地处理色差、模糊、噪声和低光照等多类失真因素。同时, 为实现多域属性表征完全解耦并提高UIE性能, 通过对解耦的域、风格和内容特征的各种组合, 设计了多个损失函数, 以确保生成图像的真实性和多样性。此外, 通过线性插值量化图像风格码实现水下图像的可控增强。
结束语
针对不同失真类型水下图像可控增强问题, 文中提出基于MARD的无监督UIE方法。首先分析了不同失真水下图像与域信息、内容和风格表征, 结合图像循环一致性变换, 设计了多域统一的表征解耦循环一致对抗变换框架, 提高了算法对多失真因素的适应性; 其次设计了具有域变换、内容风格双编码和多尺度融合解码的网络结构; 最后根据表征解耦循环一致对抗变换框架的生成一致性和对抗性, 以及内容属性不变性、风格多样性, 构建了面向多域属性表征解耦的损失函数, 实现了域标签、内容和风格信息的完全分离。定性和定量实验表明, 所提方法能有效地对不同失真类型的水下图像进行色差修正、去模糊、去噪声和增亮度, 尤其是对具有严重失真的水下图像具有明显的改善效果, 有助于改善水下视觉感知性能。在未来的研究工作中, 可将文中所提的图像增强方法与图像质量评估任务相结合, 实现水下图像评估-增强闭环模型, 从而更精确地控制图像增强效果。
1
END
1
参考文献略
文章有删减，原文刊登于《水下无人系统学报》2024年第32卷第5期，点击阅读原文可查看。
