纪勋, 冷娜, 郭慧
引用本文: 纪勋, 冷娜, 郭慧. 水下图像增强与复原技术进展与展望[J]. 计算机辅助设计与图形学学报, 2024, 36(6): 805-830. DOI: 10.3724/SP.J.1089.2024.20116
Citation: Ji Xun, Leng Na, Guo Hui. Underwater Image Enhancement and Restoration Techniques: State-of-the-Art Methods and Prospects[J]. Journal of Computer-Aided Design & Computer Graphics, 2024, 36(6): 805-830. DOI: 10.3724/SP.J.1089.2024.20116
水下成像机理分析
水下光学成像模型的示意图如图1所示. 水介质的不均匀性与复杂性会导致光照在其中的传播路径会发生随机的改变, 即光照散射.
水介质对光照的吸收也是造成水下图像质量降低的重要因素之一. 光在水中的衰减特性如图2所示.
作为认知水下环境的重要媒介, 水下图像在人类探索与挖掘水下环境潜能的过程中扮演着重要的角色. 然而在当前的水下成像研究中, 除了水介质中固有的光照散射与光照吸收现象之外, 依然有许多难点与挑战亟待解决:
(1) 目前, 自主式水下潜器(AUV), 无人遥控潜水器(ROV)等自主水下机器人设备仍然要受到诸如工作深度、工作视野等因素的影响, 使得所捕获到的水下图像质量普遍较低.
(2) 在进行基于自然光来捕获水下图像的相关工作中, 天气条件会极大地影响成像质量. 如在暴风雨天气时, 水介质将会发生强烈的不均匀变化, 直接导致水下图像模糊不清.
(3) 为了改善自然光在水下环境中迅速衰减的情况, 扩大水下成像的范围, 引入人造光源已成为现阶段的常用解决方案. 然而, 人造光源是一种不均匀光源, 因此在人造光源辅助下拍摄的水下图像, 往往会在图像的中心处呈现明亮的光斑, 且四周光照明显不足.
(4) 水下环境中大量宏观粒子(浮游生物、悬浮颗粒物、微生物、溶解的有机质等)的无规则运动加剧了光照散射对水下成像的影响, 使水下图像会出现较多的随机噪声.
水下图像增强与复原方法的简要分类如图3所示.
水下成像增强方法
○ 基于白平衡的水下图像增强方法
白平衡方法的核心思想是直接针对偏色部分进行对应的补色加强来实现图像颜色校正, 但实践表明, 当水下环境存在光照不足的问题时, 此类方法往往会引起较为严重的颜色失真情况. 表2针对基于白平衡的增强方法进行了归纳与总结. 虽然经过白平衡方法处理后的水下图像颜色得到了校正, 有了更好的视觉质量, 但此类方法无法解决图像对比度和分辨率上的问题, 图像细节问题也无法得到修复. 因此, 此类方法往往用作对水下图像进行预处理, 从而为其他更有效的方法提供相对较为理想的初始状态图像.
○ 基于直方图均衡化的水下图像增强方法
直方图均衡化通过调整图像的直方图来改变图像中各像素的灰度, 主要用于增强动态范围偏小的图像的对比度. 其原理为计算出图像的灰度直方图, 再计算其累积分布函数, 得到输入输出间映射关系后进行图像变换. 表3针对基于直方图均衡化的水下图像增强方法进行了归纳与总结. 该类方法对于背景和前景都太亮或太暗的图像非常有用, 且计算量不大. 但该类方法同样存在问题, 如对数据的处理不加选择, 可能会降低有用信号的对比度; 变换后的图像灰度级减少, 某些细节消失; 某些直方图有高峰的图像经处理后对比度会不自然地过分增强.
○ 基于小波变换的水下图像增强方法
小波变换继承了短时傅里叶变换局部化的思想, 同时又克服了窗口大小不随频率变化等缺点, 是进行信号时频分析和处理的理想工具. 表4针对小波变换的水下图像增强方法进行了简要的归纳与总结. 基于小波变化的水下图像增强方法由于能多角度地提取图像信号特征, 并在不同尺度把噪声和信号明显地区分开来, 因此其可有效地去除图像噪声, 但是计算过程比较复杂.
○ 基于深度学习的水下图像增强方法
近年来, 得益于人工智能技术的快速发展, 有关水下图像增强的研究也同样取得了非常显著的进步. 常见使用的神经网络主要包括卷积神经网络(CNN)以及生成对抗网络(GAN)2类. 表5针对基于深度学习的水下图像增强方法进行了归纳与总结. 深度学习方法的特点是通过对大量样本数据进行学习, 使得训练后的模型自主展现出水下图像增强能力. 此类方法普遍具有较强的增强性能以及泛化能力, 从而处理多种复杂水下环境中的图像增强问题. 然而, 当前深度学习方法所面临的主要问题在于, 所构建的深度学习模型的增强能力很大程度上取决于数据集本身的质量, 当数据集覆盖面或者数量有限时, 模型的性能将会受到很大程度的影响. 另外, 深度学习模型与客观水下成像模型并无必然关联, 模型的可解释能力相对较弱, 图像的增强过程难以被定量化分析.
图4 各类真实水下图像增强方法处理结果对比
图5 各类合成水下图像增强方法处理结果对比
水下图像复原方法
图6 各类真实水下图像复原方法处理结果对比
图7 各类合成水下图像复原方法处理结果对比
水下图像数据集
水下图像质量评估
为了研究水下图像的清晰度, 研究人员设计了各种各样的图像评价指标, 主要包括平均梯度(AG)、信息熵(IE), 均方误差(MSE), 峰值信噪比(PSNR), 结构相似度(SSIM), 水下图像质量度量(UIQM), 水下彩色图像质量评价(UCIQE), 以及基于斑块的对比度质量指数(PCQI), 其相关定义及说明如表15所示.
总结与展望
水下图像增强与复原是当前计算机视觉领域中的典型问题, 尤其在海洋资源环境的开发与探索中具有良好的应用前景. 无论是传统方法还是结合深度学习技术的方法, 相关的主流研究工作都是围绕提升方法性能以及节约计算成本等方面展开. 近年来随着人工智能技术的纵深发展以及硬件性能水平的显著提升, 以深度学习技术为核心的水下图像增强与复原方法也必然拥有最为瞩目的发展前景. 综合本文的方法进展介绍以及实验结果分析, 今后的研究可以围绕应用场景、降质方式以及评价指标3个方面进行展开.
(1) 相对于空气介质下的脱水环境, 水下环境往往更为复杂, 同一方法很难能够在多种不同的水下环境中均表现出具有竞争力的性能效果, 而这也是阻碍水下图像增强与复原方法实现进一步突破的关键问题所在. 随着深度学习技术的发展, 基于深度学习的水下图像增强与复原方法表现出了传统方法所无法比拟的泛化能力. 但在数据集有限的情况下, 如何设计更具一般性的网络模型, 成为提高方法性能以及技术实用性的关键因素.
(2) 深度学习技术的发展使得当前水下图像的增强与复原问题得到了有效的融合, 对于图像降质方式的讨论也已逐渐“去界限化”. 然而, 深度学习网络模型的可解释性问题始终是人工智能领域中亟待突破的重点与难点, 在设计网络模型的同时, 如何能将网络模型与降质方式相关联, 尤其利用降质原理对网络设计思想进行针对性解释, 是解决当前网络模型盲目设计、激发网络针对性优化思想的必要途径.
(3) 由于水下图像增强与复原是与实际应用场景深度结合的技术, 因此在数据资源或先验信息有限的情况下, 如何摆脱成对数据集训练的限制, 侧重考查不成对图像训练的水下图像盲增强与盲复原, 是进一步提升方法实际应用能力的核心问题. 在基于上述2类发展方向的前提下, 对于图像增强与复原的评价指标也应更加注重对主观感受与客观表现的综合考量, 对无参考评价指标(盲评估)的合理、公正地设计, 必然是未来用于评估真实水下图像增强与复原方法性能的重要趋势.
纪 勋(1992—), 男, 博士, 讲师, 硕士生导师, 主要研究方向为人工智能、计算机视觉.
冷 娜(1999—), 女, 硕士研究生, 主要研究方向为人工智能、计算机视觉.
郭 慧(1981—), 女, 硕士, 教授, 硕士生导师, 论文通信作者, 主要研究方向为人工智能、计算机视觉.
— END —
还没关注？点击下方“卡片”关注，获取第一时间资讯
综述推荐 | 监控场景下基于单帧与视频数据的行人属性识别方法综述及展望
本公众号发布的所有原创文章欢迎转发和转载，但必须注明作者和文章出处为《计算机辅助设计与图形学学报》公众号；任何媒体、网站或个人不得对本公众号原创图文进行内容修改或摘编。除本公众号原创的图文之外，本公众号发布的图文旨在学术交流，版权归原作者所有，本公众号将不承担任何法律责任；非原创内容均已对来源作出标注，如有侵权，请留言与本公众号联系，我们将及时处理。《计算机辅助设计与图形学学报》拥有最终解释权。
