Banner
本文由论文作者团队投稿
云雾对视觉产生的障碍人们并不陌生，杜甫的“烟锁池塘柳”，秦观的“雾失楼台，月迷津渡，桃源望断无寻处"等名句都是对这一光学现象非常形象的艺术表现 。通常只能等待“云销雨霁”，方能“彩彻区明”。其根由在于光信号强度在云雾等散射介质中传播时呈指数衰减，远远小于因多次散射而产生的背景光，而眼睛等探测器无法在如此强的背景噪声中探测到或区分出极其微弱的信号。
透过散射介质成像是光学领域中长期悬而未决的重大难题之一。近十余年来，国内外不少科研团队为尝试解决这一难题发展了若干计算光学成像技术，如记忆效应、波前整形、传输矩阵测量、相位共轭等。但这些方法需要主动照明，往往是侵入式的，也难以做到实时。
随着人工智能（AI）技术的兴起，深度神经网络强大的特征提取和函数拟合能力为许多领域带来了变革性的解决方案。毫不意外，AI技术也应用在透过散射介质成像中。深度神经网络的性能取决于三个重要因素，即数据、算法和算力。在透过散射介质成像这个特殊的应用场景中，数据和算法两方面都面临着一些技术上的挑战：在训练数据获取方面，散射图像及其所对应的原图的获取没有实际的解决方法，已有研究只能用空间光调制器依次加载大量图像，在实验室人造散射环境中，人造光源的照明下，用相机采集相应的散射图像。这导致用这些数据训练的深度神经网络只能应用在类似的实验环境，而无法应用在真实的外场散射环境中。在算法方面，所获得的散射图像中包含了极强的散射背景噪声，而所包含的信号则是极弱的。深度神经网络直接拟合散射图像和所对应的原图时很容易导致“垃圾进，垃圾出”的情况。
针对这些问题，中国科学院上海光学精密机械研究所司徒国海课题组近日提出了一种基于深度神经网络的、能应用于自然场景的实时非侵入式透过散射介质光学成像方法。该工作全面细致介绍了深度学习技术应用于真实散射场景的思路，包括实验装置设计、数据集设计、数据预处理方法、AI模型优化和部署等方面，在真实物体和自然场景中取得显著的散射成像效果。
该成果以“Learning-based real-time imaging through dynamic scattering media”为题发表在Light: Science & Applications期刊上。中国科学院上海光机所司徒国海研究员为本文通讯作者。中国科学院上海光机所刘海山为本文第一作者。本文合作作者包括中国科学院上海光机所王飞、金莹、博士生黎思腾、卞耀明和牛津大学的马宪政。
图1：基于AI的非侵入式实时散射成像结果。在采集图像和算法增强图像几乎完全看不清的情况下，深度学习技术仍然可以复原出清晰的目标场景
研究人员从真实散射场景的光学特性出发，设计了如图2所示的实验装置用于训练集的采集。在实验目标上，以不发光且具有漫反射特性的电子墨水屏来模拟真实物体，采用具有米氏散射特性的脂肪乳溶液、牛奶溶液和人造雾作为散射介质。在照明方式上，非相干光源被安装在远离目标物体的一侧进行照明，模拟真实物体仅被散射光照亮的情况。实验结果表明，该装置数据集训练的网络可以直接对真实物体和户外散射场景实现显著的散射成像效果。
图2：模拟真实散射场景的实验装置。模拟雾天观察或水下探测的场景，该装置以具有不发光和漫反射光学特性的电子墨水屏作为采集数据的实验目标。散射介质采用与雾气相似散射特性的脂肪乳、牛奶和人造雾。照明方式模拟自然光或水下机器人探照灯，在远离目标物体的位置进行照明
成像系统在采集到退化图像的过程中，散射环境本身的多样性会给图像带来不同强度分布的问题。比如环境光照不均匀、散射介质类型不同、散射介质分布不均匀、散射介质浓度不同等因素均会导致退化图像的多样化。
针对这一问题，该工作对数据进行了预处理操作，之后再经过网络模型训练和预测（见图3a）。在图3b所示的直方图中，不同条件下的3幅图像，它们强度分布、动态范围和退化程度均不相同，如果仅用其中一种数据集进行训练很容易导致网络模型过拟合，泛化性差。而经过噪声本底估计(>>Retinex)和限制对比自适应直方图均衡化（>>CLAHE）的处理之后，图像强度分布和动态范围会变换到相同的趋势，减小了不同实验环境之间的特征差异。
图3：数据预处理方法提升网络模型的泛化性。(a)图表示该工作的算法流程；(b)图表示不同数据预处理阶段，不同实验条件下的图像直方图分布；(c)图表示有无预处理方法对复原结果的影响
从图3c的消融实验可知，该工作所采用的预处理方法可以有效地提升网络的泛化性，对户外散射场景依然可以实现高质量的图像复原。
在神经网络模型上，研究人员对比了多个不同结构的网络模型，包括HNN、MulScaleNet、UNet、AttentionUNet
and
SwinIR，并从中优化出在复原质量、内存大小和推理速度等方面均表现优秀的网络模型。这项工作探讨了不同结构的网络模型对散射图像复原任务的影响。实验结果表明，在保证神经网络模型基本的拟合能力前提下，所有网络均表现出远超传统图像算法的复原效果。
不同网络模型之间的复原质量差异并不大，通过网络模块的修改和结构参数的调整，可以在复原质量、内存大小、推理速度等方面优化出一个合适的网络模型。研究人员最终将训练好的网络模型和采集及预处理步骤结合起来，可以实现实时的非侵入式散射成像效果。
该项研究工作探究了AI技术在散射成像这一问题上的复原能力。如图4左图第一行所示，相机采集的散射图像很快就完全退化。相对应地，图4复原结果和评价指标曲线说明了AI技术极大地提升了图像的清晰度，提高了探测器的感知能力，这是传统图像算法难以做到的。
图4：DescatterNet在不同散射程度条件下的复原结果。第一行是相机采集原始图像归一化显示的结果。第2~4行是网络模型对不同样本的复原结果。右图是散射图和复原图的评价指标随散射程度变化的曲线
在前面工作基础上，研究人员进行了自然散射场景的成像实验，并搭建了如图5所示的成像装置。在这项实验中，该研究成功实现了透过户外5.9km的浓雾环境对自然场景进行散射成像。传统图像增强方法比如暗通道和Retinex等都难以复原出清晰图像，而AI技术则呈现出最优的结果。
图5：AI技术应用于自然散射场景的散射成像
为了实现AI技术应用实际散射场景，研究人员分别从实验装置设计、数据集制作、预处理算法和网络模型优化等方面提出了解决思路，实现户外散射场景下的非侵入式实时散射成像目标。核心贡献可以归纳为：
搭建模拟真实散射光学特性的实验装置，解决数据集不适配真实物体的问题；
采用噪声本底估计和限制对比度直方图均衡化的预处理方法，减少由散射环境差异引起的图像差异问题；
优化神经网络，提出在复原质量、内存大小和推理速度等方面均表现良好的模型；
研究网络模型的复原极限、泛化性、结构设计的影响和部署运行。
该工作初步实现了户外场景的散射成像目标，有望为恶劣天气下道路驾驶、视频监控、火场救援和水下救援等应用场景提供有力的解决方案。此外，对于网络模型而言，透过散射介质成像是一种图到图的映射过程，其他类似的图像退化任务如图像模糊、离焦、去噪、大气湍流等等均可采用类似的解决方案。
论文信息
Liu, H. et al. Learning-based real-time imaging through dynamic scattering media. Light: Science & Application, 13, 194 (2024).
https://doi.org/10.1038/s41377-024-01569-0
Github链接：
https://github.com/SituLab/DescatterNet-for-unseen-real-world-objects
编辑：赵阳
如下数据来自Web of Science，Light: Science & Applications的高被引文章数量在国内同类期刊中稳居领军地位。截至目前：
超过2000次引用的文章有1篇
https://doi.org/10.1038/lsa.2014.99
超过600次引用的文章有9篇
https://doi.org/10.1038/lsa.2013.28
https://doi.org/10.1038/lsa.2014.42
https://doi.org/10.1038/lsa.2016.17
https://doi.org/10.1038/lsa.2016.76
https://doi.org/10.1038/s41377-019-0148-8
https://doi.org/10.1038/lsa.2014.22
https://doi.org/10.1038/lsa.2015.137
https://doi.org/10.1038/lsa.2014.58
超过300次引用的文章有58篇
超过200次引用的文章有142篇
超过100次引用的文章有350篇
超过50次引用的文章有680篇
欢迎课题组投宣传稿
请扫码联系值班编辑
👇 关注我 👇
