计算专题 | 从静态到动态，基于神经辐射场的水下场景表征（CVPR）
文摘
科技
2024-11-19 11:20
中国香港
基于神经辐射场的水下场景表征
Neural Underwater Scene Representation
神经辐射场在大多数水上场景的三维重建任务中都有很好的表现，但对于水下场景的重建效果却不尽如人意。这是因为神经辐射场是针对静态三维场景提出的表征方法，而水下场景中往往包含多种传统的神经辐射场无法处理的动态变化成分，导致现有模型无法精确表征水下场景。为了提升水下场景的表征质量，来自北京大学、香港浸会大学的研究人员利用神经辐射场对光在水中传输过程的衰减、不稳定的散射和物体运动的复杂过程分别进行建模，同时提出了混合渐进的采样方法与两阶段的网络学习策略，对模型参数进行鲁棒优化，从而实现高质量的水下场景表征。该方法在不显著延长训练与渲染时间的基础上对水下场景表征的精确度超过了现有的最先进方法，同时也可应用到场景编辑的各项任务中，为水下图像恢复和水体迁移等任务提供便利。该研究工作被计算机视觉领域顶会CVPR 2024接收。神经辐射场（Neural Radiance Fields）是近年来提出的一种隐式三维场景表示方法。它使用神经网络将3D空间中的每个点表示为颜色和密度值。通过输入点的空间坐标和观察方向，NeRF能够预测该点在特定视角下的视觉特征。这种方法无需显式地存储3D几何信息，而是通过神经网络隐式地学习场景的完整表示。神经辐射场在大多数水上场景的三维重建任务中都有很好的表现，但对于水下场景的重建效果不尽如人意。这是因为水下场景中往往包含多种传统的神经辐射场无法处理的动态变化成分:- 水中物体的清晰度与颜色是随着景深变化而动态变化的。同一物体离相机越远，观察起来就越困难。水固有的散射和吸收性质大大降低了光在水中传播时的清晰度和强度。散射导致光线偏离其原始路径，而吸收则降低其总体强度。因此，远处的物体看起来更加模糊，难以辨认，这对水下场景的准确观测构成了重大挑战。
- 水中的光照条件是随着时间变化而动态变化的。这种动态变化源于水的散射效应和环境光照条件的波动，通常受时间、天气、波浪、湍流和浑浊度等因素的影响。光线在不同的地方被折射、散射和吸收，造成了不均匀的光照条件。光照的变化不仅在空间上不同，而且在时间上也不同，导致从不同的角度观察到的光照情况随着时间的变化而不一致。这种光照的不稳定性使得精确建模水下场景的任务变得复杂。
- 水体中广泛存在的生物运动导致了场景中第三种动态变化成分。这些运动的物体违背了基于传统神经辐射场的模型中通常持有的假设：场景中的所有物体都是静态的。水下场景中物体的连续运动不仅改变了场景本身，还干扰了光路，为场景表征任务增加了另一层复杂性。
上述三种动态变化成分相互交织在一起，形成了水下场景独有的复杂动态性，导致现有模型无法精确表征水下场景。方法简述：该研究提出了一种如图1所示的解决方案，对传统的神经辐射场框架进行了扩展，实现水下场景的表征与重建。提出将水视为具有半透明性质的物体，将水体参数与场景中其他物体同时进行优化，并采用一种考虑水的吸收性质的三维渲染公式，对光在水中传播的物理过程进行模拟，解决了水下场景中物体清晰度与颜色的动态变化。此外，还提出了对数空间下的光照场神经网络和自适应的色调映射模块，对水下场景中光照条件的动态变化进行建模。为提高模型的运行效率，提出在精确重建水下场景中静态部分和水体参数之后，进一步对运动的物体进行优化。这是因为水下场景中静态部分与动态部分是相互独立的，且只有在静态场景与相机之间的动态物体才会对渲染结果有贡献，实现高质量的静态场景与水体表征与重建对于动态物体的重建具有指导意义。
![]()
图1. 方法整体架构
水体参数的建模方法：水中物体的清晰度与颜色随深度的动态变化主要由水对光的吸收性质导致。光在水中传播时，水只会允许其中一部分光线通过，吸收掉一小部分光线。基于此，该方法中将水体建模为半透明的物质，并在体积渲染的过程中考虑水体对渲染结果的影响。为了将水体的表示与神经辐射场相结合，该方法为水赋予了能够表达其性质的参数，包括体素密度和三通道的辐照度值。考虑到局部水域内的水体性质可以被近似认为是相同的，因此在对水体进行参数化的时候，赋予场景中所有水体相同的体素密度和辐照度。水体参数通过与场景参数进行加权融合的方式参与体积渲染过程，实现高质量的水下场景渲染。水下光照建模方法：水下场景中存在明显且快速的光照条件变化，这是源于水的散射效应和环境光照条件的波动，通常受时间、天气、波浪、湍流和浑浊度等因素的影响。在考虑对水下的场景进行表征时，如果不考虑水下不断变化的光照条件，则这些光照变化会被错误地建模为物体表面的辐照度随视角或时间的变化，导致场景表征的不准确。该方法借鉴了神经辐射场对场景的隐式表示方式，利用一个光照分支MLP-I对场景中随时间变化的光照条件进行隐式表征，并搭配以一个色调映射器模块用来模拟相机曲线，实现更加逼真的水下图像渲染。动态物体建模：水中广泛存在运动的物体，导致在使用传统神经辐射场对水下场景进行重建时，会产生由物体运动导致的伪影。该方法不对三维场景中的静态物体与动态物体进行区分，而是采用静态与动态两个不同的分支，对每个点分别学习静态场景参数和动态场景参数，再通过加权融合的方式得到每个点处的体素密度和辐照度。动态分支由一个多层感知机MLP-D组成，除了三维坐标外，还需要将输入图像对应的时间信息作为输入，表征动态物体随时间变化的运动轨迹。
实验结果：如图2和图3所示，通过与其他基线算法（Instant-NGP，Mip-NeRF 360, DynamicNeRF, Seathru-NeRF）相比，所提出的方法在不同数据集中对水下场景的表征质量上都具有明显优势。
![]()
图2. Seathru数据集上的结果
![]()
图3. 本工作提出的水下动态场景数据集上的结果
该研究提出了一种基于神经辐射场的水下场景表征方法。为此，先对复杂的水下场景进行了分析，总结出水下场景特有的影响场景表征质量的三种动态变化成分，即水中物体的清晰度与颜色变化、光照条件的变化以及广泛存在的运动物体。针对上述水下场景特有的动态变化成分，在传统神经辐射场的网络结构基础上，对水体部分进行了参数化，有效地模拟水对光的吸收与散射性质，并提出了混合渐进采样方式实现了对水体参数和场景物体参数的同时优化；设计了多层感知机MLP-I和色调映射器对水下场景的光照条件进行表征；提出了两阶段模型训练方法，实现了场景的鲁棒表征，同时对动态物体的重建提供了帮助该研究作提出的方法在定性与定量的水下场景表征实验评估以及用户调研结果中均超过了所有的对比方法，说明其在水下场景表征与重建任务中的优越性；也为水下场景的编辑任务提供了便利，编辑得到的高质量的水下图像恢复结果与逼真的水体迁移效果可以进一步应用于电影制作与虚拟现实等产业中。
Y. Tang, C. Zhu, R. Wan, C. Xu, and B. Shi, "Neural Underwater Scene Representation," in IEEE CVPR, 2024.
https://freebutuselesssoul.github.io/uwnerf/*该技术分享所涉及文字及图片源于发表论文和网络公开素材经适当编辑,不做任何商业用途。
INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台。如果喜欢，请点击“在看”和“点赞”，将有助于微信公众号平台对信息的定向统计和及时推送，小编团队在此不胜感激，谢谢！！
