无惧透明物体！重新思考曲面重建：NeuS再升级！（中科院&NTU重磅开源）

0. 论文信息

标题：From Transparent to Opaque: Rethinking Neural Implicit Surfaces with α-NeuS

作者：Haoran Zhang, Junkai Deng, Xuhui Chen, Fei Hou, Wencheng Wang, Hong Qin, Chen Qian, Ying He

机构：Chinese Academy of Sciences、Nanyang Technological University、Stony Brook University、SenseTime Research

原文链接：https://arxiv.org/abs/2411.05362

代码链接：https://github.com/728388808/alpha-NeuS

1. 导读

传统的从多视图图像重建三维形状的技术，如从运动和多视图立体结构，主要集中在不透明的表面。类似地，神经辐射场及其变体的最新进展也主要解决了不透明物体，遇到了由透明材料引起的复杂照明效果的困难。本文介绍α-NeuS，一种基于神经隐式曲面(NeuS)同时重建薄透明物体和不透明物体的新方法。我们的方法利用了透明表面在神经体绘制期间在学习的距离场中引起局部极值的观察，与用零水平集对齐的不透明表面形成对比。传统的等值面算法(如marching cubes)依赖于固定的等值值，不适合这种数据。我们通过采用距离场的绝对值并开发提取对应于非负局部最小值和零等值的水平集的优化方法来解决这个问题。我们证明了重建的曲面对于透明和不透明物体都是无偏的。为了验证我们的方法，我们构建了一个包括真实世界和合成场景的基准，展示了它的实际实用性和有效性。

2. 引言

几十年来，从多视图图像中进行表面重建一直是研究的重要领域。传统方法，如运动恢复结构（SfM）和多视图立体（MVS），通过基于颜色一致性来校准图像并重建三维几何结构。最近，神经辐射场（NeRF）的出现彻底改变了这一领域，通过体积渲染在新视图合成方面取得了令人瞩目的成果。其基于隐式表面的变体，如NeuS、VolSDF、HF-NeuS和NeuS2，通过学习有符号距离场（SDF）进一步推动了这一领域的发展，实现了高质量几何形状和外观的重建。然而，这些方法仅限于重建不透明表面。相比之下，透明表面的重建更具挑战性，迄今为止相关研究相对较少。

最近，一些工作处理了透明场景中的折射和反射效应。例如，ReNeuS通过假设已知这些材料的参数，有效地重建了透明材料（如玻璃）内部的不透明物体。同样，NeuS-HSR分离了玻璃上的反射，以重建薄透明物体内部的对象。虽然这些方法成功地重建了透明材料背后或内部的不透明物体，但它们并未扩展到重建透明物体本身。

为解决上述挑战，我们提出了一种新方法，称为α-NeuS，用于同时重建薄透明物体和不透明物体。鉴于透明物体较薄，我们可以忽略折射效应。我们工作的一个关键观察结果是，在神经体积渲染过程中，透明表面会在NeuS学习的距离场中引起局部极值。NeuS对于不透明表面是无偏的，即体积渲染的最大权重与物体表面重合。我们发展了NeuS的理论，并证明NeuS对于所有透明和不透明表面都是无偏的。在不同透明度下，无偏表面要么是NeuS学习的距离场的非负局部最小值，要么是零水平集。因此，我们能够同时提取透明和不透明表面重建的无偏表面。

然而，这些非负局部最小值的精确值事先是未知的，并且可能在空间上有所不同，因此它们不适合通过传统的等值面算法（如移动立方体算法）进行提取，因为这些算法需要指定固定的等值。为了有效地提取透明物体的目标几何形状，我们取距离场的绝对值，使无偏表面成为绝对距离场的局部最小值。基于DCUDF，我们引入了一种优化方法，用于同时提取透明和不透明表面的无偏表面。

为验证我们的方法，我们构建了一个包含5个真实场景和5个合成场景的基准数据集。实验结果表明，α-NeuS在所有测试场景中均能有效重建透明和不透明物体。

3. 效果展示

现有方法都不能同时重建透明和不透明物体。它们都有各自减少反射或折射影响的假设或条件。将这两项任务结合起来并非易事。请参见表1，了解用例的综合比较。在本文中，我们提出了一种新算法，基于NeuS统一重建薄透明物体和不透明物体。

合成数据的定性比较。我们的方法使用NeuS进行距离场学习，并且如法线贴图所示，原始NeuS实际上能够重建具有透明度的表面。我们的方法与NeuS的差异显著，因为NeuS无法在使用移动立方体算法时提取距离场局部最小值大于零的透明表面，但我们的理论证实并扩展了NeuS的学习能力，能够提取非负局部最小值和零等值面。

4. 主要贡献

我们的主要贡献如下：

我们证明了NeuS中提出的密度函数在从完全透明到完全不透明的材料透明度连续范围内是无偏的，从而完善了NeuS的理论框架。

我们证明了透明和不透明表面分别对应于NeuS学习的距离场的非负局部最小值和零值。推荐课程：基于深度学习的三维重建MVSNet系列 [论文+源码+应用+科研]。

我们提出了一种方法，用于从混合的有符号距离场（SDF）和无符号距离场（UDF）中同时提取对应于透明物体和不透明物体目标几何形状的无偏表面。

我们构建了一个包含5个真实场景和5个合成场景的基准数据集，用于验证我们的方法。

5. 方法

我们的目标是从学习到的距离场中提取无偏表面。无偏表面要么是局部最小值，要么是零等值面，这取决于局部最小值是否非负。因此，NeuS学习到的距离场既不是无符号距离场（UDF）也不是有符号距离场（SDF）。如图1所示，当α ≤ 0.5时，距离场类似于一个UDF，其两侧的值均为正，无偏表面为局部最小值。由于局部最小值大于或等于零，因此该距离场不是严格的UDF。然而，为了简化，我们仍然将这种距离场称为UDF。当α > 0.5时，距离场是一个SDF，其值在表面前方为正，在表面后方为负。无偏表面是零等值面，且零不是极值。因此，无偏表面是一个混合的SDF和UDF，无法使用传统的等值面提取方法（例如移动立方体算法）进行提取。在图3(a)中，零等值面无法提取出透明的半球。

为了从混合的SDF和UDF中提取无偏表面，我们遵循DCUDF的思想进行提取。如图2(a)所示，给定NeuS学习到的混合距离场f，我们使用移动立方体算法[10]以用户特定的等值r（r > m）提取非零等值面的网格M（图2(b)和3(b)）。M包围了预期的无偏表面，作为其包络。与DCUDF一样，我们计算一个覆盖映射，将M投影回局部最小值。然而，如果α > 0.5，无偏表面不是局部最小值，而是零等值面。在图2(b)中，不透明框内的f值小于框外的值。如果我们将M投影到f的局部最小值，曲线会收缩到框内。图3(c)显示了一个示例，如果我们将M投影到f的局部最小值，不透明表面会收缩。然而，如图2(c)和3(d)所示，如果我们将f转换为其绝对值fa，则f的非负局部最小值和零等值面都是fa的局部最小值。因此，fa是一个UDF，其局部最小值是无偏表面。我们能够将M映射到局部最小值以提取无偏表面。

6. 实验结果

本节重点关注Synthetic Blender数据集，其中每个合成数据集包含来自不同视角的100张训练图像。我们将重建结果与NeuS进行了比较，并在阈值为0和0.005的情况下与NeuS比较了Chamfer距离（CD）。我们在表2中报告了Chamfer距离的结果。结果表明，我们的方法可以有效地重建无偏表面，无论是透明还是不透明。

与从中提取零等值面的原始NeuS相比，由于正最小距离的存在，重建网格中缺少大量透明表面。因此，从真实值到重建网格的单向Chamfer距离相当高。图5显示了真实值模型中样本点百分比，其距离小于阈值。最终的比率反映了重建模型的完整性。显然，我们的方法均达到了100%的完整性，表明我们的模型中不存在不必要的空洞。相比之下，如果提取零等值面，则大约有20%到40%的空洞残留。与从中提取0.005等值面的原始NeuS相比，提取的表面并不对应于最大颜色权重，导致重建到真实值的单向Chamfer距离不理想。我们的方法保留了透明表面，同时保持无偏性，从而在所有数据上获得了最佳的Chamfer距离。

我们还捕获了5个真实场景进行验证。由于缺少真实值网格数据，因此我们在真实场景上与NeuS进行了定性比较。结果如图6所示。视觉结果表明，我们的方法对透明和不透明表面均表现出良好的重建质量，即使在真实场景中的复杂照明条件下也是如此。相比之下，具有零等值面的NeuS无法提取完整表面，导致产生伪影。

7. 总结 & 未来工作

总体而言，α-NeuS为NeuS提供了新的视角。我们证明了NeuS对于透明物体的无偏性，并通过提出一个统一的理论和实践框架，扩展了NeuS在透明表面和不透明表面重建方面的能力。基于DCUDF，我们同时提取无偏的透明表面和不透明表面，以进行模型重建。我们建立了包含5个合成场景和5个真实世界场景的基准，以进行验证。我们的实验证明了所提出方法的有效性和实际潜力。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉、最前沿、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向，细分群包括：

工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机：四旋翼建模、无人机飞控等

2D计算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿：具身智能、大模型、Mamba、扩散模型等

除了这些，还有求职、硬件选型、视觉产品落地、产品、行业新闻等交流群

添加小助理: cv3d001，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。

3D视觉工坊知识星球

「3D视觉从入门到精通」知识星球，已沉淀6年，星球内资料包括：秘制视频课程近20门（包括结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云等）、项目对接、3D视觉学习路线总结、最新顶会论文&代码、3D视觉行业最新模组、3D视觉优质源码汇总、书籍推荐、编程基础&学习工具、实战项目&作业、求职招聘&面经&面试题等等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步。

具身智能、3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪等。

点这里👇关注我，记得标星哦～

一键三连「分享」、「点赞」和「在看」

3D视觉科技前沿进展日日相见 ~