近年来，多视角三维重建领域的最新进展受到了神经场技术的推动，包括隐式函数和辐射场等。所有图像到三维重建方法的关键组成部分，包括传统方法如多视角立体匹配 (MVS)，都需要获取输入图像的相机位姿信息。在实践中，相机信息可能通过采集设备获得，例如通过GPS或惯性测量单元 (IMU)，其他情况则通过运动结构恢复 (Structure from Motion, SfM) 等方法来估计位姿的。在这两种情况下，这些相机位姿可能存在噪声，从而影响多视角三维重建的性能。
本次导读论文介绍了一种在初始化位姿不精确的情况下进行神经隐式场重建的方法，将相机光线匹配引入到相机位姿和神经场的联合优化。该方法接受一组未校准位姿的图像作为输入来获取一个三维目标对象的表示，并经过训练神经场的优化目标以及对颜色和几何一致性的组合约束来预测特征体中的特征。神经网络主要通过强制两个匹配的关键点之间的两个关键射线的渲染结果之间的颜色一致性来保证匹配射线之间的一致性，同时考虑到由于遮挡或初始化匹配网络使用的不可靠局部图像特征而导致的潜在错误匹配。该方法首先通过特征体沿每条关键射线聚合特征。两条射线之间的可匹配性由射线特征的积分结果的余弦相似度定义，并将这种相似度作为一个权重，以增强或抵消颜色一致性约束，从而使优化模型在射线匹配错误的情况下能够自然地退化为分别处理不相关的射线。在不同数据集、不同位姿噪声水平等条件下进行测试，对比同期其他方法，该方法不仅能够得到更加真实的渲染结果，也能够重建出更加精细的三维模型。
本工作主要贡献如下：
首次将相机射线匹配引入神经隐式场重建中，并针对两条匹配射线同时进行优化；
提出了基于余弦相似性的相机射线一致性约束方法，在利用匹配信息的同时能够应对错误匹配的情况；
巧妙利用了基于邻域点特征增强的相机射线特征增强方法与基于对极几何的相机射线约束来进一步有效约束相机位姿优化。
图1 算法流程图
图3为本文所提出的方法在户外大规模真实场景数据集UrbanScene3D上一个场景的测试结果。由于该方法利用了相机射线之间的匹配关系，能够更好地优化相机位姿与隐式场表达，因此能够得到更加稳定且细节丰富的结果。而其他方法优化得到的位姿误差较大，因此合成的新视角结果缺乏细节，重建结果误差较大。
-- End --
[1] Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng. NeRF: representing scenes as neural radiance fields for view synthesis. Communications of the ACM. 65(1), 99-106, 2021.
[2] Peng Wang, Lingjie Liu, Yuan Liu, Christian Theobalt, Taku Komura, and Wenping Wang. NeuS: learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction. Advances in Neural InfoAÅrmation Processing Systems (NeurIPS). 27171-27183, 2021.
[3] Yiqun Wang, Ivan Skorokhodov, Peter Wonka. PET-NeuS: positional encoding tri-planes for neural surfaces. Conference on Computer Vision and Pattern Recognition (CVPR). 12598-12607, 2023.
[4] Chen-Hsuan Lin, Wei-Chiu Ma, Antonio Torralba, and Simon Lucey. BARF: bundle-adjusting neural radiance fields. International Conference on Computer Vision (ICCV). 5721-5731, 2021.
[5] Yue Chen, Xingyu Chen, Xuan Wang, Qi Zhang, Yu Guo, Ying Shan, and Fei Wang. L2G-NeRF: local-to-global registration for bundle-adjusting neural radiance fields. Conference on Computer Vision and Pattern Recognition (CVPR). 8264-8273, 2023.
[6] Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler, and George Drettakis. 3D gaussian splatting for real-time radiance field rendering. ACM Transactions on Graphics (SIGGRAPH). 42(4), 139:1-139:14, 2023.
