计算专题 | 基于局部高斯体密度混合表达的非结构化光场渲染（ACM SIGGRAPH Asia）
文摘
科技
2024-12-26 15:46
中国香港
基于局部高斯体密度混合表达的
非结构化光场渲染
Local Gaussian Density Mixtures for Unstructured Lumigraph Rendering
反射、折射等视角相关效果是场景重建中的一大挑战。这些高质量的视觉效果不仅能带来强烈的视觉冲击，还显著提升了用户的沉浸感和体验感。然而，目前一些针对反射建模的方法在处理折射物体时效果不佳，难以实现高质量的重建，同时也缺乏通用性。因此，如何在统一的表达框架下对反射、折射等视角相关现象进行精确重建，仍然是一个具有挑战性的问题。鉴于此，来自浙江大学、杭州电子科技大学、香港大学、得州奥斯汀大学以及布朗大学的研究人员提出一种基于局部高斯体密度混合 (Local Gaussian Density Mixture，LGDM) 的几何表达，结合基于图像渲染的方法，可用于重建高频曲面反射及透明物体折射等复杂视觉效果。该方法使用图像颜色损失和一致性损失，配合邻近视图的神经混合策略，可建模每个视图局部几何之间的联系，实现基于该表达的端到端优化。该研究工作发表于图形学顶级会议ACM SIGGRAPH Asia 2024。
该研究提出了一种基于局部高斯体密度混合(Local Gaussian Density Mixture，LGDM)的场景表达，可端到端重建高真实感的视角相关效果。具体而言，该表达在输入图像的每条光线上，通过高斯混合模型对体密度分布进行建模，从而实现一种局部几何表达。为绘制目标视角图像，该方法利用邻近视图的局部几何信息进行扭曲投影和融合，并通过浅层多层感知机（MLP）计算神经混合权重以完成融合（图1）。局部高斯体密度混合表达通过重建损失和提出的一致性损失进行优化，可实现高质量场景重建。
![]()
图1. 技术路线整体框架。
多视图融合：利用高斯混合模型积分具有解析解的特性，直接计算每个采样点在不同邻近视图下的可见性，有效辅助多视图的颜色和体密度融合。此外，使用神经混合权重帮助实现多视图颜色融合。与传统固定计算方式的混合权重相比，神经混合权重通过端到端优化，能够更准确地建模每个点的高频反射变化，显著提升了模型对复杂视角相关效果的表现力（图2）。
![]()
图2. 神经混合权重助力复杂视角模型重建质量。
一致性损失：为帮助局部几何表达建立全局一致性，该研究提出了一种一致性损失。借助KL散度使每条光线上的局部体密度分布与融合体密度分布接近。一致性损失作为优化过程中的软约束，对渲染结果的视图一致性起到了重要作用。正如图3中所示，引入一致性损失能够带来几何重建的质量提升，在两个方面起了作用：1)一些依赖体密度对齐的场景区域，如深度边界，被约束需要相似; 2)可以用不同几何形态表示的场景区域，即纹理较少的区域，被约束需要相似。
![]()
实验结果：该研究在公开数据（图4/5）以及自拍数据（图6）上进行测试，均可获得比其他方法更加具有细节的重建效果，尤其是反射、高光等复杂视觉效果。
![]()
![]()
图5. LGDM数据集上的结果。
图6. 实拍数据实验结果对比（视频可点击）。
该研究的主要技术贡献包括：1.提出局部高斯体密度混合表达：引入基于局部高斯体密度混合的几何表达，结合基于图像的渲染技术，可用于重建高频视角相关效果，如曲面反射和透明物体折射等。2.提出神经混合权重与一致性优化：通过神经混合权重融合邻近视图，提升重建质量；并提出一致性损失与图像颜色损失，实现基于该几何表达的端到端优化过程。3.提升渲染质量：与当前的场景重建方法相比，在渲染质量上取得了显著提升，尤其是在复杂效果的细节表现方面。技术展望：由于真实场景的复杂性、多样性，及优化存在的多义性，仍有诸多问题有待进一步探究。首先，空间换取时间的加速策略存储消耗大，难以应用到城市级别场景；其次，稀疏视点拍摄下的高精度场景重建存在困难，拍摄图像数量不足易造成局部区域绘制的模糊；最后，当前方法无法直接进行无初始化相机位姿的重建，算法流程仍较为繁琐。
1. 减少大规模场景渲染所需存储：离散化的光场或高斯点云等显式表达渲染速度较快，但在大规模场景下的存储消耗较高，这限制了方法扩展到更大规模的场景。可使用细节层次（Level Of Detail，LOD）节省存储。即在当前视点的附近使用原始具有细节的光场表达，随着距离的增大，逐渐使用更加粗糙但存储消耗较低的表达。此外，还可对已经训练完成的哈希网格或高斯点云进行去冗余以节省存储。
2. 结合扩散模型帮助稀疏重建：为减少大规模场景的拍摄工作负担，可借助扩散模型帮助稀疏拍摄下的场景重建。例如，根据已知的拍摄图像，使用扩散模型生成新视点图像，并将该生成的图像用于约束场景的重建。
3. 无初始化相机位姿的场景重建：当前方法均需使用运动恢复结构算法获取相机位姿进 行场景重建，为简化算法流程，实现无初始化相机位姿的场景重建更具实际应用价值。可研究如何将运动恢复结构算法与光场重建算法融合，从而实现端到端的优化，例如，将特征点匹配的信息用于光场与相机位姿的联合优化等。Xiuchao Wu, Jiamin Xu, Chi Wang, Yifan Peng, Qixing Huang, James Tompkin, and Weiwei Xu. Local Gaussian Density Mixtures for Unstructured Lumigraph Rendering. In SIGGRAPH Asia 2024. ACM, New York, NY, USA, Article 16, 1–11.
https://xchaowu.github.io/papers/lgdm/index.html*该技术分享所涉及文字及图片源于发表论文和网络公开素材,不做任何商业用途。
INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台。如果喜欢，请点击“在看”和“点赞”，将有助于微信公众号平台对信息的定向统计和及时推送，小编团队在此不胜感激，谢谢！！
