李吉洋, 程乐超, 何靖璇, 王章野
引用本文: 李吉洋, 程乐超, 何靖璇, 王章野. 神经辐射场的研究现状与展望[J]. 计算机辅助设计与图形学学报, 2024, 36(7): 995-1013. DOI: 10.3724/SP.J.1089.2024.2023-00376
Citation: Li Jiyang, Cheng Lechao, He Jingxuan, Wang Zhangye. Current Status and Prospects of Research on Neural Radiance Fields[J]. Journal of Computer-Aided Design & Computer Graphics, 2024, 36(7): 995-1013. DOI: 10.3724/SP.J.1089.2024.2023-00376
随着元宇宙、数字孪生以及虚拟现实等概念逐渐成熟, 人们对这些领域的关注也越来越高. 尽管现有的计算机图形学技术已经拥有了一套完善的管线, 可以对复杂场景进行基于物理的渲染, 得到高质量且真实感强的画面, 但这需要对场景及物体进行几何建模、纹理设计、材质定义和光照设置等高精度的工作. 这些工作往往依赖专业的美术人员进行繁重的人工操作, 需要耗费大量的时间成本和金钱成本. 因此, 基于2D图片的3D场景重建以及渲染作为解决这一问题的关键技术, 成为了重要的研究方向.
神经辐射场(neural radiance field, NeRF)与传统的网格、体素、点云等离散显式表示方式不同, 它是一种对3D场景的连续隐式表示, 与离散显式表示相比, 其表达能力有大幅提升, 达到了当前最先进的视觉效果. 此外, NeRF作为一种全新的视点合成和3D场景重建方法, 在机器人和自动驾驶等多学科交叉领域也引起了广泛关注. 因此, 及时对现有工作进行总结具有很大意义. 本文梳理了NeRF的发展过程中有代表性的已发表论文以及所涉及的研究方向. 从NeRF的基础、优化与扩展、应用3个方面对相关工作进行了分析总结, 并讨论了其未来可能的发展趋势.
NeRF的基础
本节主要围绕NeRF的基础知识展开, 同时介绍了NeRF相关工作中常见的数据集和评价指标.
○ NeRF理论
原始NeRF使用了体渲染中常用的吸收和发射模型, 即场景中的每个点都设定为一个光源, 不但可以吸收光线, 本身也可以发射光线, 将场景的几何、材质和照明等信息全部包含在内. 整个神经辐射场的工作管线图1所示.
NeRF系列工作主要使用合成数据集和真实场景数据集. 原始NeRF以及后续扩展工作大多基于2D图片数据集, 而一些生成式模型则需要3D模型的数据集作为支撑, 相关数据集的关键信息如表1所示.
表1 常用数据集
本节介绍NeRF相关工作中常用的评价指标，包括峰值信噪比(PSNR)、结构相似度(SSIM)、学习感知图片块相似度(LPIPS)、Fréchet距离(FID), 各指标关键信息如表2所示.
表2 常用评价指标
NeRF的优化与扩展
图2 NeRF工作分类导图
NeRF的应用
在人体建模应用中，一些人体重建方法的信息对比如表3所示.
表3 人体重建方法对比
结 语
○ 国内工业界发展现状
NeRF最初是在学术界提出的, 在工业界同样有着广阔的前景. 然而, 要推动科研成果的实际应用需要学术界和工业界的紧密合作. 除了在算法方面持续努力外, 还需要在硬件方面建立自身的核心优势, 如扫描设备和计算芯片等. 只有实现软硬一体的发展, 并建立自己的生态圈, 国内科技公司才能走得更远
○ 未来工作展望
随着人工智能生成内容(AIGC)的爆火, 人们对3D内容生成的需求也越来越多, 而NeRF作为目前表现最好也是最热门的隐式场景表示, 在3D内容生成上已经表现出了巨大的潜力. 但目前仍存在着大型3D数据集缺乏、3D模型文件过大难以训练等问题, 如何对NeRF以及生成模型进行进一步的优化与组合将是未来一个非常热门的研究方向. 此外, 如何生成风格化的人物形象也是一个有趣的问题.
与传统的成熟的显式表示相比, NeRF目前还存在的一些问题, 虽然NeRF的渲染效果虽然已经有了很大的提升, 但其质量与传统的基于物理的渲染等方法相比还有不小差距. 如何进一步对NeRF的训练速度、渲染速度以及渲染效果进行优化, 仍然是一个重要的研究方向. 将NeRF在更多的领域进行更深入应用, 如自动驾驶、机器人、城市测绘以及数字人等, 也仍然需要研究人员进一步深入探索. 此外, NeRF虽然已经经过了3年的发展, 但目前还没有形成一套成熟的通用的工作流程, 因此其目前还难以真正大规模应用到具体商业场景中.
未来可以针对NeRF设计专门的硬件加速, 如上海科技大学的芯片设计团队提出了最新的ICARUS芯片定制架构. 鉴于NeRF巨大的运算量, 想进一步扩大应用范围甚至实现在移动端完成计算, 一款专用的支持NeRF算法的处理器芯片将起到非常关键的作用.
本文针对现有工作进行了梳理, 希望可以让更多的研究者了解这一领域, 并为后续工作提供有价值的参考, 也希望未来能有更多基于NeRF的创新与应用.
李吉洋: 硕士研究生, 主要研究方向为计算机图形学.
程乐超: 博士, 副教授, 主要研究方向为视觉知识迁移.
何靖璇: 硕士, 主要研究方向为计算机视觉.
王章野: 博士, 副教授, 主要研究方向为计算机图形学、虚拟现实、机器学习.
— END —
还没关注？点击下方“卡片”关注，获取第一时间资讯
综述推荐 | 监控场景下基于单帧与视频数据的行人属性识别方法综述及展望
本公众号发布的所有原创文章欢迎转发和转载，但必须注明作者和文章出处为《计算机辅助设计与图形学学报》公众号；任何媒体、网站或个人不得对本公众号原创图文进行内容修改或摘编。除本公众号原创的图文之外，本公众号发布的图文旨在学术交流，版权归原作者所有，本公众号将不承担任何法律责任；非原创内容均已对来源作出标注，如有侵权，请留言与本公众号联系，我们将及时处理。《计算机辅助设计与图形学学报》拥有最终解释权。
