综述推荐 | 大规模三维场景光线追踪渲染方法综述

学术   科技   2024-10-24 17:56   北京  

点击文末 “阅读原文” 下载全文

徐翔, 吴小龙, 陈子凌, 陈然, 徐延宁, 王璐

山东财经大学山东省区块链金融重点实验室
山东大学软件学院

引用本文: 徐翔, 吴小龙, 陈子凌, 陈然, 徐延宁, 王璐. 大规模三维场景光线追踪渲染方法综述[J]. 计算机辅助设计与图形学学报, 2024, 36(8): 1155-1170. DOI: 10.3724/SP.J.1089.2024.2023-00614

Citation: Xu Xiang, Wu Xiaolong, Chen Ziling, Chen Ran, Xu Yanning, Wang Lu. A Survey of Ray Tracing Rendering of Large-Scale Scenes[J]. Journal of Computer-Aided Design & Computer Graphics, 2024, 36(8): 1155-1170. DOI: 10.3724/SP.J.1089.2024.2023-00614


近年来, 随着各种模型数据采集、重建方法的发展以及人们对影像渲染精度和质量需求的增加, 三维场景的规模越来越大, 对传统渲染方法提出了挑战. 针对这些超出单机内存的大规模场景, 需要对场景数据进行高效组织, 并利用多节点分布式内存或内外存调度技术进行渲染. 光栅化和光线追踪方法目前最主流的渲染的方法. 使用光栅化方法渲染大规模场景通常是较容易且高效的. 

光线追踪方法虽然能够提供更具真实感的渲染结果, 但其需要计算光线在场景中的多次弹射, 导致光线可能会访问整个场景的数据, 在大规模场景渲染时引起数据存储和计算任务负载不均衡、数据访问效率低等问题. 因此, 为了提高大规模场景的数据访问和计算效率, 需要在场景数据分解、渲染任务调度等方面充分利用光线追踪中的连贯性, 包括如下方面: (1) 图像连贯性. (2) 光线连贯性. (3) 帧间连贯性. (4) 数据连贯性.

光线追踪和大规模场景渲染都是渲染中的重要研究方向. 本文对目前的大规模三维场景的高逼真光线追踪渲染方法进行综述, 并从多个角度进行了详细的分析, 以启发后续相关研究. 首先对大规模场景渲染理论进行概述; 然后分别对大规模场景中现有的数据组织方法、内外存调度渲染方法和分布式渲染方法进行综述; 最后对大规模三维场景光线追踪方法进行总结, 指出相关研究的发展趋势, 帮助研究人员更好地开展后续研究工作.



大规模场景光线追踪渲染方法概述

场景数据组织和大规模场景光线追踪方法, 是实现大规模场景光线追踪渲染最重要的2个部分, 图1所示为对这些方法的分类.


大规模场景数据组织

场景数据组织是实现大规模场景渲染的重要部分, 对渲染过程中的存储、访存和计算效率具有重要作用. 一方面, 通过对场景数据的压缩存储, 能够大大提高单机渲染的场景规模; 另一方面, 将难以在单机内存进行渲染的场景数据分解为多个部分, 是进行内外存调度和分布式光线追踪的前提条件, 也是影响渲染效率的关键因素.


1.  场景数据压缩方法
压缩光线追踪渲染时存储开销大的数据, 减少内存开销, 是解决场景内存瓶颈的重要方法. 与场景数据分解后再进行内外存调度或分布式光线追踪的方法相比, 场景数据压缩的方法不需要进行数据传输, 因此计算效率更高. 针对场景中不同的数据类型需要使用不同的方法进行压缩, 如表1所示.
2.  场景数据分解
场景数据分解将场景数据划分为多个存储轻量的子场景, 使各个子场景的数据能够放入单机内存中. 光线追踪中, 由于光线多次弹射带来的随机数据访问, 因此在进行数据分解时需要根据光线连贯性制定数据分解策略, 兼顾存储与数据访问效率. 场景数据分解是渲染大规模场景的重要步骤,与渲染时的计算和数据访问效率息息相关. 表2中对比分析了各种场景数据分解方法.

内外存调度光线追踪

内外存数据调度是实现大规模渲染场景的重要方法, 其通过在显存、内存和硬盘之间的数据传输, 满足光线对所有场景数据的访问需求. 最理想的内外存调度情况是各部分场景数据最多只需要从底层的存储空间加载到缓存空间一次, 这个目标对光栅化流程来说通常是易于实现且高效的, 然而, 光线追踪的计算是随机、递归式地访问整个场景资源, 上一次递归计算所需的场景数据和下一次所需的场景数据往往是不连贯的. 因此, 如何利用光线追踪中的连贯性减少数据传输频率, 提高计算效率, 一直以来都是内外存调度光线追踪渲染的关键问题. 

○ 内外存调度策略

内外存调度光线追踪架构, 将场景数据按照网格划分为多个场景块存储在硬盘中. 渲染时, 该方法将所有光线放入光线队列中, 按照光线在场景空间的分布情况及其所需的场景数据进行排序, 优先渲染弹射次数少且所需场景数据已缓存在内存的光线, 提高光线的数据访问连贯性, 减少渲染过程中的数据调度频率.

○ 内外存调度和LOD结合的方法

频繁的数据传输经常会成为大规模场景内外存调度光线追踪的性能瓶颈. LOD(level of detail)方法根据物体与视点间的距离、光照信息的频率等条件, 判断物体能否使用不同层次的简化表示进行计算, 降低加载完整细节数据的开销. 虽然使用LOD会损失一定的渲染精度, 但通常能够大大提高大规模场景的渲染速度.
表3中对现有的内外存调度光线追踪方法进行对比, 各种方法对连贯性的利用情况如表4所示. 可以看出, 许多内外存调度光线方法选择同时从相机发射大量光线, 以利用屏幕空间的连贯性, 提高初级光线求交时的数据访问效率; 随着弹射次数增加光线连贯性会有所下降, 需要在求交前对光线进行排序, 提高光线连贯性.


分布式光线追踪

分布式光线追踪中, 有一类方法采用场景全复制的方式, 在多个节点上都加载完整的场景数据进行渲染, 用于解决复杂场景渲染速度慢的问题. 这类方法仅对渲染任务进行分解, 并交由多个分布式节点并行执行, 大大提高了场景的渲染速度, 但是无法解决场景数据规模的扩展性瓶颈. 而在使用分布式的方式渲染大规模场景时, 需要同时对渲染任务和场景数据进行划分, 并通过设计合理的分布式并行渲染方法, 利用光线追踪的连贯性提高并行效率. 常用的分布式光线追踪并行方法可以按照节点间并行的对象和传输数据分为屏幕空间并行方法、场景空间的并行方法以及混合并行方法. 

○ 屏幕空间并行

屏幕空间并行方法将光线计算任务按照屏幕划分为多个部分, 交由各个分布式节点分别进行渲染, 各节点根据计算需求, 从硬盘或多节点的分布式共享内存中获取所需的场景数据. 因此, 该方法也被称为数据转移方法.

○ 数据并行

数据并行方法将场景数据划分为多个部分, 分布式存储在各分布式节点中, 并在渲染时将光线信息传输到包含光线所需场景数据的节点. 因此, 该方法也被称为光线转移方法.

○ 混合并行

混合并行方法将屏幕空间并行方法与场景空间并行方法相结合, 根据光线任务数量、场景数据规模以及各分布式节点的实时状态等信息, 选择传输光线或场景数据, 在均衡各节点负载的同时减少通信开销.

表5中对现有的分布式光线追踪方法进行对比, 各种方法对连贯性的利用情况如表6所示.


对比3种分布式并行方法可以看出, 当光线通信开销超过数据加载开销或大部分场景能够缓存在本地内存时, 屏幕空间并行方法的数据传输开销大大减少, 其性能会优于另外2种方法; 数据并行方法虽然会使各节点的负载不均衡, 但是各节点计算效率高, 特别是当场景恰好能够被分布式存储在各节点内存, 不需要在渲染时重新加载新场景数据时, 该方法的性能往往更好; 对于节点内存资源受限, 需要在渲染时进行节点内部的数据调度时, 采用混合并行策略能够尽量避免场景数据的重新加载, 且节点负载均衡, 渲染效率更高.


结    语

大规模场景光线追踪能够提供具有高逼真细节的渲染结果, 是真实感渲染中的重要研究方向. 本文对大规模场景光线追踪的主要方法进行综述, 着重介绍了场景数据组织、内外存调度光线追踪和分布式光线追踪方法的相关研究.

在进行场景数据组织时, 场景数据的压缩虽然会带来一定速度或质量损失, 但相比于内外存调度或分布式光线追踪昂贵的数据传输开销, 依然是大规模场景渲染时优先选择的方法. 如何进一步提高数据压缩效率, 并兼顾渲染速度和质量是场景数据压缩方法的重点问题; 对于压缩后仍无法在单机内存渲染的场景, 需要将其进行分解, 以支持内外存调度或分布式光线追踪方法. 在数据分解时实现存储均衡、最小化重复存储以及连贯的数据访问是数据分解时的主要目标, 但目前针对不同场景, 依然需要一定先验知识提高场景数据分解效率. 

内外存调度光线追踪是许多产品级离线渲染器使用的大规模场景渲染方法, 能够通过对光线的排序提高场景数据访问效率, 但需要同时追踪大量光线, 难以实现实时或可交互渲染; 并且, 大量的光线数据也会增加内存开销. 与LOD策略相结合的内外存调度光线追踪方法, 通常需要对几何、光照等信息进行简化, 带来质量损失. 为了充分利用CPU和GPU的资源, 一些方法将计算频繁且数据量小的LOD数据交由GPU处理, 而将数据量大的原始数据交由CPU处理, 实现了实时或可交互的渲染; 然而, 随着硬件的发展, GPU和CPU之间计算性能的差异越来越大, 它们之间的计算和存储负载越来越难以均衡. 

分布式光线追踪能够利用多节点的计算能力扩展场景渲染规模, 提高渲染速度. 其中, 如何充分利用连贯性以及分布式节点的硬件资源, 减少渲染过程中的数据传输开销并提高渲染效率, 是大规模场景渲染的核心问题. 同时, 由于分布式光线追踪方法需要结合其使用的硬件环境进行设计, 因此在不同类型的场景以及不同的节点资源配置下, 各类分布式光线追踪方法的性能会表现出较大差异.

未来, 期望通过方法的创新实现大规模场景的实时渲染, 并在各类渲染应用中扮演更重要的角色. 本文认为, 未来在大规模场景光线追踪渲染中的研究方向如下:

(1) 借助神经网络对各类场景信息进行压缩, 在保证渲染质量的同时提高场景数据压缩效率, 是目前的重要研究方向. 如何将这些方法与光线追踪流程结合并兼容传统场景数据表示方法, 是进一步扩展应用的关键.

(2) 更高效的数据分解策略. 在大规模实例化场景分解过程时, 实现存储均衡、最小化重复存储以及连贯的数据访问等目标的同时, 实现各部分数据的计算负载均衡, 并能够针对不同场景自适应调整数据分解策略, 提高其存储和渲染效率.

(3) 利用帧间连贯性提高内外存调度光线追踪的渲染效率, 避免需要单帧发射大量光线, 并设计更加准确且轻量化的LOD方法, 实现实时内外存调度光线追踪方法.

(4) 场景连续帧渲染时的计算热点预测方法. 在每帧渲染时预先加载后续帧的访问热点数据, 提高内外存和分布式光线追踪渲染时的数据访问效率.

(5) 根据硬件架构及场景信息, 自适应地进行场景数据和任务分解, 以及分布式并行策略的选择, 能够大大提高计算资源的利用率.

(6) 与多片元绘制等光栅化方法相结合的大规模场景混合渲染管线. 在允许少量质量损失的前提下, 提高大规模场景的数据访问效率, 减少内外存调度和分布式渲染时的数据传输开销.





徐   翔: 博士, 讲师, 主要研究方向为计算机图形学. 

吴小龙: 硕士研究生, 主要研究方向为计算机图形学.

陈子凌: 硕士研究生, 主要研究方向为计算机图形学.

陈   然: 硕士研究生, 主要研究方向为计算机图形学、虚拟现实.

徐延宁博士, 副教授, 硕士生导师, CCF会员, 主要研究方向为计算机图形学、虚拟现实.

王   璐: 博士, 教授, 博士生导师, CCF会员, 主要研究方向为计算机图形学、人机交互、虚拟现实.



编辑:李姝昊
审核:赵敏


— END —

还没关注?点击下方“卡片”关注,获取第一时间资讯

综述推荐      


综述推荐 | 神经辐射场的研究现状与展望

综述推荐 | 数据新闻可视化研究: 理论与实践

综述推荐 | 水下图像增强与复原技术进展与展望

综述推荐 | 开放环境下的跨域物体检测综述

综述推荐 | 基于叙事结构抽象的可视分析方法综述

综述推荐 | 监控场景下基于单帧与视频数据的行人属性识别方法综述及展望

综述推荐 | 面向超级计算机系统的可视化综述

综述推荐 | 数字图像多功能水印综述

综述推荐 | 基于RGB图像的三维人手姿态估计技术综述

综述推荐 | 数字图像多功能水印综述

综述推荐 | 基于条件生成对抗网络的图像翻译综述

综述推荐 | 基于单目RGB数据的三维模板物体跟踪算法综述

综述推荐 | 基于可视分析的训练数据质量提升综述

综述推荐|数字说话人视频生成综述

综述推荐 | 基于骨架的人体动作识别技术研究进展

综述推荐 | 面向计算机程序的可视化综述


合辑荐读      


合辑荐读 | 计算机技术与传统文化论文合辑

合辑荐读 | 几何建模与优化最新论文合辑

合辑荐读 | 目标检测、目标跟踪与重识别最新论文合辑

合辑荐读 | 医学图像处理最新论文合辑

合辑荐读 | 感知与交互最新论文合辑

合辑荐读 | VR/AR/MR最新论文合辑

合辑荐读 | 三维图形计算最新论文合辑

合辑荐读 | 可视化与可视分析最新论文合辑

合辑荐读 | 《计算机辅助设计与图形学学报》最新综述论文


整期论文速览


2024年第7期论文速览

2024年第6期论文速览

2024年第5期论文速览

2024年第4期论文速览

2024年第3期论文速览

2024年第2期论文速览

2024年第1期论文速览

2023年第12期-CAD几何引擎架构及算法专刊论文速览

2023年第11期论文速览

2023年第10期论文速览

2023年第9期论文速览

2023年第8期论文速览

2023年第7期论文速览

2023年第6期论文速览



声明

本公众号发布的所有原创文章欢迎转发和转载,但必须注明作者和文章出处为《计算机辅助设计与图形学学报》公众号;任何媒体、网站或个人不得对本公众号原创图文进行内容修改或摘编。除本公众号原创的图文之外,本公众号发布的图文旨在学术交流,版权归原作者所有,本公众号将不承担任何法律责任;非原创内容均已对来源作出标注,如有侵权,请留言与本公众号联系,我们将及时处理。《计算机辅助设计与图形学学报》拥有最终解释权。




计算机辅助设计与图形学学报
《计算机辅助设计与图形学学报》官方平台。本刊创刊于1989年,EI、Scopus、北大核心、CSCD、CSTPCD、CNKI等国内外数据库收录,CCF推荐中文科技期刊A类、计算领域高质量科技期刊T1类。期刊官网:www.jcad.cn。
 最新文章