3DGS流程
3DGS会将输入点云初始化为“高斯点”,高斯点包含更多的属性(位置、旋转、尺寸、不透明度、颜色);
之后3DGS将高斯点投影到拍摄图像上,尽力去拟合优化至与拍摄图像一致的状态,所以理论上来说拍摄角度越丰富,最终建模结果的可视角度越多;
3DGS限制
该优缺点主要是相较于其他基于神经网络的重建技术而言的,如神经辐射场(NeRF-neural radiance field)。
优点:
高品质、逼真的场景
快速、实时的渲染
更快的训练速度
动态场景重建
缺点:
防止模型优化中的“破碎”的高斯:点太大、太长、冗余等
更高的显存使用率 (4GB 用于显示,12GB 用于训练)
更大的磁盘占用 (每场景 1GB+)
与现有渲染管线不兼容
应用领域
#同步定位与建图(SLAM)
SLAM现在广泛应用于机器人(扫地机器人、无人机等)等领域,这需要让设备实时理解自身位置并同时为环境建图,因此计算量大的表达技术难以应用。
传统SLAM使用点/surfel云或体素网格表达环境。3DGS的优势在于高效性(自适应控制高斯密度)、精确性(各向异性高斯能建模环境细节)、适应性(能用于各种尺度和复杂度的环境)。
扫地机器人构建2D地图
#动态场景模拟
动态人物重建
#AI内容生成(AIGC)
AIGC是人工智能自动创建或极大修改的数字内容,可以模仿、扩展或增强人类生成的内容。
3DGS的显式特性、实时渲染能力和可编辑水平使其与AIGC高度相关。例如,有方法使用3DGS与生成模型、化身或场景编辑结合,如3DGS-Avatar。
动态头像生成
#自动驾驶
自动驾驶场景重建
结合大模型通用知识及在交通、社会治理、安全生产、自然资源等行业领域的知识,深入业务场景,精确捕获用户意图,为用户提供智能问答、数据分析、报表生成、工作任务理解与执行等一系列服务
📞若您有相关需求,欢迎点击下方链接与我们沟通洽谈
🗨️也可以在公众号后台给我们留言
参考链接
https://www.zhihu.com/question/626506306/answer/3375816824
https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/3d_gaussian_splatting_high.pdf
https://nowheretrix.github.io/DualGS/
https://github.com/ziyc/drivestudio