聊聊3DGS,各应用方向的最新进展是?

文摘   2024-09-25 17:13   江苏  
相较于火热的大模型等AI相关内容,Gaussian Splatting根本不涉及任何神经网络,建模的本质还是空间中的点及一些附加的属性。在AI方法愈发火热的潮流下,这种方法令人耳目一新,当然他的高效建模实时高帧率查看的能力才是其爆火的基础。



3DGS流程


3DGS在前期数据准备阶段与倾斜摄影流程类似,需要进行照片拍摄、空三解算步骤。在3DGS中这被称为SfM(Structure from Motion),实质是从一组图像中得到空间中的三维点云。
之后进行的步骤便是3DGS算法的训练流程,这是与其余算法不同的地方。

3DGS会将输入点云初始化为“高斯点”,高斯点包含更多的属性(位置、旋转、尺寸、不透明度、颜色);

之后3DGS将高斯点投影到拍摄图像上,尽力去拟合优化至与拍摄图像一致的状态,所以理论上来说拍摄角度越丰富,最终建模结果的可视角度越多;

优化完成后将生成通用PLY格式点云文件,相较于传统点云文件其中存储了更多的高斯点的特有属性。使用点云可视化软件仅能看到高斯点分布,需要特定渲染软件才能看到建模结果。



3DGS限制


该优缺点主要是相较于其他基于神经网络的重建技术而言的,如神经辐射场(NeRF-neural radiance field)。

优点:

  • 高品质、逼真的场景

  • 快速、实时的渲染

  • 更快的训练速度

  • 动态场景重建

缺点:

  • 防止模型优化中的“破碎”的高斯:点太大、太长、冗余等

  • 更高的显存使用率 (4GB 用于显示,12GB 用于训练)

  • 更大的磁盘占用 (每场景 1GB+)

  • 与现有渲染管线不兼容



应用领域


#同步定位与建图(SLAM)

SLAM现在广泛应用于机器人(扫地机器人、无人机等)等领域,这需要让设备实时理解自身位置并同时为环境建图,因此计算量大的表达技术难以应用。

传统SLAM使用点/surfel云或体素网格表达环境。3DGS的优势在于高效性(自适应控制高斯密度)、精确性(各向异性高斯能建模环境细节)、适应性(能用于各种尺度和复杂度的环境)。

扫地机器人构建2D地图


#动态场景模拟

动态场景建模需要捕捉和表达场景随时间变化的的3D结构和外观。需要建立能精确反映场景中物体几何、运动和视觉方面的数字模型。
4DGS通过扩展3DGS的概念,引入时间维度,使得可以表达和渲染动态场景。现在也有一些方法在研究在动态场景中的一些编辑的功能,与3DGS进行交互。

动态人物重建


#AI内容生成(AIGC)

AIGC是人工智能自动创建或极大修改的数字内容,可以模仿、扩展或增强人类生成的内容。

3DGS的显式特性、实时渲染能力可编辑水平使其与AIGC高度相关。例如,有方法使用3DGS与生成模型、化身或场景编辑结合,如3DGS-Avatar。

动态头像生成

#自动驾驶

自动驾驶的目标是在无人干涉的情况下导航并操作车辆,其主要目标是安全而高效地感知环境、做出决策和操作执行器。
其中,感知和理解环境需要实时重建驾驶场景,精确识别静态和动态物体,并理解其相互关系和运动。动态驾驶场景中,场景还会随时间连续变化。3DGS可以通过混合数据点(如激光雷达点)将场景重建为连贯表达,有利于处理数据点变化的密度,以及静态背景和动态物体的精确重建,如Street Gaussian。

自动驾驶场景重建


槿墨AI
产品服务

结合大模型通用知识及在交通、社会治理、安全生产、自然资源等行业领域的知识,深入业务场景,精确捕获用户意图,为用户提供智能问答、数据分析、报表生成、工作任务理解与执行等一系列服务

📞若您有相关需求,欢迎点击下方链接与我们沟通洽谈

🗨️也可以在公众号后台给我们留言


参考链接

https://www.zhihu.com/question/626506306/answer/3375816824

https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/3d_gaussian_splatting_high.pdf

https://nowheretrix.github.io/DualGS/

https://github.com/ziyc/drivestudio


槿墨AI
开启探索人类未来命运的旅程,拥抱如槿似墨的无限可能。
 最新文章