港大ArcLab重磅开源LVI-GS：3DGS紧耦合LiDAR-视觉-惯性SLAM！实时照片级建图！

0. 论文信息

标题：LVI-GS: Tightly-coupled LiDAR-Visual-Inertial SLAM using 3D Gaussian Splatting

作者：Huibin Zhao, Weipeng Guan, Peng Lu

机构：The University of Hong Kong

原文链接：https://arxiv.org/abs/2411.02703

1. 导读

3D Gaussian Splatting (3DGS)在快速渲染和高保真映射方面显示了它的能力。在本文中，我们介绍了LVI-GS，这是一个与3DGS紧密耦合的激光雷达-视觉-惯性测绘框架，它利用激光雷达和图像传感器的互补特性来捕捉3D场景的几何结构和视觉细节。为此，从彩色激光雷达点初始化3D高斯，并使用可区分渲染进行优化。为了实现高保真绘图，我们引入了一种基于金字塔的训练方法来有效地学习多级特征，并结合从激光雷达测量中获得的深度损失来改善几何特征感知。通过为高斯图扩展、关键帧选择、线程管理和自定义CUDA加速精心设计的策略，我们的框架实现了实时照片级真实感映射。数值实验被用来评估我们的方法相对于最先进的3D重建系统的优越性能。

2. 引言

同时定位与地图构建（SLAM）系统在机器人技术、增强现实和自主导航等多个领域均不可或缺。这些系统通过构建地图并在构建过程中实时估算自身在这些空间中的位置，使设备能够理解和导航复杂环境。要实现有效的SLAM，精确的定位和全面的场景重建都至关重要。

传统的SLAM系统使用环境地标、点云、占用网格、有符号距离函数（SDF）体素网格或网格来表示环境。其中，点云是一种直观的场景表示方式，可以轻易地从摄像头和激光雷达（LiDAR）等传感器中获得。基于点云的SLAM系统能够实现精确的定位，并构建稀疏或稠密的地图，但这些地图往往缺乏丰富的视觉细节。

神经辐射场（NeRF）的出现为高保真场景重建引入了一种新方法。NeRF通过优化连续的体场景函数，在辐射场中隐式表示场景，从而实现了最小的内存占用。一些基于NeRF的SLAM方法利用该框架的新颖视图合成和高保真重建能力来建模场景。例如，iMAP构建了可用于跟踪的隐式三维占用和颜色模型，而NICE-SLAM则通过粗细结合的方法来表示更大的场景。Vox-Fusion、CoSLAM和ESSLAM等增强方法在不同程度上提升了SLAM系统的性能。然而，由于涉及的优化过程广泛，这些系统难以实现实时性能。此外，在多层感知器中存储地图还存在灾难性遗忘和边界有限等挑战，这会阻碍场景重建。

三维高斯泼溅（3DGS）提供了一种令人兴奋的替代方案，它通过可微分的三维高斯形状基元，为三维场景的建模提供了一种连续且可适应的表示。作为一种半隐式映射方法，它在显著加快优化和渲染速度的同时，牺牲了一些新颖视图合成能力。尽管基于优化，3DGS与点和面元云相似，因此继承了它们的效率、局部性和适应性——这些属性对SLAM映射非常有益。3DGS能够以每秒200帧的速度在1080p分辨率下进行渲染，并且使用点云进行初始化，使其能够利用传统SLAM系统生成的稀疏或稠密点云来生成高保真图像。推荐课程：彻底搞懂视觉-惯性SLAM：基于VINS-Fusion。

最近，一些集成三维高斯分布的SLAM方法已显示出令人鼓舞的结果。例如，SplaTAM、MonoGS、GS-SLAM和Photo-SLAM等方法采用顺序RGB-D或RGB数据来建立完整的SLAM系统。然而，这些技术在具有复杂光照、复杂背景和快速运动等挑战的大规模、不受控的室外环境中遇到了困难。虽然激光雷达为三维高斯分布提供了高质量的几何初始化，并且在室外环境中通常比摄像头更稳健，但将其集成到SLAM系统中也带来了独特的挑战。LIVGaussianmap和LetsGo利用激光雷达来初始化三维高斯分布，而Gaussian-LIC则结合了激光雷达-惯性-摄像头设置来进行全面的三维高斯构建。然而，像LIV-Gaussianmap和LetsGo这样的系统仅限于离线处理，而Gaussian-LIC则需要复杂的前端里程计，并需要维护大量的关键帧。

3. 效果展示

我们比较了MonoGS、Photo-SLAM、我们提出的方法以及真实场景（如图2所示）。我们的观察结果表明，MonoGS在室内环境中表现良好，但在室外场景中会出现明显的模糊。相比之下，我们的方法在恢复地板和墙壁等表面的纹理细节方面明显优于Photo-SLAM。通过利用激光雷达在纹理丰富区域生成的更密集的空间点云，我们的方法在同样数量的训练迭代中实现了更优的细节恢复。

图3提供了来自hkust campus 00(m2)序列的四帧中的渲染细节示例。即使在包含密集纹理、玻璃表面、树枝和台阶等具有挑战性的场景中，我们的方法也始终保持高渲染质量。

4. 主要贡献

本研究的主要贡献可以概括如下：

1）我们开发并实现了一个先进的实时LVI-GS系统，该系统能够维护一个动态超基元模块。该系统利用三维高斯泼溅（3DGS）在三维空间中实现高质量、实时的渲染，从而确保对复杂环境的有效且准确表示。

2）为了进一步提升系统的性能和可扩展性，我们采用了粗细结合的地图构建方法。该方法利用RGB图像金字塔和深度图像金字塔来逐步细化不同细节级别的地图。此外，我们还实现了一种先进的线程管理技术来优化计算效率，确保即使处理大型数据集也能实现流畅的实时操作。

3）为了改善地图表示和渲染质量，我们设计了一种稳健的关键帧管理策略，以实现关键帧的有效选择和处理。此外，通过将深度损失纳入系统，我们提高了三维高斯地图的准确性，从而实现更精确的重建和视觉上更优越的渲染结果。

5. 方法

我们的框架通过两个并行线程实现系统的完整功能。一个线程处理里程计，另一个线程对三维高斯进行实时优化。两个线程共同维护一个共享的超基元模块。在这两个线程之间，会交换诸如三维点云、相机姿态、相机图像和深度信息等数据。

6. 实验结果

为了评估映射性能，我们基于从构建的地图中生成的渲染RGB图像进行评估。表I总结了测试方法的定量性能。从这些结果中可以看出，尽管NeRF-SLAM通过结合DroidSLAM提供的额外深度信息实现了可接受的性能，但它仍然侧重于使用神经隐式表示生成全分辨率图像。相比之下，SplaTAM通过使用各向同性三维高斯分布来建模场景，从而实现了更快的执行速度，但故意忽略了与视图相关的影响。虽然这种优化显著提高了处理速度，但牺牲了视觉质量，并在复杂、无界的环境中导致性能下降。

表II比较了不同数据集上几种基于开源RGB和RGBD的方法。我们的实验证实了类似的趋势：对于RGB-D方法（如SplaTAM和Gaussian-SLAM），三维高斯的初始化在很大程度上依赖于深度图。激光雷达点云生成的伪深度图固有的稀疏性导致高斯初始化不准确，进而导致次优的映射性能。MonoGS在室内移动较慢的场景中表现有效，但随着场景尺寸的增加或运动速度的加快，其映射质量会降低。Photo-SLAM利用ORB-SLAM3进行连续特征点初始化，与其他基于RGB或RGB-D的3DGS SLAM方法相比，其指标相对更好。与上述方法相比，我们的算法实现了最佳的渲染结果。

在运行时分析中，我们跟踪了每次迭代中特定关键帧的峰值信噪比（PSNR）和结构相似性（SSIM），如图4所示。如图5所示，经过大约105次迭代后，实现了逼真的渲染质量，总运行时间约为3秒。

7. 总结 & 未来工作

在本文中，我们提出了LVI-GS，这是一个紧耦合的激光雷达-视觉-惯性SLAM系统，它利用三维高斯泼溅（3DGS）进行实时、高保真的场景重建和渲染。我们的方法结合了激光雷达和图像数据，即使在具有挑战性的室外环境中，也能捕获精确的几何结构和详细的视觉信息。通过有效整合高斯地图扩展、关键帧管理、线程管理和基于CUDA的加速，我们的系统实现了逼真的映射质量，并具有显著的计算效率。大量实验表明，LVI-GS在保持渲染质量和效率方面优于现有的基于RGB或RGB-D的3DGS SLAM系统，尤其是在各种复杂场景中。我们的消融研究进一步验证了基于金字塔的训练和深度损失对于提高地图表示准确性的益处。未来的工作将探索整合额外的传感器模态，并进一步优化框架，以在实时机器人应用和AR/VR环境中实现更广泛的应用。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉、最前沿、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向，细分群包括：

工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机：四旋翼建模、无人机飞控等

2D计算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿：具身智能、大模型、Mamba、扩散模型等

除了这些，还有求职、硬件选型、视觉产品落地、产品、行业新闻等交流群

添加小助理: cv3d001，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。

3D视觉工坊知识星球

「3D视觉从入门到精通」知识星球，已沉淀6年，星球内资料包括：秘制视频课程近20门（包括结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云等）、项目对接、3D视觉学习路线总结、最新顶会论文&代码、3D视觉行业最新模组、3D视觉优质源码汇总、书籍推荐、编程基础&学习工具、实战项目&作业、求职招聘&面经&面试题等等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步。

具身智能、3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪等。

点这里👇关注我，记得标星哦～