点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
AI/CV重磅干货，第一时间送达
添加微信号：CVer2233，小助手会拉你进群！
扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！
添加微信号：CVer2233，小助手会拉你进群！
扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！
1. Demo展示
2. 概览
GitHub Repository:
3. 研究背景与亮点
3D大规模场景重建作为AR/VR、空中救援、智慧城市和自动驾驶的关键技术，在近几十年间已经得到了学术界和工业界的广泛关注。然而传统的基于神经辐射场（NeRF）的隐式表征算法在大规模场景下细节还原度较低，训练以及渲染速度慢，严重影响了重建场景中的游览体验。而新近提出的显式表征算法3D Gaussian Splatting（3DGS）以其可编辑性以及高效渲染为场景重建带来了新的可能。然而，以显式的3DGS表征大规模场景往往意味着产生数以百万计的高斯点，这不仅导致训练时的显存溢出，也大大拖慢了渲染速度，特别是在希望以大的视野范围俯瞰城市的情况下。
为了解决上述问题，中科院自动化所张兆翔团队提出了一种全新的大规模3D场景重建算法CityGaussian。它一方面提出了一种高效的模型与数据划分方案，并基于分治策略进行模型的并行训练与整合。另一方面，它实现了针对3DGS的多细节层次方案（Level of Details, LoD），在实际渲染时对近距离的场景使用精细的细节层次，而远距离的区域则使用较为粗糙的细节层次，从而大大减少渲染时实际所需的高斯点数量，从而极大降低大场景下的渲染延迟。这一算法在公开的数据集上达到了领先现有算法的渲染质量与速度表现。
4. 高效并行训练，有效降低开销
训练阶段：训练阶段的流程如下图所示。算法首先训练一个体量较小、渲染质量较为粗糙的3DGS表征作为对场景的先验。以此为基础，算法在压缩后的坐标空间将高斯点划分为一系列互不重叠的区块。每个区块则根据其与训练样本的投影关系和空间坐标关系决定分配哪些数据用于训练。不同的子块随后可以并行训练，并行训练的结果在融合后即可得到整个场景的3DGS表征。
5. 多细节层次渲染，大场景丝滑浏览
渲染阶段的流程如下图所示。首先算法借助LightGaussian对训练结果进行压缩，不同压缩率分别对应不同的细节层次。实际渲染时，算法以训练阶段划分的区块为单位，快速判断哪些区块处在视锥范围内，以及区块离相机中心的距离。根据这一距离，算法能够进一步地计算出对应的奈奎斯特采样频率，并得到高斯球平均尺度与之最匹配的细节层级进行表征。这样一来，距离较远、投影面积较少的区块可以使用压缩率更大的版本进行表征，从而减少渲染所需使用GS点数量，提高实时性。
6. 多角度实验评估，性能达到SOTA
可视化的渲染效果比较如下图所示，可以看到无论在实际采集的无人机数据还是仿真环境下采集的数据上，CityGaussian都能显著地改善渲染质量，提高细节的还原程度，带来更加逼真的游览体验。
此外，文章在MatrixCity这一大规模数据集上对LoD的有效性进行了验证。从Table 2中可以看到，LoD技术在保证逼真的渲染效果的同时，将渲染速度从21.6FPS提高到60.1FPS，同时渲染质量仅次于LoD2，从而很好地平衡了渲染质量和实时性。Figure 6则展现了相机从不同高度俯瞰重建出的城市时的速度变化关系。可以看到，即便在最坏情况下，所提出的LoD算法也能保持在25FPS以上的渲染速度，保证了不同视角范围的丝滑切换。
7. 结语
在以上工作的基础上，CityGaussian原班团队推出了CityGaussianV2，进一步提升了几何精度以及训练效率，代码即将开源，详情欢迎参考Project Page:
https://dekuliutesla.github.io/CityGaussianV2
何恺明在MIT授课的课件PPT下载
在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！
ECCV 2024 论文和代码下载
在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集
CVPR 2024 论文和代码下载
在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集
Mamba、多模态和扩散模型交流群成立
扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信号: CVer2233，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！
▲扫码加入星球学习
▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看
