点击下方卡片，关注“CVer”公众号
点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
AI/CV重磅干货，第一时间送达
添加微信号：CVer2233，小助手会拉你进群！
扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！
添加微信号：CVer2233，小助手会拉你进群！
扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！
最近来自浙江大学和华中师范大学的研究人员提出eFreeSplat模型，一种基于3D高斯点云表示（3DGS）的泛化性三维重建方法。该方法仅需要两张不同视角和相机参数作为输入，通过一次前馈网络即可输出场景的3DGS表示，无需原始3DGS方法在单场景上进行长时间的优化。
🌐 背景
随着三维重建技术的进步3D高斯点云表示（3DGS）在多视角合成和渲染中的应用取得了显著进展。然而，现有方法在处理大视角重叠、视角不一致等问题时仍存在局限，尤其是在泛化能力方面。
🔄 泛化性3DGS vs 原始3DGS
相比于传统的3DGS方法，泛化性3DGS通过引入跨场景训练和几何先验的方式实现few-shot的前馈3DGS点云位置和属性的预测。它能够适应更少的输入视角和未知的场景，确保更高的重建质量和渲染稳定性。
📉 优势：突破Epipolar Prior的限制
目前泛化性3DGS方法往往依赖对极先验（Epipolar Prior），这种方法虽然在某些场景下有效，但在低视角重叠或复杂的几何情况下，容易受到视差不一致和自遮挡的影响。
在极其稀疏的视图中，对极先验可能不可靠，特别是在非重叠或遮挡区域
eFreeSplat通过大规模3D预训练ViT提供的几何先验去除这一限制，利用迭代交叉视角模块对其高斯位置和特征，有效提高了在这些挑战下的稳定性和精度。
与其他SOTA 泛化性新视角渲染方法的对比结果
论文地址：https://arxiv.org/abs/2410.22817
项目地址：https://tatakai1.github.io/efreesplat/
🧠 模型结构
eFreeSplat模型结构
eFreeSplat结合了跨视角填充预训练模型提供的epipolar-free 3D先验信息，使其能在多视角和低视角重叠场景中进行高效的3D重建。该结构不依赖极线采样或cost volume策略，提供更灵活和稳定的3D合成能力，确保不同场景下的泛化性。
📊 新视角渲染质量
通过在多个数据集上的实验，eFreeSplat在新视角渲染质量上取得了显著提升。与目前SOTA方法相比，在合成图像的真实感和细节还原方面表现更为优越，尤其是在低视角重叠的情况下，能够有效减少伪影并保留细节。
新视角渲染定量对比结果
🔍 3DGS重建质量
在3DGS重建方面，eFreeSplat不仅能准确捕捉复杂的3D结构，还能处理视角不一致和深度信息不完整的挑战。与基于 SOTA 3DGS 的方法相比，eFreeSplat实现了更高的重建质量并生成了更平滑的深度图。
3DGS点云重建（顶部）和输入视角的预测深度图（底部）的对比结果
🔁 低重叠视角
对于低重叠视角的挑战，eFreeSplat表现尤为突出。在这种情况下，传统方法往往出现严重的深度估计错误和重建失败，而我们的泛化性3DGS能够保持稳定，生成高质量的重建结果。
何恺明在MIT授课的课件PPT下载
在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！
ECCV 2024 论文和代码下载
在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集
CVPR 2024 论文和代码下载
在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集
Mamba、多模态和扩散模型交流群成立
扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信号: CVer2233，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！
▲扫码加入星球学习
▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看
