3D重建与自监督学习：无位姿信息的3DGS重建，自监督
SelfSplat: Pose-Free and 3D Prior-Free Generalizable 3D Gaussian Splatting
2024-11-26｜SKKU, Hanhwa Systems, Korea U|🔺1
http://arxiv.org/abs/2411.17190v2
https://huggingface.co/papers/2411.17190
https://gynjn.github.io/selfsplat/
研究背景与意义
在计算机视觉领域，3D重建和新视角合成技术的迅速发展为虚拟现实、机器人技术和语义理解等多个应用提供了强有力的支持。然而，现有的方法如NeRF和3D Gaussian Splatting (3D-GS)在处理无姿态的多视图图像时，仍面临着许多挑战。这些方法通常需要准确的相机姿态数据和复杂的逐场景优化过程，使得它们在更广泛的应用场景中受到限制。SelfSplat的提出，旨在解决这些问题，通过有效整合自监督深度和姿态估计技术，提供了一种无姿态且可泛化的3D重建解决方案。
研究方法与创新
SelfSplat模型的核心创新在于其联合了自监督学习和3D-GS表示的能力，形成了一种新的3D重建框架。具体而言，模型通过以下几个关键技术实现了显著的性能提升：
自监督深度和姿态估计：通过自监督学习的方式，无需依赖于地面真实数据，模型能够从未标注的多视图图像中学习深度信息和相机姿态。
匹配感知姿态估计网络：该网络结合了多视图信息，利用图像之间的上下文关系来提高姿态估计的准确性，进而增强3D重建的稳定性。
深度精细化模块：通过对初步估计的深度图进行优化，确保在不同视图之间保持几何一致性，从而提高最终的重建质量。
无需预训练的3D先验模型：与许多现有方法不同，SelfSplat不依赖于预训练的3D模型或额外的微调阶段，使得其在实际应用中的灵活性和效率大大提升。
通过这些创新，SelfSplat在多个真实世界数据集上展现了优越的性能，尤其是在新视角合成和相机姿态估计任务中。
实验设计与结果分析
在实验设计中，SelfSplat在多个大型数据集（如RealEstate10K、ACID和DL3DV）上进行了训练和评估，验证了其在不同场景下的适用性和有效性。结果表明，SelfSplat在PSNR、SSIM和LPIPS等指标上均优于现有的最先进方法，特别是在处理复杂场景时，能够有效捕捉3D结构的细节。
新视角合成：在RE10K和ACID数据集上，SelfSplat在所有评估指标上均表现出色，尤其是在感知距离方面，显示了其捕捉细节的能力。
相机姿态估计：在相机姿态估计任务中，SelfSplat的平均和中位旋转误差均低于其他基线方法，表明其在几何对齐方面的优势。
结论与展望
SelfSplat模型的提出标志着在无姿态3D重建领域的一次重要进展。通过将自监督学习与显式3D表示相结合，SelfSplat为从无标注图像中恢复3D几何和外观提供了一种有效的解决方案。尽管当前框架在处理动态场景时仍面临挑战，未来的研究可以考虑引入多模态先验以增强对复杂场景的适应能力。整体而言，SelfSplat为3D表示学习领域的进一步发展奠定了基础，具有广阔的应用前景。
