沉浸式视频与视角转换：单镜头视频生成360°全景视频；未对齐的稀疏视角增强新视角合成
Imagine360: Immersive 360 Video Generation from Perspective Anchor
2024-12-04｜CUHK, SJTU, NTU, Shanghai AI Lab|🔺23
http://arxiv.org/abs/2412.03552v1
https://huggingface.co/papers/2412.03552
https://ys-imtech.github.io/projects/Imagine360
研究背景与意义
在360°视频生成领域，随着虚拟现实和增强现实技术的迅速发展，用户对高质量、沉浸式视频内容的需求日益增加。现有的360°视频生成方法主要依赖于高质量的全景视频或文本指导，这在实践中存在一定的局限性，尤其是获取高质量全景视频的难度较大。因此，本文提出了Imagine360，一个首创的视角到360°视频生成框架，旨在通过利用普通的视角视频作为锚点，生成丰富、动态的360°视频。
定义问题：现有方法往往依赖于高质量的全景视频，这对普通用户而言并不现实。 概述现状：尽管已有一些基于文本或图像的生成方法，但它们通常需要复杂的输入，限制了其应用范围。 指出挑战：如何在不依赖全景视频的情况下，实现高质量的360°视频生成是一个亟待解决的挑战。 阐明目标：Imagine360旨在通过引入双分支去噪结构和反极面掩码等创新设计，提升生成视频的质量和运动一致性。
研究方法与创新
Imagine360的核心在于其独特的双分支设计，分别处理全景和视角视频的去噪任务。该方法通过以下几个关键设计实现了显著的创新：
双分支去噪结构：结合全景分支和视角分支，分别从全局和局部的角度对360°视频进行处理，确保生成视频的整体一致性和细节丰富性。 反极面掩码：该设计用于捕捉全景视频中长距离运动依赖性，尤其是相对摄像机运动的反向特性，从而提高生成视频的自然度。 高度适应性的设计：通过引入高度感知的训练和推理设计，Imagine360能够适应不同高度角的视频输入，确保生成过程的鲁棒性。
这些创新使Imagine360在生成的360°视频质量和运动一致性方面，优于现有的最先进技术。
实验设计与结果分析
在实验设计上，Imagine360进行了大量的实验，以验证其生成效果的优越性。实验结果表明：
描述实验：通过与现有方法的对比，Imagine360在多个指标上均表现出色，包括图像质量、运动平滑性和结构一致性。 分析结果：定量评估显示，Imagine360在VQA等多个标准评测中均获得了最佳成绩，证明了其在360°视频生成中的有效性。 对比基准：与其他方法相比，Imagine360在生成的360°视频中展现了更好的视觉质量和运动一致性，尤其在处理复杂场景时表现更为突出。
结论与展望
Imagine360的提出为360°视频生成开辟了新的方向，尤其是在利用普通视角视频生成高质量全景内容方面展现了巨大的潜力。尽管当前模型已取得良好效果，但仍存在进一步提升的空间：
总结贡献：Imagine360通过创新的双分支设计和反极面掩码，显著提升了360°视频生成的质量。 分析局限：目前的模型依赖于对高度的准确估计，未来可以考虑引入更为精确的高度估计模块，以减少生成过程中的误差。 方法展望：未来的研究可以在模型的可扩展性和适应性上进行深入探索，以满足更为多样化的应用需求。
NVComposer: Boosting Generative Novel View Synthesis with Multiple Sparse and Unposed Images
2024-12-04｜CUHK, Tencent PCG - ARCLab, PKU|🔺13
http://arxiv.org/abs/2412.03517v1
https://huggingface.co/papers/2412.03517
https://lg-li.github.io/project/nvcomposer
研究背景与意义
近年来，生成模型的进步显著提升了从多视角数据合成新视图（Novel View Synthesis, NVS）的能力。然而，现有的方法通常依赖于外部多视角对齐过程，比如显式的姿态估计或预重建，这限制了它们的灵活性和可访问性，特别是在视角重叠不足或存在遮挡的情况下。本文提出的NVComposer旨在消除对显式外部对齐的需求，通过引入两个关键组件：1）图像-姿态双流扩散模型，能够同时生成目标新视图并条件化摄像机姿态；2）几何感知特征对齐模块，利用密集立体模型在训练期间提取几何先验。该方法的提出不仅增强了模型的灵活性和可访问性，还为虚拟场景探索和内容创作提供了更大的便利性。
研究方法与创新
NVComposer的核心创新在于其图像-姿态双流扩散模型和几何感知特征对齐模块。具体而言：
图像-姿态双流扩散模型：该模型不仅生成新视图，还隐式地预测条件图像之间的姿态关系。这一设计使得模型能够在生成过程中理解条件图像的相对位置，从而合成出更一致的新视图。
几何感知特征对齐模块：该模块从预训练的密集立体模型中提取几何特征，并在训练中对齐扩散模型的内部特征。这一机制显著提高了生成视图的一致性和质量，使得模型在处理多视角输入时表现出色。
这些创新点使得NVComposer在生成新视图时，能够有效利用来自多个无姿态条件图像的信息，克服了传统方法对外部对齐的依赖。
实验设计与结果分析
在实验中，NVComposer在多个数据集上进行了评估，包括RealEstate10K和DL3DV。在这些实验中，模型的表现通过多种指标进行衡量，如峰值信噪比（PSNR）、结构相似性指数（SSIM）、感知距离（LPIPS）和DISTS等。结果表明，NVComposer在生成新视图的任务中，显著优于其他依赖于外部对齐的模型，如ViewCrafter和DUSt3R，尤其在输入视图数量增加时，模型的性能持续提升。
此外，模型的设计使得在输入视图重叠较小或存在遮挡的情况下，仍能保持较好的生成质量。这说明NVComposer在处理复杂场景时的鲁棒性和灵活性。
结论与展望
NVComposer的提出标志着在多视角生成NVS领域的一个重要进展。通过消除对外部多视角对齐的需求，模型不仅提高了生成的灵活性和可访问性，还为未来的研究提供了新的方向。未来的工作可以集中在进一步优化模型结构，提升生成速度，以及扩展到更多应用场景中，例如实时虚拟现实和增强现实等领域。
