视频与图像生成与处理：视频深度估计；视频扩散模型时间步动态缓存策略；高分辨率扩散模型；时空跳跃引导扩散，视频生成采样的多样性和动态性；
Video Depth without Video Models
2024-11-28｜ETH Zurich, CMU|🔺17
http://arxiv.org/abs/2411.19189v1
https://huggingface.co/papers/2411.19189
https://rollingdepth.github.io/
研究背景与意义
在计算机视觉领域，视频深度估计是一个重要而富有挑战性的任务，旨在从单一视频流中推断出三维场景结构。传统方法通常依赖于结构从运动（SfM）技术，通过恢复相机轨迹来生成三维模型。然而，这些方法在处理动态场景或复杂背景时常常面临困难。本文提出了一种名为“RollingDepth”的新方法，旨在克服现有方法的局限性，并在保持高效性的同时提高深度估计的准确性。
现状概述：当前，许多视频深度估计方法依赖于视频扩散模型，但这些方法通常在处理长视频时表现不佳，且计算资源消耗巨大。 研究挑战：在动态场景中，相机运动和深度范围的快速变化使得单帧深度估计难以保持一致性，导致深度估计出现闪烁和漂移现象。 研究目标：本研究的目标是开发一种新的深度估计框架，能够在处理长视频时保持深度估计的一致性和准确性。
研究方法与创新
RollingDepth的核心创新在于其结合了单图像深度估计模型和多帧信息，通过引入自注意力机制和全局对齐算法来实现高效的深度估计。
多帧深度估计：利用从单幅图像中提取的特征，RollingDepth能够处理短视频片段，并通过滑动窗口机制捕捉时间上下文。 自注意力机制：通过修改自注意力层，模型能够在不同时间尺度上捕捉空间和时间交互，从而提高深度估计的准确性。 全局对齐算法：通过优化对齐参数，RollingDepth能够将不同片段的深度信息整合成一个一致的深度视频，显著减少深度估计中的不一致性。
实验设计与结果分析
在实验设计中，RollingDepth在多个数据集上进行了评估，显示出其优越的性能。
实验设置：使用合成视频数据集和真实场景数据集进行训练和测试，涵盖静态和动态场景。 性能评估：通过绝对相对误差（AbsRel）和δ1准确率等指标进行评估，RollingDepth在多个基准测试中表现优于现有方法。 多场景表现：在不同场景中，RollingDepth能够有效应对相机运动和深度范围变化，保持高质量的深度估计。
结论与展望
RollingDepth展示了在视频深度估计领域的显著进展，结合了单图像深度估计的优点和多帧信息的优势。尽管该方法在处理复杂场景时表现良好，但仍存在进一步优化的空间。
贡献总结：RollingDepth为视频深度估计提供了一种新的思路，能够在保持高效性的同时提高深度估计的准确性。 局限性分析：当前方法在处理极端动态场景时仍可能出现不稳定性，需要进一步研究改进。 未来展望：未来的工作将集中在进一步优化模型结构和训练策略，以提高在更复杂场景中的表现，同时探索将其他生成模型集成到RollingDepth框架中的可能性。
Timestep Embedding Tells: It's Time to Cache for Video Diffusion Model
2024-11-28｜UCAS, Alibaba Group, CASIA, FDU, NTU|🔺10
http://arxiv.org/abs/2411.19108v1
https://huggingface.co/papers/2411.19108
https://liewfeng.github.io/TeaCache
研究背景与意义
近年来，扩散模型的出现为视频生成任务提供了新的动力。这些模型通过逐步去噪的过程生成高质量的视觉内容，但其推理速度却受到限制，主要由于去噪过程的顺序性。传统方法通过在均匀选择的时间步上缓存模型输出，试图提升推理效率。然而，这种策略未能充分考虑不同时间步之间输出的差异性，导致缓存的利用效率不高。因此，提升扩散模型的推理速度并保持输出质量成为一项重要的研究挑战。本文提出了Timestep Embedding Aware Cache（TeaCache），旨在通过更智能的缓存策略来解决这一问题。
研究方法与创新
TeaCache的核心创新在于其训练无关的缓存策略，充分利用模型输入和输出之间的强相关性。具体而言，TeaCache通过对时间步嵌入的调制，估计并利用模型输出之间的差异。这一方法的优势在于：
动态缓存选择：TeaCache根据输入的变化动态决定是否缓存当前时间步的输出，避免了传统方法的冗余计算。 多阶段差异估计：通过简单有效的两阶段策略，TeaCache能够准确估计模型输出的差异，从而优化缓存决策。 显著加速推理过程：实验结果表明，TeaCache在多个视频生成模型上显著提高了推理速度，同时保持了视觉质量。
实验设计与结果分析
在实验中，TeaCache与现有的加速方法（如PAB）进行了对比。实验采用了多种视频生成模型，评估了其推理效率和视觉质量。主要结果包括：
推理效率：TeaCache在多个基准测试中表现出色，显著提升了推理速度。例如，在Latte模型中，TeaCache实现了1.86倍的加速。 视觉质量：尽管加速，TeaCache在视觉质量评估指标（如VBench、LPIPS等）上表现良好，确保生成内容的高保真度。 多场景表现：TeaCache在不同视频长度和分辨率下均展现了稳定的性能，证明其在实际应用中的广泛适用性。
结论与展望
本文提出的TeaCache为视频生成模型的推理加速提供了一种新的思路，结合了输入动态变化与输出差异的智能缓存策略。尽管当前的研究已展示了TeaCache的有效性，未来的工作可以进一步探索其在更复杂场景下的应用潜力，以及与其他生成模型的结合。通过不断优化缓存机制和推理策略，TeaCache有望在视频生成领域实现更高的效率和质量。
FAM Diffusion: Frequency and Attention Modulation for High-Resolution Image Generation with Stable Diffusion
2024-11-27｜Samsung AI Center, U Surrey, QMUL|🔺8
http://arxiv.org/abs/2411.18552v1
https://huggingface.co/papers/2411.18552
研究背景与意义
在高分辨率图像生成领域，扩展预训练扩散模型以适应不同分辨率的需求变得尤为重要。当前的扩散模型在训练时仅能处理特定分辨率，直接生成高于训练分辨率的图像往往导致图像重复和结构失真。虽然重新训练模型是一种解决方案，但其计算需求极高，限制了灵活性和应用场景。因此，开发一种无需额外训练且能够在高分辨率下高效生成图像的方法具有重要意义。
本论文提出了一种新方法，称为FAM扩散（Frequency and Attention Modulated diffusion），旨在通过引入频率调制（FM）和注意力调制（AM）模块来解决现有方法中的结构一致性和局部纹理一致性问题。研究表明，FAM扩散能够有效改善高分辨率图像生成中的结构和局部细节质量，同时显著降低延迟。
研究方法与创新
FAM扩散方法的核心在于两个创新模块：频率调制（FM）模块和注意力调制（AM）模块。
频率调制（FM）模块：
该模块利用傅里叶域的特性，通过选择性地调节低频成分，改善全局结构一致性。具体而言，FM模块在高分辨率去噪阶段引入低频信息，以确保生成图像的全局结构与原始图像保持一致。 该方法避免了传统方法中由于补丁生成导致的冗余计算和延迟，采用单次生成策略，显著提高了生成效率。
注意力调制（AM）模块：
AM模块通过利用来自原始分辨率图像去噪过程的注意力图，增强局部纹理的一致性。AM模块能够有效地引导高分辨率去噪过程，使得生成的细节更加细腻和一致。 通过在高分辨率去噪阶段动态调整注意力图，AM模块解决了局部结构不一致的问题，提升了图像的整体视觉质量。
FAM扩散的设计理念在于结合FM和AM模块的优势，既保持了全局结构的一致性，又提升了局部细节的质量，最终实现高效的高分辨率图像生成。
实验设计与结果分析
实验部分采用了多种基准方法进行比较，包括DemoFusion、AccDiffusion、FouriScale和HiDiffusion等。通过在Laion-5B数据集上进行评估，使用Frechet Inception Distance (FID) 和 Kernel Inception Distance (KID)等指标，结果显示：
FAM扩散在所有测试的分辨率上均表现出色，尤其在较高的放大倍数下，FID和KID分数显著优于其他方法。 在生成速度方面，FAM扩散不仅保持了较高的图像质量，还有效降低了延迟，相比于传统的补丁生成方法，延迟几乎可以忽略不计。
通过对比实验，FAM扩散展示了其在结构一致性和局部细节生成上的优势，验证了其在高分辨率图像生成任务中的有效性。
结论与展望
FAM扩散方法为高分辨率图像生成提供了一种创新的解决方案，成功地将频率调制和注意力调制相结合，显著提升了生成图像的质量与效率。未来的研究可以进一步探索FAM扩散在其他生成任务中的应用潜力，以及如何在保持高效性的同时，进一步优化生成质量。
Spatiotemporal Skip Guidance for Enhanced Video Diffusion Sampling
2024-11-27｜KAIST, U Washington|🔺6
http://arxiv.org/abs/2411.18664v1
https://huggingface.co/papers/2411.18664
https://junhahyung.github.io/STGuidance
研究背景与意义
在当今视觉内容生成领域，视频扩散模型（Video Diffusion Models）因其在生成高质量图像和视频方面的出色表现而备受关注。然而，现有的采样引导技术（如无分类引导CFG）虽然提升了生成质量，却往往牺牲了样本的多样性和动态性。随着对视频生成质量要求的不断提高，研究者们面临着如何在提升质量的同时保持生成内容的多样性和动态性这一重大挑战。因此，本研究提出了一种新的采样引导方法——时空跳跃引导（Spatiotemporal Skip Guidance, STG），旨在通过自我扰动技术，改善视频扩散模型的性能，消除对外部模型和额外训练的需求。
研究方法与创新
本研究的核心创新在于提出了一种新的采样引导框架——STG。STG通过跳过时空层的方式，模拟一个隐式的弱模型，从而避免了额外训练的复杂性。具体而言，STG的设计理念包括：
隐式弱模型的构建：STG通过跳过视频扩散模型中的时空层，构建一个与主模型对齐的弱模型。这种方法不仅减少了计算开销，还保持了生成样本的质量。
自我扰动技术：通过自我扰动，STG能够在不依赖外部模型的情况下，提升生成样本的质量。这种方法特别适用于视频扩散模型，因为其训练成本通常较高。
时空动态的捕捉：STG的设计充分考虑了视频数据的时空特性，能够有效捕捉视频生成中的动态变化，从而提升生成视频的真实感和多样性。
通过这些创新，STG在保持生成样本多样性和动态性的同时，显著提升了生成质量。
实验设计与结果分析
本研究通过多种实验评估了STG的性能，采用了包括UCF-101和VBench等数据集进行评估。实验结果显示：
定量分析：STG在多个指标上均优于传统的CFG方法，尤其在图像质量和多样性方面表现突出。例如，在VBench的评估中，STG显著降低了Frechet视频距离（FVD），同时提高了图像质量评分。
定性分析：通过对比生成的视频样本，STG生成的视频在清晰度和细节表现上明显优于CFG生成的视频，且在动态场景下表现出更好的稳定性，减少了模糊和闪烁现象。
多场景表现：STG在不同的场景设置下均表现出良好的适应性，证明了其在实际应用中的潜力。
结论与展望
本研究提出的时空跳跃引导（STG）方法为视频扩散模型提供了一种高效的采样指导方案，不仅降低了对外部模型的依赖，还显著提升了生成视频的质量和多样性。未来的研究可以进一步探索STG在其他生成任务中的应用潜力，并优化其参数设置以适应不同的生成需求。同时，随着视频生成技术的不断发展，如何在保证生成质量的同时，确保技术的伦理使用，将是一个亟待解决的重要问题。
