视频生成与编辑：统一T2V和TI2V的视频生成；手机上运行 Video Diffusion；手机上通过Diffusion 编辑视频；使用DIT进行运动状态迁移
STIV: Scalable Text and Image Conditioned Video Generation
2024-12-10｜Apple, UCLA|🔺44
http://arxiv.org/abs/2412.07730v1
https://huggingface.co/papers/2412.07730
研究背景与意义
在视频生成领域，尽管已有显著进展，但仍存在对系统化模型开发的需求。当前的挑战包括如何有效整合图像条件与文本提示，以及如何在大规模训练中保持模型的稳定性和高质量。
STIV（Scalable Text and Image Conditioned Video Generation）方法应运而生，旨在通过一个统一架构来处理文本到视频（T2V）和文本图像到视频（TI2V）任务。这一研究不仅为视频生成领域提供了新的思路，还为未来的多任务学习奠定了基础。
研究方法与创新
STIV的核心在于其独特的框架设计，结合了Diffusion Transformer（DiT）架构与图像条件。研究者们通过替换噪声帧和引入联合图像-文本无分类器引导（JIT-CFG），实现了高效的多任务学习。具体创新包括：
图像条件的替换策略：在训练过程中，将噪声帧替换为未噪声的图像条件，增强了生成视频的质量和一致性。 联合图像-文本引导：通过同时利用图像和文本条件，提升了生成效果，尤其是在动态场景中的表现。 系统化的训练策略：研究团队采用了渐进式训练的方法，从文本到图像（T2I）模型开始，逐步过渡到T2V和TI2V模型，以提高训练的效率和效果。
这些创新不仅提升了模型的性能，还为未来的相关研究提供了可扩展的框架。
实验设计与结果分析
STIV模型在多个基准测试中表现优异，尤其是在VBench的T2V和I2V任务中。实验结果显示，8.7B参数的STIV模型在T2V任务中达到了83.1的VBench得分，超越了多个领先的开源和闭源模型。此外，TI2V任务的得分也达到了90.1，展现了该模型的强大能力。
实验设计：研究者进行了详尽的消融实验，分析了不同设计选择对模型性能的影响。 基准比较：STIV在多个任务上与现有模型进行了比较，证明了其在多任务处理中的有效性。 统计显著性：通过对比分析，STIV的设计在多个场景下均表现出显著的性能提升。
结论与展望
STIV的研究展示了在视频生成领域的巨大潜力，尤其是在多任务学习和条件生成方面。尽管目前已取得显著成果，但仍需进一步探索模型的可扩展性和适应性。未来的研究可以集中在以下几个方面：
模型优化：进一步优化模型结构，以提升在更复杂场景下的表现。 数据集扩展：探索更多高质量数据集，以增强模型的泛化能力。 应用拓展：将STIV框架应用于其他领域，如视频预测和长视频生成，验证其适用性。
综上所述，STIV不仅为视频生成领域提供了新的研究方向，也为多任务学习的进一步发展奠定了基础。
Mobile Video Diffusion
2024-12-10｜Qualcomm AI Research|🔺14
http://arxiv.org/abs/2412.07583v1
https://huggingface.co/papers/2412.07583
https://qualcomm-ai-research.github.io/mobile-video-diffusion/
研究背景与意义
在视频生成领域，视频扩散模型（Video Diffusion Models）近年来取得了显著进展，尤其是在生成视频的真实感和可控性方面。然而，现有模型通常对计算资源的需求极高，限制了它们在移动设备上的应用。
本文提出的Mobile Video Diffusion（MobileVD）模型，旨在解决这一问题，通过优化现有的时空UNet架构，使其适用于移动平台。研究的核心在于：如何在确保生成质量的同时，降低模型的计算和内存需求，以便在资源有限的移动设备上实现高效的视频生成。
研究方法与创新
MobileVD模型的创新主要体现在以下几个方面：
分辨率降低：通过降低帧的分辨率，显著减少了模型的内存和计算成本。这一策略使得在移动设备上生成视频成为可能。
多尺度时间表示：引入多尺度时间表示，增强了模型对时间动态的捕捉能力，同时进一步降低了计算负担。
新型修剪方案：提出了两种新颖的通道修剪方案，减少了通道数和时间块的数量，从而优化了模型结构。
对抗微调：采用对抗微调策略，将去噪过程简化为单步操作，降低了计算复杂度。
通过这些创新，MobileVD在计算效率上达到了523倍的提升（从1817.2到4.34 TFLOPs），尽管在生成质量上有轻微下降（FVD从149降至171），但仍然满足了移动设备的使用需求。
实验设计与结果分析
实验中，MobileVD模型在一款Xiaomi 14 Pro智能手机上进行测试，生成14帧、分辨率为512×256的视频，耗时仅为1.7秒。结果表明，模型在多个场景下表现出色，且在与基准模型的比较中，MobileVD在计算效率和生成质量之间取得了良好的平衡。
统计显著性
实验结果表明，MobileVD在生成速度和资源消耗方面的显著提升，使其在实际应用中具备了更高的可行性。尤其是在需要快速生成视频内容的场景中，MobileVD展现了其独特的优势。
结论与展望
本文提出的MobileVD模型为视频生成技术在移动设备上的应用开辟了新的可能性。尽管当前模型的输出仍限于14帧、低分辨率（256×512像素），但通过进一步优化和引入更高效的自编码器，未来有望实现更高分辨率和更长时长的视频生成。此外，MobileVD的成功也为其他资源受限环境下的深度学习模型设计提供了宝贵的经验。
未来的研究将集中在提升生成质量、扩展视频长度及分辨率等方面，力求在保持高计算效率的同时，进一步提升用户体验。
MoViE: Mobile Diffusion for Video Editing
2024-12-09｜Qualcomm AI Research|🔺12
http://arxiv.org/abs/2412.06578v1
https://huggingface.co/papers/2412.06578
https://qualcomm-ai-research.github.io/mobile-video-editing/
研究背景与意义
在视频编辑领域，传统方法往往面临着高计算成本和资源限制的问题，尤其是在移动设备上。随着生成模型的快速发展，基于扩散的生成模型展现出其在图像编辑中的潜力，但在视频编辑中仍存在着较大的挑战。本研究的意义在于，通过一系列优化措施，使得移动设备上的视频编辑变得可行，特别是在高质量和高效率之间找到一个平衡点。该论文的目标是解决现有方法在移动设备上应用的困难，尤其是在处理复杂视频编辑任务时的计算负担。
研究方法与创新
本研究提出了一种名为MoViE的移动视频编辑模型，该模型的创新之处在于以下几个方面：
架构优化：对现有图像编辑模型进行了架构优化，结合了轻量级的自编码器，显著降低了每帧视频编辑所需的浮点运算（FLOPs），使其在移动设备上运行成为可能。
多模态指导蒸馏：引入了多模态指导蒸馏技术，能够在一次前向传播中同时处理图像和文本的指导信息，减少了每个扩散步骤所需的前向评估次数，从而提升了处理速度。
对抗蒸馏方案：提出了一种新的对抗蒸馏方法，旨在减少扩散步骤的数量，同时保持编辑过程的可控性。这种方法确保了在进行视频编辑时，模型的灵活性和响应速度得以提升。
这些创新使得MoViE能够在移动设备上以每秒12帧的速度进行视频编辑，同时保持高质量的输出。
实验设计与结果分析
本研究通过一系列实验验证了所提出方法的有效性。实验设计包括：
基准比较：与现有的多种视频编辑模型进行了对比，评估了在相同条件下的编辑质量和计算效率。结果显示，MoViE在FLOPs和延迟方面均表现出显著的优势。
性能评估：使用CLIP图像相似度和方向性CLIP相似度等指标对编辑结果进行了定量评估，结果表明，MoViE在保持较高编辑质量的同时，计算资源消耗显著降低。
多场景表现：在多个视频编辑场景中测试MoViE的表现，结果显示其在处理复杂编辑任务时，能够有效保持视频的连贯性和一致性。
结论与展望
本研究展示了通过架构优化和创新的指导方法，如何实现在移动设备上高效且高质量的视频编辑。尽管在某些实验中观察到轻微的质量下降，但整体的效率提升和计算成本的显著降低，证明了所提方法的有效性和实用性。未来的工作可以进一步探索如何在保持高效性的同时，提升模型的编辑质量，尤其是在处理更复杂的编辑任务时。
Video Motion Transfer with Diffusion Transformers
2024-12-10｜Oxford, Snap Inc., MBZUAI|🔺12
http://arxiv.org/abs/2412.07776v1
https://huggingface.co/papers/2412.07776
https://ditflow.github.io/
研究背景与意义
在视频生成领域，随着扩散模型（Diffusion Models）的快速发展，生成高质量且具有连贯运动的视频变得尤为重要。传统的文本到视频（Text-to-Video, T2V）模型常常依赖于用户提供的文本描述来控制视频内容，但在运动控制方面却面临巨大挑战。现有方法通常无法有效捕捉场景中的细粒度运动模式，这限制了生成视频的真实感和用户体验。因此，提出一种新的方法来解决这一问题，尤其是在运动转移（Motion Transfer）方面，显得尤为重要。
DiTFlow方法的提出正是为了解决这一问题。通过利用扩散变换器（Diffusion Transformers, DiTs）中的全局注意力机制，该方法能够在生成新的视频时，准确地转移参考视频中的运动模式。这种方法不仅提高了视频生成的真实感，还使得在生成过程中能够对运动进行更细致的控制，推动了视频生成技术的发展。
研究方法与创新
DiTFlow方法的核心在于引入了一种新的运动信号表示——注意力运动流（Attention Motion Flow, AMF）。该方法通过分析参考视频中的跨帧注意力图，提取出运动模式，并将其作为指导信号应用于新视频的生成过程。与传统基于UNet的模型不同，DiTFlow利用DiTs的全局注意力机制，能够在不需要大量标注数据的情况下，实现零样本（Zero-shot）运动转移。
具体而言，该方法首先通过预训练的DiT模型分析参考视频，提取出注意力运动流。在生成新视频的过程中，DiTFlow通过优化潜在表示，确保生成的视频能够忠实再现参考视频中的运动模式。这种优化过程不仅提高了生成视频的运动一致性，还显著降低了计算成本，为未来的应用提供了更高的灵活性。
实验设计与结果分析
在实验设计中，DiTFlow在多个基准数据集上进行了评估，包括DAVIS数据集。通过与现有的几种方法（如SMM和MOFT）进行对比，DiTFlow在运动保真度（Motion Fidelity, MF）和图像质量（Image Quality, IQ）等多个指标上均表现出色。实验结果表明，DiTFlow在不同条件下都能够有效地转移运动，且在用户研究中获得了更高的满意度评分。
此外，DiTFlow还展示了其在零样本生成方面的强大能力。在没有重新优化的情况下，该方法能够在新的文本提示下生成高质量的视频，显示出其在灵活性和适应性方面的优势。
结论与展望
DiTFlow作为首个针对扩散变换器的运动转移方法，不仅在理论上提供了新的思路，也在实践中取得了显著的成果。未来的研究可以进一步探索在更复杂场景下如何提高运动生成的准确性，以及如何将该方法应用于实时视频编辑和生成等实际应用中。通过不断优化和扩展DiTFlow的能力，我们有望在视频生成领域实现更高的自由度和创造力。
