故事视频生成与多任务扩展：RAG参与故事视频生成，高一致性；扩散模型ID保持，图像编辑
DreamRunner: Fine-Grained Storytelling Video Generation with Retrieval-Augmented Motion Adaptation
2024-11-25｜UNC Chapel Hill, UNC Chapel Hill|🔺12
http://arxiv.org/abs/2411.16657v1
https://huggingface.co/papers/2411.16657
https://dreamrunner-story2video.github.io/
研究背景与意义
在当今数字媒体快速发展的背景下，故事视频生成（SVG）作为一种新兴技术，正逐渐成为内容创作的重要工具。这项技术的核心在于能够根据输入的文本脚本，生成长篇、多场景的动态视频，且视频内容需与文本描述高度一致。然而，SVG面临着诸多挑战，包括如何确保对象在不同场景中的一致性、实现复杂的动作转换以及在单一场景内流畅地过渡多个动作。因此，DREAMRUNNER应运而生，作为一种新颖的故事到视频生成方法，旨在通过引入检索增强的运动先验学习和区域基础的扩散模型，来解决这些挑战。
研究方法与创新
DREAMRUNNER采用了分层生成策略，首先利用大型语言模型（LLM）生成高层次的故事框架，然后逐步细化到每个场景的具体动作和布局。该方法的创新点在于：
双层视频规划：通过LLM生成高层和细化的动作计划，确保故事的叙述流畅且逻辑一致。 运动检索与先验学习：在测试阶段，通过检索相关视频来增强运动先验的学习，确保生成的视频能够展现更丰富和真实的动作。 区域基础的扩散模型（SR3AI）：引入一种新颖的空间-时间区域基础的3D注意力机制，允许对视频生成过程中的对象和动作进行细粒度控制。
这些创新使得DREAMRUNNER在生成复杂动态场景时，能够更好地保持对象的一致性和动作的连贯性。
实验设计与结果分析
在实验中，DREAMRUNNER在两个主要任务上进行评估：故事到视频生成和组合文本到视频生成。通过对比不同基准模型的表现，DREAMRUNNER在角色一致性、文本遵循能力和事件过渡的平滑性等多个维度上均表现优异。具体结果如下：
在角色一致性方面，DREAMRUNNER相比于现有的基准模型，提升了13.1%的CLIP得分。 在文本对齐能力上，DREAMRUNNER在ViCLIP得分上实现了8.56%的相对增益。 事件过渡的平滑性方面，DREAMRUNNER的DINO得分提升了27.2%，显示出其在处理复杂场景转换时的优势。
结论与展望
DREAMRUNNER展示了在故事视频生成领域的巨大潜力，它不仅能够生成多角色、多动作的视频，还能有效地保持故事的一致性和流畅性。未来，DREAMRUNNER可以扩展到更广泛的应用场景，如互动故事讲述和游戏开发等，进一步推动数字内容创作的边界。同时，随着模型的不断优化和新技术的引入，DREAMRUNNER有望在生成质量和效率上实现更大的突破。
One Diffusion to Generate Them All
2024-11-25｜AI2, UC Irvine, U Washington|🔺10
http://arxiv.org/abs/2411.16318v1
https://huggingface.co/papers/2411.16318
https://github.com/lehduong/OneDiffusion
研究背景与意义
在图像生成和理解领域，传统的扩散模型通常是针对特定任务进行训练，限制了其通用性和灵活性。随着深度学习的进步，尤其是大规模语言模型（LLM）的成功，研究者们开始探索是否可以将扩散模型发展为通用模型，以实现多种任务的处理。本文提出的OneDiffusion模型旨在填补这一空白，通过统一的框架来支持图像合成与理解的双向操作。这一研究不仅推动了扩散模型的应用范围，也为未来的多模态学习奠定了基础。
研究方法与创新
OneDiffusion模型的核心创新在于其统一的训练框架。该框架将不同的任务视为具有不同噪声尺度的帧序列，从而允许在推理时任意帧作为条件图像。这种方法的优势在于无需为每个任务设计特定的架构，支持可扩展的多任务训练，并能够平滑适应不同分辨率。具体而言，模型的训练过程包括以下几个关键步骤：
数据集构建：创建了One-Gen数据集，整合了来自多种来源的高质量数据，支持多种任务的联合训练。 流匹配算法：通过学习时间依赖的向量场来优化生成过程，使得模型在生成时能够灵活选择条件输入。 任务适应性：模型通过简单而有效的方式处理文本到图像的生成、深度估计、图像去模糊等任务，展示了其强大的适应能力。
通过这些创新，OneDiffusion在多种任务上均表现出竞争力，尤其在生成质量和任务适应性方面。
实验设计与结果分析
OneDiffusion在多个基准数据集上进行了评估，包括文本到图像生成、深度估计和多视图生成等任务。实验结果表明，该模型在生成质量和任务灵活性方面均优于现有的最先进方法。具体分析如下：
文本到图像生成：在GenEval基准测试中，OneDiffusion展示了卓越的性能，能够生成多种风格的高质量图像。 多视图生成：在多视图生成任务中，即使在相机姿态未知的情况下，OneDiffusion也能生成一致的视图，显示出其强大的通用性。 深度估计：在NYUv2和DIODE数据集上，OneDiffusion的深度估计结果显示出与现有方法相当的性能，且在处理开放世界图像时表现更为稳健。
结论与展望
OneDiffusion模型的提出为扩散模型的发展开辟了新的方向，展示了其在多任务处理中的潜力。未来的研究可以进一步探索如何优化模型结构以提高生成速度和质量，或是如何将其应用于其他领域，如视频生成和实时图像处理。此外，随着数据集规模的扩大和多模态学习的深入，OneDiffusion有望成为一个通用的视觉模型，为各种应用提供支持。
