视频生成与动作控制：大规模第一人称视频数据集；可控动作的T2V生成
EgoVid-5M: A Large-Scale Video-Action Dataset for Egocentric Video Generation
2024-11-13｜Alibaba, CASIA, THU, UCAS|🔺23
http://arxiv.org/abs/2411.08380v1
https://huggingface.co/papers/2411.08380
https://egovid.github.io/
研究背景与意义
在视频生成领域，尤其是以人类视角为中心的生成（即自我中心视频生成），近年来得到了广泛关注。随着虚拟现实、增强现实和游戏等应用的快速发展，如何有效生成高质量的自我中心视频成为了一个重要且具有挑战性的研究方向。现有的数据集在应对动态视角、复杂动作和多样场景方面存在不足，亟需一个高质量的数据集来填补这一空白。
为此，EgoVid-5M数据集的提出，不仅为研究提供了丰富的素材，还为自我中心视频生成的研究奠定了基础。
研究方法与创新
EgoVid-5M数据集包含500万个自我中心视频片段，并配有详细的动作注释。这些注释包括细粒度的运动控制和高层次的文本描述。此外，研究团队实施了一套复杂的数据清洗流程，以确保视频的帧一致性、动作连贯性和运动平滑性。数据集的核心创新点在于：
高质量数据：数据集提供了高达1080p的分辨率，经过严格筛选，确保了视频质量。 详细注释：结合了运动控制和文本描述，提供了丰富的上下文信息，便于模型学习。 EgoDreamer模型：该模型能够同时利用动作描述和运动控制信号生成自我中心视频，展示了创新的生成能力。
实验设计与结果分析
研究团队对EgoVid-5M数据集进行了广泛的实验，使用不同的基线模型（如U-Net和DynamiCrafter）进行训练。结果表明，使用EgoVid-5M进行训练的模型在视频生成方面表现出显著的提升，尤其是在视频的语义一致性、动作一致性和视觉质量等方面。具体实验结果显示，EgoVid-5M显著提高了生成视频的运动强度和清晰度。
结论与展望
EgoVid-5M数据集的推出为自我中心视频生成领域提供了重要的资源，促进了相关技术的发展。
未来的研究可以围绕如何进一步提升生成效果、扩展数据集的应用范围以及优化生成模型的效率展开。EgoVid-5M数据集的发布将为学术界和工业界提供更好的基础，推动自我中心视频生成技术的进步。
Motion Control for Enhanced Complex Action Video Generation
2024-11-13｜INF Tech, SJTU, FDU|🔺2
http://arxiv.org/abs/2411.08328v1
https://huggingface.co/papers/2411.08328
https://mvideo-v1.github.io/
研究背景与意义
随着深度学习技术的发展，视频生成领域取得了显著进展。然而，现有的文本到视频（T2V）模型在生成复杂动作视频时仍面临诸多挑战。尤其是，文本提示往往无法充分表达复杂动作的细节，从而限制了模型的生成能力。
为了解决这一问题，本文提出了MVideo，一个专门设计用于生成长时段、流畅的复杂动作视频的框架。MVideo通过引入掩码序列作为附加运动条件，提供了更清晰、准确的动作表示，从而提高了生成视频的质量和连贯性。该研究的意义在于推动T2V技术的发展，解决当前模型在复杂动作生成中的局限性，进而为相关领域的应用（如影视制作、虚拟现实等）提供了新的可能性。
研究方法与创新
MVideo的核心创新在于其双重控制机制，允许用户独立或联合地调整文本提示和运动条件。该框架通过以下几个关键步骤实现复杂动作的生成：
掩码序列的提取：利用基础视觉模型（如Grounding DINO和SAM2）自动生成掩码序列。这一过程提高了生成效率和鲁棒性。
长时段视频生成：MVideo采用一种高效的迭代生成方法，将低分辨率视频条件与图像条件相结合，确保生成视频在长时间段内保持内容和动作的一致性。
一致性损失的引入：在训练过程中，MVideo引入了一种新的一致性损失，确保模型在学习掩码序列的同时，保持与文本提示的对齐能力。这一创新显著提升了生成视频的质量。
多场景表现能力：MVideo不仅可以生成复杂动作，还支持通过修改文本提示或掩码序列来改变视频场景，实现高度的灵活性和多样性。
实验设计与结果分析
MVideo的实验设计包括多个阶段，旨在验证其生成能力和对复杂动作的捕捉能力。通过与现有视频扩散模型（如CogVideoX）的对比，MVideo在生成质量、动作一致性和图像质量等方面表现优异。实验结果表明，MVideo在未见掩码序列上的泛化能力强，能够有效地生成复杂动作视频。具体的实验结果如下：
整体一致性：在VBench测试集上，MVideo-5b在整体一致性和图像质量指标上均优于现有模型。 动作顺滑度：MVideo生成的视频在动作流畅性上表现良好，能够顺利捕捉到复杂的运动细节。 多样性：通过调整文本提示，MVideo能够生成多种不同场景的视频，显示出其强大的适应能力。
结论与展望
本研究提出的MVideo框架在复杂动作视频生成方面展现了显著的优势。通过引入掩码序列作为额外的输入条件，MVideo能够更准确地捕捉动态动作，克服了传统T2V模型的局限性。未来的研究可以进一步探索MVideo在更广泛应用场景中的潜力，以及如何结合其他生成模型来提升视频生成的质量和效率。
