之前的文章中已经给大家介绍了一些关于长视频生成相关的技术，AI生成大片已经越来越近了。感兴趣的小伙伴可以点击下面链接阅读~
《泰坦尼克号》AI大片重生！浙大&阿里发布MovieDreamer，纯AI生成电影引爆热议！
港大和字节提出长视频生成模型Loong，可生成一分钟具有一致外观、动态和场景过渡的视频。
FIFO-Diffusion，一个无需额外训练即可生成长视频的框架。通过每个帧引用足够多的先前帧来生成高质量、一致的长视频。
阿里巴巴重磅开源EasyAnimate！基于DiT的长视频制作生态系统
DreamFactory：一致、连贯且引人入胜的长视频生成框架！
今天给大家介绍的是Movie Gen电影生成，它的工作原理可以简单理解为两个主要部分：一个是生成视频的模型，另一个是生成音频的模型。首先，生成视频的模型根据用户输入的文字描述，创造出高质量的视频，比如你可以输入“一个穿着舞衣的刺猬在跳舞”，模型就会根据这个描述生成相应的视频。这个模型还可以根据用户的照片，制作个性化的视频，确保视频中的人物看起来就像用户一样。其次，音频模型则负责为这些视频生成合适的音乐和音效，确保音频与视频内容相匹配，比如在视频中有水花声时，音频也会同步生成水声。通过这种方式，Movie Gen 不仅可以制作出引人入胜的视频，还能为这些视频配上完美的音效，带给观众更好的观看体验。
相关链接
http://arxiv.org/abs/2410.13720v1 https://go.fb.me/MovieGenResearchVideos
概述
Movie Gen 是一组基础模型，旨在生成高质量的1080p高清晰度视频，同时具备同步音频的能力。该模型不仅可以进行文本到视频的合成，还能实现视频个性化、视频编辑以及音频生成等多种功能。Movie Gen 的核心模型是一个30B参数的变换器，能够处理高达73K的视频标记，并生成时长最长为16秒的视频。通过在大规模互联网数据上进行预训练，Movie Gen 在多项媒体生成任务中设立了新的性能标准，包括文本到视频合成、视频个性化、视频编辑以及音频生成。该项目的目标是推动媒体生成模型的研究进展，促进创新，并为研究社区提供新的基准和工具。
方法
Movie Gen 的方法主要包括两个基础模型：Movie Gen Video 和 Movie Gen Audio。Movie Gen Video 是一个30B参数的模型，能够根据文本提示生成高质量的视频，并且支持多种视频时长和分辨率。该模型经过分阶段的预训练，其中包括图像生成和视频生成的联合训练，以实现更好的泛化能力。此外，Movie Gen Audio 是一个13B参数的模型，专注于生成与视频内容同步的高质量音效和音乐。该模型在音频生成时，能够处理多种音频长度，并支持音频扩展技术，使得生成的音频可以与视频内容完美匹配。为了增强个性化和编辑能力，Movie Gen Video 还通过后训练程序引入了个性化视频生成和精准视频编辑功能。
实验
在实验部分，Movie Gen 团队对模型的性能进行了全面评估，使用了多种基准测试和评估指标。通过与现有的商业系统和其他研究模型进行比较，Movie Gen 在视频质量、文本对齐、视觉吸引力等多个方面均表现优异。此外，团队还推出了 Movie Gen Video Bench 和 Movie Gen Audio Bench 两个新基准，以促进未来的研究和比较。实验结果表明，Movie Gen 的生成视频在真实感、运动自然性以及整体视觉质量方面均显著优于现有的其他模型，展示了其在媒体生成领域的强大潜力。
本文主要内容来自公众号：AIGC Research，如侵联删。
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～
