重磅!Meta发布电影级视频生成模型Movie Gen,不用等Sora了!

旅行   2024-10-05 08:49   北京  

Meta刚刚发布了一款革命性的AI视频生成系统!

OpenAI 的Sora 迟迟未发布,Meta后来居上,正式发布了其最先进的媒体基础模型——Meta Movie Gen。

Movie Gen,这个由Meta AI研究团队开发的媒体基础模型系列,正在重新定义AI视频制作的可能性。它不仅能生成高质量视频,还能进行精准编辑,甚至为视频配音——这一切都只需要简单的文字指令。

Meta Movie Gen不仅仅是一个简单的视频生成工具,它是一套全方位的媒体创作系统。这个系统包含了两个核心模型:

  1. Movie Gen Video:一个拥有300亿参数的transformer模型,能够根据单一文本提示生成高质量、高清晰度的图像和视频。

  2. Movie Gen Audio:一个130亿参数的transformer模型,可以接受视频输入和可选的文本提示,生成与视频完美同步的高保真音频。它不仅能创造环境音,还能生成配乐和特效音。

这两个模型的结合,让AI创作的视频内容更加丰富多彩,逼真度也大幅提升。

强大的视频生成能力


Movie Gen Video,这个30B参数的transformer模型,可以根据文字提示生成高质量、高清晰度的图像和视频。它的表现不仅超越了之前的最先进模型,甚至在文本对齐、视觉质量和真实感等方面超过了商业系统。

更令人兴奋的是,Movie Gen还能进行个性化视频制作。只需一张人物照片和一段文字描述,它就能生成一段保持角色一致性且动作自然的视频。

由于模型还没正式发布,有网友迫不及待给了张小扎的照片:

高质量的音频生成

Movie Gen Audio,这个13B参数的transformer模型,可以为视频生成高保真音频。它不仅可以生成环境音、配乐,还能生成同步的音效,在音频质量、视频-音频同步和文本-音频对齐方面都达到了最先进水平。

这个模型甚至能使用高级技术如多重扩散来为视频生成长篇连贯的音频。

Sebastian Raschka(@rasbt) 对此表示赞赏:

很棒,而且还附带了一篇研究论文👏😊

精准的视频编辑

Meta Movie Gen的强大之处不仅在于生成,还在于精细化编辑。它可以根据现有视频和文本指令进行局部编辑,比如添加、删除或替换元素,甚至可以进行全局性的背景或风格变更。

这意味着创作者可以更加灵活地调整和优化他们的作品,大大提高了创作效率和作品质量

个性化视频:AI眼中的你

更令人兴奋的是,Meta Movie Gen还具备个性化视频生成的能力。只需提供一张人物照片和文本提示,它就能生成一段保留人物特征、动作自然的视频。

这项功能将为个人创作者和品牌营销带来革命性的变化,让每个人都能轻松制作专属于自己的高质量视频内容。

打赢Sora、可灵、Runway Gen3


在评测中(评测细节见论文),Meta 展示了Movie Gen 模型在四项能力上的A/B人类评估对比。正净胜率上,Movie Gen 完胜,与可灵接近,比Sora 更好!

正与专业人士共创

Meta团队表示,他们正在与各领域的创意专业人士密切合作,不断整合反馈意见,为未来可能的正式发布做准备。

开源虚位以待


Hugging Face 也为Meta 预留了空间”:等你来!


Meta Movie Gen 展示了Meta在AI研究方面的雄厚实力,更预示着我们即将进入一个全新的视觉创作时代。

论文地址

92 页论文见:


https://ai.meta.com/static-resource/movie-gen-research-paper/




👇

👇

👇

👇

本文同步自于知识星球《AGI Hunt》

星球实时采集和监控推特、油管、discord、电报等平台的热点AI 内容,并基于数个资讯处理的 AI agent 挑选、审核、翻译、总结到星球中。

  • 每天约监控6000 条消息,可节省约800+ 小时的阅读成本;

  • 每天挖掘出10+ 热门的/新的 github 开源 AI 项目;

  • 每天转译、点评 10+ 热门 arxiv AI 前沿论文。

星球非免费。定价99元/年,0.27元/天。(每+100人,+20元。元老福利~)

  • 一是运行有成本,我希望它能自我闭环,这样才能长期稳定运转;

  • 二是对人的挑选,鱼龙混杂不是我想要的,希望找到关注和热爱 AI 的人。

欢迎你的加入!

AGI Hunt
关注AGI 的沿途风景!
 最新文章