点击下方卡片,关注「魔方AI空间」公众号
2024年9月,AI Labs发布Vchitect 2.0,包括模型和训练系统。开源了增强框架 VEnhancer 、训练框架 LiteGen 和基准测试 VBench!
Vchitect-2.0 是一个高质量的视频生成模型,具有 20 亿个参数,支持高达 720x480 的分辨率和 10-20 秒的视频持续时间。此外,我们还在开发一个更大的版本,有 50 亿个参数,未来会发布。 VEnhancer 是一个生成式时空增强框架。它集成了超分辨率、帧插值和视频优化功能,以 24 FPS 的速度将视频质量提升到 2K 分辨率。 LiteGen 是一个轻量级且高效的扩散任务训练框架。在 Vchitect-2.0 模型的训练期间,它使用 8 个 NVIDIA A100 GPU 卡支持高达 163 万个令牌的序列长度。 VBench 是视频生成模型的综合基准测试套件,涵盖 28 个文本到视频生成模型和 12 个图像到视频生成模型。
官方主页:https://vchitect.intern-ai.org.cn/
项目地址:https://github.com/Vchitect/Vchitect-2.0
体验地址:https://huggingface.co/spaces/Vchitect/Vchitect-2.0
筑梦2.0开启视觉奇幻之旅,支持20秒长视频生成,兼容4:3、16:9等多种分辨率、支持2K分辨率、24fps帧率的一体化视频超分插帧增强模型、推出首个支持20秒以上长视频的评测框架。
文生视频
5至20秒的单镜头高清视频生成!!
可控分辨率的生成的特性,用户可以选择横屏、竖屏等多种格式
高清画质与一体化超分插帧,支持用户可调控的内容矫正功能
图生视频
将静止的图像转变成5-10秒视频,能够生成丰富的视频素材,提高工作效率,降低生产成本。
古神话题材
十二生肖题材
古诗词题材
视频生成评测VBench
全面且持续更新的评测榜单
覆盖28个文本生成视频模型和12个图像生成视频模型的评测榜单,定期更新,反映最新技术进展和性能表现。
全面开源,一键部署评测
已成为业内公认的视频生成自动化评测标准,受到《南华早报》等媒体的广泛报道,各大视频生成模型纷纷采用我们的评测体系,提升了行业内的评测一致性和透明度。
支持长视频模型多
VBench升级了评测套件用于支持现有主流的长视频生成模型,现在已经支持了包括Gen-3、可灵、OpenSora等主流模型
技术交流
加入「AIGCmagic」群聊,一起交流讨论,且有其他AIGC方向交流群,涉及 AI视频、AI绘画、Sora技术拆解、数字人、多模态、大模型、传统深度学习、自动驾驶等多个不同方向,可私信或添加微信号:【m_aigc2022】,备注不同方向邀请入群!!
往期文章
• 开源实操 | DiffIR2VR-Zero:模糊视频8K高清修复技术
• 太强了!快手的LivePortrait:肖像动画框架 | 可精准控制眼睛和嘴唇动作
• 商汤重磅推出Vimi——亮相WAIC,成为“镇馆之宝” | 2024世界人工智能大会
• FoleyCrafter:自动为视频配音 | 开源AI配音技术 | AI视频有声时代真的来了
• AI视频进入有声时代 | 谷歌 DeepMind 发布V2A:轻松给AI视频配音
• 变天啦!?| Luma 发布视频生成模型 Dream Machine,直逼电影级效果!
• UniAnimate:可控人体视频生成新框架,跳舞视频生成技术再添一员
• MOFA-Video:图像到视频的可控生成框架,可本地一键部署
• AIGC |「视频生成」系列之Hunyuan-DiT:基于DiT架构的最佳中文实践
• 「文生一切」大模型Lumina-T2X:一个框架整合图像、视频、音频和3D生成(附体验地址)
• AIGC |「视频生成」系列之Vidu:国内首个可媲美Sora的视频生成模型
• AIGC |「视频生成」系列之ID-Animator:可保持角色一致生成视频动画