国产视频生成大模型 | 书生·筑梦2.0:开启视觉梦幻之旅

2024-09-23 08:14   北京  

点击下方卡片,关注「魔方AI空间」公众号

2024年9月,AI Labs发布Vchitect 2.0,包括模型和训练系统。开源了增强框架 VEnhancer 、训练框架 LiteGen 和基准测试 VBench!

  • Vchitect-2.0 是一个高质量的视频生成模型,具有 20 亿个参数,支持高达 720x480 的分辨率和 10-20 秒的视频持续时间。此外,我们还在开发一个更大的版本,有 50 亿个参数,未来会发布。
  • VEnhancer 是一个生成式时空增强框架。它集成了超分辨率、帧插值和视频优化功能,以 24 FPS 的速度将视频质量提升到 2K 分辨率。
  • LiteGen 是一个轻量级且高效的扩散任务训练框架。在 Vchitect-2.0 模型的训练期间,它使用 8 个 NVIDIA A100 GPU 卡支持高达 163 万个令牌的序列长度。
  • VBench 是视频生成模型的综合基准测试套件,涵盖 28 个文本到视频生成模型12 个图像到视频生成模型

官方主页:https://vchitect.intern-ai.org.cn/

项目地址:https://github.com/Vchitect/Vchitect-2.0

体验地址:https://huggingface.co/spaces/Vchitect/Vchitect-2.0

筑梦2.0开启视觉奇幻之旅,支持20秒长视频生成,兼容4:3、16:9等多种分辨率、支持2K分辨率、24fps帧率的一体化视频超分插帧增强模型、推出首个支持20秒以上长视频的评测框架。

文生视频

5至20秒的单镜头高清视频生成!!
可控分辨率的生成的特性,用户可以选择横屏、竖屏等多种格式
高清画质与一体化超分插帧,支持用户可调控的内容矫正功能

图生视频

将静止的图像转变成5-10秒视频,能够生成丰富的视频素材,提高工作效率,降低生产成本。
古神话题材

十二生肖题材

古诗词题材

视频生成评测VBench

全面且持续更新的评测榜单

覆盖28个文本生成视频模型和12个图像生成视频模型的评测榜单,定期更新,反映最新技术进展和性能表现。

全面开源,一键部署评测

已成为业内公认的视频生成自动化评测标准,受到《南华早报》等媒体的广泛报道,各大视频生成模型纷纷采用我们的评测体系,提升了行业内的评测一致性和透明度。

支持长视频模型多

VBench升级了评测套件用于支持现有主流的长视频生成模型,现在已经支持了包括Gen-3、可灵、OpenSora等主流模型

技术交流

加入「AIGCmagic」群聊,一起交流讨论,且有其他AIGC方向交流群,涉及 AI视频、AI绘画、Sora技术拆解、数字人、多模态、大模型、传统深度学习、自动驾驶等多个不同方向,可私信或添加微信号:【m_aigc2022】,备注不同方向邀请入群!!

往期文章

• AIGCmagic社区共建邀请函!

• 开源实操 | DiffIR2VR-Zero:模糊视频8K高清修复技术

• 太强了!快手的LivePortrait:肖像动画框架 | 可精准控制眼睛和嘴唇动作

• 商汤重磅推出Vimi——亮相WAIC,成为“镇馆之宝” | 2024世界人工智能大会

• FoleyCrafter:自动为视频配音 | 开源AI配音技术 | AI视频有声时代真的来了

• AI视频进入有声时代 | 谷歌 DeepMind 发布V2A:轻松给AI视频配音

• 变天啦!?| Luma 发布视频生成模型 Dream Machine,直逼电影级效果!

• UniAnimate:可控人体视频生成新框架,跳舞视频生成技术再添一员

• MOFA-Video:图像到视频的可控生成框架,可本地一键部署

• AIGC |「视频生成」系列之Hunyuan-DiT:基于DiT架构的最佳中文实践

• 「文生一切」大模型Lumina-T2X:一个框架整合图像、视频、音频和3D生成(附体验地址)

• AIGC |「视频生成」系列之Vidu:国内首个可媲美Sora的视频生成模型

• AIGC |「视频生成」系列之ID-Animator:可保持角色一致生成视频动画


魔方AI空间
AI技术从业者与爱好者,专注于计算机视觉、深度学习、行为识别、多模态、边缘智能等前沿科技成果的研究和技术分享!
 最新文章