FastVideo,用于加速大型视频扩散模型的开源框架

科技   2024-12-30 00:00   浙江  

FastVideo,用于加速大型视频扩散模型的开源框架。具体来说,这是一个开源的高性能视频生成工具,支持最先进的模型,并显著提升推理速度。

核心技术:采用一致性蒸馏(Consistency Distillation, CD)技术,这是首次在视频扩散Transformer(DiT)上开源的完整CD方案。

FastVideo 目前提供:(未来将提供更多)

  • FastHunyuan 和 FastMochi:一致性提炼视频扩散模型,可将推理速度提高 8 倍。
  • 首次公开基于PCM的视频 DiT 蒸馏配方。
  • 支持提取/微调/推理最先进的开放视频 DiT:1. Mochi 2. Hunyuan。
  • 通过 FSDP、序列并行和选择性激活检查点进行可扩展训练,并接近线性扩展到 64 个 GPU。
  • 使用 LoRA、预计算潜在和预计算文本嵌入进行内存高效微调。

参考文献:
[1] 项目:https://github.com/hao-ai-lab/FastVideo



欢迎支持我的知识星球(NLP工程化):Dify源码剖析及答疑,Dify对话系统源码,电子书籍报告下载,公众号所有付费资料。若微信群二维码过期,则加微信buxingtianxia21进群。

NLP工程化知识星球

NLP工程化资料群

NLP工程化
专注于对话系统领域的技术分享,重点写《Dify应用操作和源码剖析》专栏。
 最新文章