[ComfyUI]FastVideo:混元官方点赞,6步8倍轻量级加速模型!腾讯混元视频模型一致性蒸馏技术

科技   2024-12-21 00:59   浙江  

FastVideo:6步8倍轻量级加速器!腾讯混元视频模型一致性蒸馏技术

🌹大家好!欢迎来到破狼公众号。感谢大家的支持与鼓励。在AIGC探索道路上,我将与你一路同行。喜欢就星标关注破狼公众号或文末扫码加入交流群 !

FastVideo简介

今天文章介绍一款最新视频模型版本:FastVideo,这是一个轻量级框架,目标是在加速大型视频扩散模型的处理速度。框架目前提供了FastHunyuanFastMochi两种模型实现。FastVideo是通过一致性蒸馏技术,实现了8倍的推理速度提升。其中FastHunyuan则是一个加速版的 HunyuanVideo 模型能够以6次扩散步骤采样高质量视频,相比原始 HunyuanVideo 的50步,速度提升了约8倍。另外,有社区传言混元视频模型的图生视频支持将在下个月2025年1月推出。

• github:https://github.com/hao-ai-lab/FastVideo

• huggingface:https://huggingface.co/FastVideo/FastHunyuan

• 在线体验:https://replicate.com/lucataco/fast-hunyuan-video

• [ComfyUI]腾讯混元视频:运动镜头控制!行走动画LORA,最强开源视频可控性里程碑

 [ComfyUI]腾讯混元视频:开源LORA生态来啦!视频人物一致性&运镜可控性里程碑,支持NSFW

• [ComfyUI]腾讯混元视频:v2v视频驱动,最强开源视频模型,影视级画质与导演级运镜,本地16G可体验

• [ComfyUI]腾讯混元视频:虚实完美融合创意无极限!130亿大杯&影视级画质&导演级运镜&原生切镜&遵循物理运动&连续动作

FastVideo ComfyUI体验

首先需要确保已更新ComfyUI到最新版本,并下载对应的FastVideo模型。和之前的混元视频GGUF版本安装使用一致,请参看:腾讯混元视频:ComfyUI官方原生支持!GGUF量化低显存福音!开源生态高速发展

  • • hyvideo_FastVideo:这里有两种方式模型分别为FP8模型和LORA模型。FP8模型放置在目录 /ComfyUI/models/unet下,LORA模型放置在目录 /ComfyUI/models/loras 下。下载地址:https://huggingface.co/Kijai/HunyuanVideo_comfy/tree/main

  • • 本文使用的是ComfyUI官方支持混元工作流版本,因此需要更新ComfyUI本体到最新版本。

Flux文生图工作流

Flux文生图感兴趣的同学可参考LIBLIB在线运行工作流:FLUX[续篇]:12B参数23G最大开源文生图模型,Dev版直出惊艳美图欣赏
本文涉及ComfyUI工作流和模型均可在LIBLIBAI上下载或在线运行体验:

• F.1-绮梦流光-水湄凝香

https://www.liblib.art/modelinfo/134c6dd95aef48e98a22b24e003e026b

• 工作流-Flux文|图生图+LORA+提示反推一键切换工作流

https://www.liblib.art/modelinfo/782aacd70f604da39e83368c696a02a8


FastVideo FP8模型 + LORA工作流

FastVideo FP8模型 + LORA工作流已上传LIBLIB平台

https://www.liblib.art/modelinfo/433fbf0bd2a8484d8e32d9e32258f378?versionUuid=b3f2fbc00c874797b47e11118a83fcaa


注意

  • • 在工作流中使用FastVideo有两种方式:FastVideo模型FastVideo LORA支持,均为6步直出视频模型。实际中建议根据输出场景在6、8、10、12等步数中时间和质量的权衡
  • • 本文中测试均为720*480分辨率121帧5秒视频,24G显存两种方式均大约2分钟多采样器生成完成比之前介绍的GGUF模型5分钟5秒视频加速一倍多,同等质量损失较小(特别BF16+FastVideo模型方式)
  • • 不管是FastVideo模型还是LORA方式需要注意:模型采样SD3节点偏移均需要设置为17(实际推荐在15-17之间调试)。
  • • 由于本文中使用的测试为BF16模型配合FastVideo模型FastVideoFP8模型两种方式视频生成,存在模型精度不对等情况,能够显著看出BF16模型配合FastVideo模型效果更优

BF16模型+FastVideo LORA720*480分辨率121帧5秒视频8步生成,24G显存视频采样生成时间为136秒大约2分钟

FastVideo FP8模型720*480分辨率121帧5秒视频10步生成,24G显存视频采样生成时间为127秒,大约2分钟。因为FP8精度与BF16不对等,尽管10步质量也会差一些。可以加大步数解决。由于时间关系FastVideo全精度后续将继续测试。

01. 雪景(BF16 + FastVideo LORA+8步)

cinematic, anime aesthetic,A young Chinese woman, wearing a white down jacket and a white scarf, looks directly at the audience as she walks down the street in Harbin, watching the snow fall around her

02. 雪景(FastVideo FP8模型 + 10步)

相对质量差一些,增大步数可解决。

cinematic, anime aesthetic,A young Chinese woman, wearing a white down jacket and a white scarf, looks directly at the audience as she walks down the street in Harbin, watching the snow fall around her

03.授业解惑(BF16 + FastVideo LORA+8步))

镜头被固定在一间精心布置的书房里,1位50岁的中国男人坐在书桌前,面对着观众,穿着中医服,背后是背景一个书架,书架上排列着古书和药柜。他的眼睛流露出深沉的智慧。面对镜头,他用温柔而坚定的声音讲述着中医的故事。画面以高品质呈现,色彩沉稳,光影柔和,营造出庄严而温馨的氛围。

04.授业解惑(FastVideo FP8模型+10步))

镜头被固定在一间精心布置的书房里,1位50岁的中国男人坐在书桌前,面对着观众,穿着中医服,背后是背景一个书架,书架上排列着古书和药柜。他的眼睛流露出深沉的智慧。面对镜头,他用温柔而坚定的声音讲述着中医的故事。画面以高品质呈现,色彩沉稳,光影柔和,营造出庄严而温馨的氛围。

混元视频模型:关注公众号口令【视频模型混元目录获取
更多推荐文章:
• [ComfyUI]MagicQuill:无需PS全功能P图编辑工具!8G可运行,最全避坑指南
• [ComfyUI]腾讯混元视频:运动镜头控制!行走动画LORA,最强开源视频可控性里程碑
• [ComfyUI]腾讯混元视频:开源LORA生态来啦!视频人物一致性&运镜可控性里程碑
• [ComfyUI]OminiControl:Flux全能P图神器!乾坤大挪移&重绘&CN控制,极简全能控制器
• [ComfyUI]Flux:国潮经典!敦煌古韵与现代极简国潮插画,敦煌风十二生肖和邮票集锦
• [ComfyUI]Flux:MJ艺术风!基于黑森林F1的Midjourney风,光效&写实&建模&演示&特写镜头
感兴趣加入[AGI技术交流群]+V

    如果觉得文章不错,就请在看转发三连

破狼
关注AIGC、LLM、绘图作品、软件工程、技术学习。交流+V:shunshizhiwu。
 最新文章