​[ComfyUI]腾讯混元视频:官方极限优化8GB可运行!32G到8G极限优化,开源生态加速

科技   2024-12-29 18:24   四川  

[ComfyUI]腾讯混元视频:8GB VRAM可运行!官方重大更新

🌹大家好!欢迎来到破狼公众号。感谢大家的支持与鼓励。在AIGC探索道路上,我将与你一路同行。喜欢就星标关注破狼公众号或文末扫码加入交流群 !
Inside an abandoned factory, the camera tracks a male protagonist walking through a large space filled with industrial machinery. The pipes and machines slowly rotate and adjust their positions, creating an eerie sense of motion
参数:`tile_size = 128, overlap=32, temporal_size=32, temporal_overlap=4`

ComfyUI混元视频支持更新

近日ComfyUI官方带来了最新的圣诞好消息:随着ComfyUI v0.3.10 版本的发布,现在可以在仅有8GB VRAM的GPU上运行HunyuanVideo模型。本次升级显存加速是因为:ComfyUI官方团队通过引入Temporal Tiling支持到视频VAEs,显著降低了运行这个当前最强的开源视频模型的VRAM需求(之前为32GB)。
Temporal Tilingspacial tiling不同;spacial tiling很简单,因为它们在潜在和像素空间之间的映射非常好。对于8倍空间压缩,看起来像这样:1x1 latent → 8x8 pixels, 2x1 latent → 16x8 pixels, 4x4 latent → 32x32 pixels,以此类推。

要启用Temporal Tiling配置,需要:

  1. 1. 更新ComfyUI软件到最新版本
  2. 2. 在“VAE Decode(Tiled)”节点中,如果内存少于32GB,尝试降低tile_sizeoverlaptemporal_sizetemporal_overlap
  3. 3. 如果仍然内存不足或想要加速推理,可以在“Load Diffusion Model”节点中选择fp8 weight_dtype

更多混元视频模型的使用参见之前的文章:

混元视频ComfyUI体验

首先需要更新ComfyUI到最新版本,然后下载对应模型并放置正确目录,详细步骤参考之前文章:腾讯混元视频:ComfyUI官方原生支持!GGUF量化低显存福音!开源生态高速发展
  • • 还需要下载Unet、Vae、Clip模型,模型下载可文末网盘获取。也可参考之前文章链接获取:腾讯混元视频:ComfyUI官方原生支持!GGUF量化低显存福音!开源生态高速发展

  • • 另外笔者也更新最新仙宫云镜像,已支持@Kijai@ComfyUI官方最新混元视频工作流:https://www.xiangongyun.com/image/detail/994deb2d-d531-43ca-b3f6-12bcd5fd6828?r=UJ6IVE

  • LIBLIBAI平台也已经支持混元视频流:https://www.liblib.art/modelinfo/35ee21d5f6a94204abb767ad194ab9cd?versionUuid=be674032ffa14e5597a08922556f4da0

Flux文生图&混元视频工作流

最新LIBLIBAI平台已支持Flux文生图混元视频ComfyUI工作流在线体验:

• F.1-绮梦流光-水湄凝香

https://www.liblib.art/modelinfo/134c6dd95aef48e98a22b24e003e026b

文生图-Flux文生图(PuLID|LORA|Joy|SUPIR)工作流

https://www.liblib.art/modelinfo/782aacd70f604da39e83368c696a02a8?versionUuid=9c5eceb01fb94d4d93d60fe2c0bd7468

• 文生视频-腾迅混元最强开源视频(LORA)工作流

https://www.liblib.art/modelinfo/35ee21d5f6a94204abb767ad194ab9cd?versionUuid=be674032ffa14e5597a08922556f4da0


混元ComfyUI官方视频工作流

混元ComfyUI官方视频工作流已上传LIBLIB平台

https://www.liblib.art/modelinfo/433fbf0bd2a8484d8e32d9e32258f378?versionUuid=5125ecb71ba947f58225e1f3714e6bdc

注意

  • • ComfyUI本次更新支持了最低8G显存运行体验混元视频模型
  • • 核心引入VAE Decode(Tiled)节点极限优化。如仍然显存不足可结合FP8模型使用

01.冬雪

A young Chinese woman, wearing a white down jacket and a white scarf, looks directly at the audience as she walks down the street in Harbin, watching the snow fall around her

02.图书馆

princess zelda sitting at a desk in a library with a stack of books and she’s texting on her iPhone

03.上帝游戏

The video shows back view of God as an elderly man with long white hair and beard, wearing a white robe, in front of a wide computer monitor.   The computer screen displays a realistic piano hanging on a rope above a man in business suit walking on the street.   The elderly man's index finger hovers over a key labeled "Pause" on computer's keyboard.   The video is humorous and whimsical, blending reality and fantasy.
混元视频模型:关注公众号口令【视频模型混元目录获取
更多推荐文章:
• LuminaBrush:CN作者最新大作,图像打光交互工具,简单画笔刷即可轻松搞定电商展览|摄影写真
• [ComfyUI]CLIPtion:仅需100MB内存!媲美Florence2高效轻量级图像标注模型
• [ComfyUI]HelloMemeV2:表情迁移神器!直播数字人,更强保真和表情丰富的一致性迁移
• [ComfyUI]腾讯混元视频:强烈推荐!质量增强神器!Enhance-A-Video无性能和内存显著影响
• 腾讯混元视频:ComfyUI官方原生支持!GGUF量化低显存福音!开源生态高速发展
感兴趣加入[AGI技术交流群]+V

    如果觉得文章不错,就请在看转发三连

破狼
关注AIGC、LLM、绘图作品、软件工程、技术学习。交流+V:shunshizhiwu。
 最新文章