腾讯混元视频：极致显存管理，6G可运行129帧512x384视频！最强视频模型生态加速
🌹大家好！欢迎来到破狼公众号。感谢大家的支持与鼓励。在AIGC探索道路上，我将与你一路同行。喜欢就星标关注破狼公众号或文末扫码加入交流群 ！
DiffSynth Studio混元视频支持
今天介绍一款由魔搭社区开源项目DiffSynth Studio，它是一个扩散引擎，重新构建了包括文本编码器、UNet、VAE在内的架构，既保持了与开源社区模型的兼容性，又增强了计算性能。当前已支持最新开源腾讯混元视频支持。 DiffSynth Studio实现了对腾讯混元HunyuanVideo视频模型的高级显存管理，使其能够在24GB显存下无损质量的生成129x720x1280分辨率的视频，或者在极致显存情况下，6GB显存下生成129x512x384分辨率的视频。
当前DiffSynth Studio项目已支持：HunyuanVideo、CogVideoX、FLUX、Kolors、Stable Diffusion 3等共15种扩散模型运行。本文将重点关注腾讯混元视频模型的体验和使用。
• Github：https://github.com/modelscope/DiffSynth-Studio
• 项目文档：https://diffsynth-studio.readthedocs.io/zh-cn/latest/index.html
演示案例
项目提供了针对HunyuanVideo的推理代码，参见：https://github.com/modelscope/DiffSynth-Studio/tree/main/examples/HunyuanVideo
由hunyuanvideo_80G.py和hunyuanvideo_24G.py生成的视频：
使用hunyuanvideo_6G.py 和 行走LORA生成的视频：lora地址：https://civitai.com/models/1032126/walking-animation-hunyuan-video
使用hunyuanvideo_v2v_6G.py 和上例中LORA生成的V2V视频到视频：
• [ComfyUI]腾讯混元视频：官方极限优化8GB可运行！32G到8G极限优化，开源生态加速 • [ComfyUI]腾讯混元视频：强烈推荐！质量增强神器！Enhance-A-Video无性能和内存显著影响,免费视频质量增强 • 腾讯混元视频：ComfyUI官方原生支持！GGUF量化低显存福音！开源生态高速发展 • [ComfyUI]腾讯混元视频：运动镜头控制！行走动画LORA，最强开源视频可控性里程碑 • [ComfyUI]腾讯混元视频：v2v视频驱动，最强开源视频模型，影视级画质与导演级运镜，本地16G可体验
DiffSynth Studio混元视频体验
首先需要下载和安装对应DiffSynth Studio源码，建议使用独立conda虚拟环境。
git clone https://github.com/modelscope/DiffSynth-Studio.git
cd DiffSynth-Studio
pip install -e .
# 推理代码
python examples/HunyuanVideo/hunyuanvideo_80G.py
python examples/HunyuanVideo/hunyuanvideo_24G.py
python examples/HunyuanVideo/hunyuanvideo_6G.py
python examples/HunyuanVideo/hunyuanvideo_v2v_6G.pyFlux文生图&混元视频工作流
• F.1-绮梦流光-水湄凝香：
https://www.liblib.art/modelinfo/134c6dd95aef48e98a22b24e003e026b
• 文生图-Flux文生图(PuLID|LORA|Joy|SUPIR)工作流：
https://www.liblib.art/modelinfo/782aacd70f604da39e83368c696a02a8?versionUuid=9c5eceb01fb94d4d93d60fe2c0bd7468
• 文生视频-腾迅混元最强开源视频(LORA)工作流：
https://www.liblib.art/modelinfo/35ee21d5f6a94204abb767ad194ab9cd?versionUuid=be674032ffa14e5597a08922556f4da0
DiffSynth Studio混元视频体验
本代码还需本地部署运行，下面是核心改造代码。
#仅需改造代码保持如下格式即可
# Enjoy!
prompt = f"文生视频提示词"
video = pipe(prompt, seed=0, height=512, width=384, num_frames=129, num_inference_steps=18, tile_size=(17, 16, 16), tile_stride=(12, 12, 12))
save_video(video,"video_girl-1.mp4", fps=30, quality=6)
01.行走动漫(6G加载)
kxsr, full body, no crop, A 3D-rendered CG animation video featuring a Gorgeous, mature, curvaceous, fair-skinned female girl with long silver hair and blue eyes. She wears a white t-shirt and a blue sports skirt, walking offering a sense of fluid movement and vivid animation.LIBLIBAI混元视频体验
另外LIBLIBAI平台已支持混元视频在线体验，大约消耗300积分，进入主页点击运行按钮即可。体验入口：https://www.liblib.art/modelinfo/35ee21d5f6a94204abb767ad194ab9cd?versionUuid=be674032ffa14e5597a08922556f4da0
01.冬雪
A young Chinese woman, wearing a white down jacket and a white scarf, looks directly at the audience as she walks down the street in Harbin, watching the snow fall around her02.图书馆
princess zelda sitting at a desk in a library with a stack of books and she’s texting on her iPhone感兴趣加入[AGI技术交流群]+V
