[ComfyUI]腾讯混元视频:v2v视频驱动,最强开源视频模型,影视级画质与导演级运镜,本地16G可体验

科技   2024-12-07 18:15   浙江  

腾讯混元视频:v2v视频驱动,影视级画质与导演级运镜,

🌹大家好!欢迎来到破狼公众号。感谢大家的支持与鼓励。在AIGC探索道路上,我将与你一路同行。喜欢就星标关注破狼公众号或文末扫码加入交流群 !

HunyuanVideo简介

在之前文章中已经介绍过腾讯最新开源的当前最大参数的文生视频模型:HunyuanVideo。这是一款全新的开源视频生成具有130 亿参数大模型,具有与领先的闭源模型相媲美甚至更优的视频生成表现。采用了一个全面的框架,集成了数据整理、图像-视频联合模型训练和高效的基础设施以支持大规模模型训练和推理。详情参见:[ComfyUI]腾讯混元视频:虚实完美融合创意无极限!130亿大杯&影视级画质&导演级运镜&原生切镜&遵循物理运动&连续动作

在之前的文章中介绍了由社区kija大佬的ComfyUI-HunyuanVideoWrapper插件体验。当时还在开发中进支持 文生视频。如今kija大佬又升级了插件,支持了 视频到视频(Vid2vid) 的能力。本文这是视频到视频(Vid2vid) 续篇体验内容。

  • • github:https://github.com/Tencent/HunyuanVideo

  • • huggingface:https://huggingface.co/tencent/HunyuanVideo

  • • 项目主页:https://aivideo.hunyuan.tencent.com/

HunyuanVideo ComfyUI体验

当前社区 @kijai大佬已发布最新的ComfyUI-HunyuanVideoWrapper ComfyUI插件支持。更多安装详情参考文章[ComfyUI]腾讯混元视频:虚实完美融合创意无极限!130亿大杯&影视级画质&导演级运镜&原生切镜&遵循物理运动&连续动作

  • • ComfyUI-HunyuanVideoWrapper:需要通过管理器Git安装,地址:https://github.com/kijai/ComfyUI-HunyuanVideoWrappe

  • • 混元视频模型:模型文件已更新,新下载地址为:

  • • 注意:原生的HunyuanVideo需要至少45G的显存运行,因此本文选择fp8的量化版本。尽管如此如此,显存的使用完全取决于分辨率和帧数,即使在24GB的GPU上也没法处理很高的分辨率和帧数。但幸好,HunyuanVideo在即使较低的分辨率下,模型也能生成功能正常的视频。

Flux文生图工作流

Flux文生图感兴趣的同学可参考LIBLIB在线运行工作流:FLUX[续篇]:12B参数23G最大开源文生图模型,Dev版直出惊艳美图欣赏
本文涉及ComfyUI工作流和模型均可在LIBLIBAI上下载或在线运行体验:

• F.1-绮梦流光-水湄凝香

https://www.liblib.art/modelinfo/134c6dd95aef48e98a22b24e003e026b

• 工作流-Flux文|图生图+LORA+提示反推一键切换工作流
https://www.liblib.art/modelinfo/782aacd70f604da39e83368c696a02a8

HunyuanVideo-V2V工作流

HunyuanVideo-V2V工作流已上传LIBLIB平台
https://www.liblib.art/modelinfo/433fbf0bd2a8484d8e32d9e32258f378?versionUuid=843b1c1a2afb434687ef2d430ea4c3d7

注意
• 在线体验地址:腾讯元宝注册链接
https://yuanbao.tencent.com/bot/app/share/chat/HKDTKRA/videoTrafficDiversion
• attention model:默认选项为flash_attn(window首选)sgeattn(速度最快,但安装最难),spda 当前也工作流。
• 根据输入视频节点帧数读取上限调节视频总帧数。
• 可以根据图像连接方向选择视频合成位置,如下所示:

01.奔跑

high quality nature video of a excited brown bear running down a stream, masterpiece, best quality

02. 轮船

高质量的自然视频,一艘轮船在海上疾驰而过,杰作,最好的质量

03.真人转绘

人物速度比较快速,这里采用剪影基础延长放慢帧速配音结合实现。

High quality, high quality nature video, masterpiece,Japanese 3D anime style, 1 3D animated woman, wearing white tracksuit, gym treadmill rhythm running

04.真人健身

通常人物速度比较快速,这里采用剪影基础延长放慢帧速配音结合实现。

高品质,高品质的自然视频,杰作,1个女人穿着白色的运动服,健身房跑步机节奏跑步

05.真人舞蹈

人物舞蹈速度比较快速,这里采用剪影基础延长放慢帧速配音结合实现。

高质量,高质量的自然视频,杰作,1个中国女人身穿红色长裙,跳舞

更多推荐文章:
• [ComfyUI]腾讯混元视频:虚实完美融合创意无极限!130亿大杯&影视级画质&导演级运镜&原生切镜&遵循物理运动&连续动作
• [ComfyUI]Flux:国潮经典!敦煌古韵与现代极简国潮插画,敦煌风十二生肖和邮票集锦
 [ComfyUI]AWPortraitCN:更真实质感细腻!专门针对国人外貌和审美优化F1模型
• 写实效果炸裂!疑似AI概率最低仅1%,轻松通过AI检测适用小红书日常写实模型,无缝接入ComfyUI自动化设计流程
• DistyFlow:与众不同的工作流体验!降低入门难度,快捷高效全新体验,不容错过高效利器
感兴趣加入[AGI技术交流群]+V

    如果觉得文章不错,就请在看转发三连

破狼
关注AIGC、LLM、绘图作品、软件工程、技术学习。交流+V:shunshizhiwu。
 最新文章