模型
[ComfyUI]奈飞视频生成控制新方法，轻松掌控视频模型运动模式，CogVideoX运动体验
Go-with-the-Flow简介
今天文章主题将介绍一款由奈飞提出的一个新的视频生成控制方式：Go-with-the-Flow。这是一种简单高效的视频生成控制方法，可以被用于控制视频扩散模型中的运动模式。Go-with-the-Flow允许用户决定场景中镜头和物体的运动方式，甚至可以将一个视频的运动模式转移到另一个视频上。
Go-with-the-Flow方法只需对基础模型进行微调，而无需对原始管道或架构进行任何更改，除了使用扭曲噪声（warped noise）代替纯独立同分布的高斯噪声（Gaussian noise）。推理的计算成本与运行基础模型完全相同，不会增加其他额外的性能影响。该方法既可以运用于图像到视频（Image-to-Video, I2V）模型，同时还可以应用于文本到视频（Text-to-Video, T2V）模型，仅通过运动信息就能推导出3D场景。
• Github：https://github.com/VGenAI-Netflix-Eyeline-Research/Go-with-the-Flow
• 项目主页：https://vgenai-netflix-eyeline-research.github.io/Go-with-the-Flow/
Cut-and-drag Motion Control
Go-with-the-Flow方法采用剪切和拖动方式运动控制（ Cut-and-drag Motion Control）。剪切和拖动运动控制允许用户从一张图片开始，通过剪切图片的不同部分并将它们拖动到其他位置来创建视频。对于剪切拖动运动控制，分为两部分：
• 一个创建粗略动画（无需GPU）；
• 另一个则是将这个粗略动画转化为精美的视频（需要GPU）的扩散脚本。
Go-with-the-Flow方法ComfyUI体验
@kijai大佬已经在最新的ComfyUI-CogVideoXWrapper插件中支持Go-with-the-Flow体验。模型可文末网盘下载。
• ComfyUI-CogVideoXWrapper插件：https://github.com/kijai/ComfyUI-CogVideoXWrapper
• ComfyUI-KJNodes：需要更新插件KJNodes，新增了创建NoiseWarp流程节点，配合SplineEditor使用。插件地址：https://github.com/kijai/ComfyUI-KJNodes
• ComfyUI-VideoNoiseWarp：还需安装新插件ComfyUI-VideoNoiseWarp。插件地址：https://github.com/kijai/ComfyUI-VideoNoiseWarp
• comfyui-inpaint-nodes：还需要结合comfyui-inpaint-nodes或cv2修复功能来生成剪切和拖动的输入视频。
• big-lama.pt：需要下载该模型，并放置目录/ComfyUI/models/inpaint。下载地址：https://huggingface.co/spaces/aryadytm/remove-photo-object/blob/f00f2d12ada635f5f30f18ed74200ea89dd26631/assets/big-lama.pt
• Go-with-the-Flow LORA下载：另外还需要下载对应LORA模型。下载地址：https://huggingface.co/VGenAI-Netflix-Eyeline-Research/Go-with-the-Flow/tree/main
• Kijai/CogVideoX-5b-1.5模型：模型会自动下载，如需手动下载模型，则需要下载整个项目全部文件，并放置ComfyUI/models/CogVideo。下载地址：https://huggingface.co/THUDM/CogVideoX1.5-5B-I2V/tree/main
• 关于CogVideoX模型安装请参考文章：智谱CogVideoX1.5：重大升级，可商用开源模型！10秒&增强质量&任意分辨率，ComfyUI无缝体验、[ComfyUI]Flux&CogVideoX5B开源AI视频重大里程碑，附文|图|续写视频精彩案例
Flux文生图&混元视频工作流
• F.1-绮梦流光-水湄凝香：
https://www.liblib.art/modelinfo/134c6dd95aef48e98a22b24e003e026b
• 文生图-Flux文生图(PuLID|LORA|Joy|SUPIR)工作流：
https://www.liblib.art/modelinfo/782aacd70f604da39e83368c696a02a8?versionUuid=9c5eceb01fb94d4d93d60fe2c0bd7468
• 文生视频-腾迅混元最强开源视频(LORA)工作流：
https://www.liblib.art/modelinfo/35ee21d5f6a94204abb767ad194ab9cd?versionUuid=be674032ffa14e5597a08922556f4da0
CogVideoX Go-with-the-Flow工作流
注意：
• 注意CogVideoX视频生需要保持720*480分辨率，针对输入图像需要限制，否则容易变形。 • Go-with-the-Flow在镜头可控性表现力比较强，能够更大的控制视频运镜移动。有时在边缘处理存在少量不和谐表现。这依赖于修复模型的边缘修复精度和准确性。
01.老鼠骑士
mouse knight walking in a forest02.沙滩摩托车
A woman rides a motorbike along the beach如果觉得文章不错，就请赞、在看与转发三连
