ComfyUI原生精确多区域控制!官方最新LoRA和模型权重的遮罩和调度方法

科技   2024-12-12 18:12   浙江  

LoRA和模型权重的遮罩和调度

🌹大家好!欢迎来到破狼公众号。感谢大家的支持与鼓励。在AIGC探索道路上,我将与你一路同行。喜欢就星标关注破狼公众号或文末扫码加入交流群 !

LoRA和模型权重的遮罩和调度简介

最近ComfyUI迎来了一次新的功能更新,在这次更新中ComfyUI在其调节系统中新加入的两项功能:遮罩(Masking)和 调度(Scheduling)LoRA及模型权重。这几项功能适用于所有模型,包括最新的Flux模型。并且允许用户更精细地控制模型的行为。遮罩功能使得特定LoRA和模型权重可以被应用到CLIP和调节中,而调度功能则允许这些权重在采样过程中按预定计划变化。在ComfyUI中可以使用Create Hook LoRACreate Hook Model as LoRA等节点,来实现遮罩分区和调度。通过这些Hook新功能,用户可以更精确地控制模型的行为,特别是在复杂的图像合成任务中,能够根据需要调度和遮罩分区特定的LoRA和模型权重,以达到预期的视觉效果。精准控制多区域绘图,特别对于复杂长图分区域实现尤为重要。

另外,本次更新还包括对ModelPatcher的重构,以及引入了wrappers和 callbacks,使得自定义节点的实现更加简便,减少了插件扩展中需要进行的hack操作,这部分内容将在后续文章介绍。

  • • 博客主页:https://blog.comfy.org/masking-and-scheduling-lora-and-model-weights/

LoRA和模型权重的遮罩和调度 ComfyUI体验

本次ComfyUI的LoRA和模型权重的遮罩和调度功能更新,适用于所有的模型,当然包括最新Flux模型。本文将以Flux模型为案例演示。与基础Flux文生图环境设置无区别,仅需更新ComfyUI到最新版本

Flux文生图工作流

Flux文生图感兴趣的同学可参考LIBLIB在线运行工作流:FLUX[续篇]:12B参数23G最大开源文生图模型,Dev版直出惊艳美图欣赏
本文涉及ComfyUI工作流和模型均可在LIBLIBAI上下载或在线运行体验:

• F.1-绮梦流光-水湄凝香

https://www.liblib.art/modelinfo/134c6dd95aef48e98a22b24e003e026b

• 工作流-Flux文|图生图+LORA+提示反推一键切换工作流

https://www.liblib.art/modelinfo/782aacd70f604da39e83368c696a02a8


LoRA和模型权重的遮罩和调度工作流

LoRA和模型权重的遮罩和调度工作流已上传LIBLIB平台
https://www.liblib.art/modelinfo/121276edcd2f48c398c3ee334e6e0749?versionUuid=59fa66cb35a1442fadc49b3efa57e01e

 注意

• 本文中分别采用不同的LORA模型与提示词组结合,使用提示词描述不同的场景,而LORA可以不同权重或LORAO型,形成多样性的风格。当前效果还不是最佳,仍然还需要抽卡解决。如:动漫和写实结合等。
• ComfyUI提供的Hook可以实现更多组分区的组合。但在运行时速率很慢,故笔者选择2组同时结合Flux-FP8模型运行。遮罩也可以使用输入图像人工涂抹实现。同时也可以增加全局提示词输入背景场景等共同画面。
• 该分区控制方案不仅适用于Flux,还适应于SDXL等ComfyUI支持模型。同时也可以调整不同分区使用不用模型。只因笔者本地XL模型LORA已近乎删除。故采用Flux模型演示。

01. 写真

在本例中两个分区都使用了AWPortraitCN LORA模型。LORA详情参见:[ComfyUI]AWPortraitCN:更真实质感细腻!专门针对国人外貌和审美优化F1模型

区域1构图提示词:An Asian woman in a black suit in a bar

区域2构图提示词:An Asian woman in a red dress in a bar

02.酒吧

区域1构图提示词:An Asian man in a black suit was sitting on the left side of the table at the bar holding a glass of wine

区域2构图提示词:An Asian woman in a long red dress was sitting at the right side of the table at the bar with a glass in her hand

03.沙滩

区域1构图提示词:Authentic photo style, A leisurely beach in summer. A laid-back penguin.

区域2构图提示词:An Asian woman in a red dress lies sunbathing on the beach. background is A blue sky

更多推荐文章:
• [ComfyUI]Flux:极致光影!F1复古胶片摄影写实,模拟胶片极致色彩&光影&颗粒感
• 腾讯混元视频:视频写真换脸,请合理使用!工作流一键视频写真,导演级&虚拟与现实完美融合
• [ComfyUI]Flux:国潮经典!敦煌古韵与现代极简国潮插画,敦煌风十二生肖和邮票集锦
• [ComfyUI]Flux:MJ艺术风!基于黑森林F1的Midjourney风,光效&写实&建模&演示&特写镜头
• [ComfyUI]腾讯混元视频:v2v视频驱动,最强开源视频模型,影视级画质与导演级运镜
 [ComfyUI]AWPortraitCN:更真实质感细腻!专门针对国人外貌和审美优化F1模型

    感兴趣加入[AGI技术交流群]+V

    如果觉得文章不错,就请在看转发三连

破狼
关注AIGC、LLM、绘图作品、软件工程、技术学习。交流+V:shunshizhiwu。
 最新文章