LoRA和模型权重的遮罩和调度
🌹大家好!欢迎来到破狼公众号。感谢大家的支持与鼓励。在AIGC探索道路上,我将与你一路同行。喜欢就星标关注破狼公众号或文末扫码加入交流群 !
LoRA和模型权重的遮罩和调度简介
最近ComfyUI迎来了一次新的功能更新,在这次更新中ComfyUI在其调节系统中新加入的两项功能:遮罩(Masking)和 调度(Scheduling)LoRA及模型权重。这几项功能适用于所有模型,包括最新的Flux模型。并且允许用户更精细地控制模型的行为。遮罩功能使得特定LoRA和模型权重可以被应用到CLIP和调节中,而调度功能则允许这些权重在采样过程中按预定计划变化。在ComfyUI中可以使用Create Hook LoRA和Create Hook Model as LoRA等节点,来实现遮罩分区和调度。通过这些Hook新功能,用户可以更精确地控制模型的行为,特别是在复杂的图像合成任务中,能够根据需要调度和遮罩分区特定的LoRA和模型权重,以达到预期的视觉效果。精准控制多区域绘图,特别对于复杂长图分区域实现尤为重要。
另外,本次更新还包括对ModelPatcher的重构,以及引入了wrappers和 callbacks,使得自定义节点的实现更加简便,减少了插件扩展中需要进行的hack操作,这部分内容将在后续文章介绍。
• 博客主页:https://blog.comfy.org/masking-and-scheduling-lora-and-model-weights/
LoRA和模型权重的遮罩和调度 ComfyUI体验
本次ComfyUI的LoRA和模型权重的遮罩和调度功能更新,适用于所有的模型,当然包括最新Flux模型。本文将以Flux模型为案例演示。与基础Flux文生图环境设置无区别,仅需更新ComfyUI到最新版本。
Flux文生图工作流
• F.1-绮梦流光-水湄凝香:
https://www.liblib.art/modelinfo/134c6dd95aef48e98a22b24e003e026b
• 工作流-Flux文|图生图+LORA+提示反推一键切换工作流:
https://www.liblib.art/modelinfo/782aacd70f604da39e83368c696a02a8
LoRA和模型权重的遮罩和调度工作流
注意:
01. 写真
在本例中两个分区都使用了AWPortraitCN LORA模型。LORA详情参见:[ComfyUI]AWPortraitCN:更真实质感细腻!专门针对国人外貌和审美优化F1模型
区域1构图提示词
:An Asian woman in a black suit in a bar
区域2构图提示词
:An Asian woman in a red dress in a bar
02.酒吧
区域1构图提示词
:An Asian man in a black suit was sitting on the left side of the table at the bar holding a glass of wine
区域2构图提示词
:An Asian woman in a long red dress was sitting at the right side of the table at the bar with a glass in her hand
03.沙滩
区域1构图提示词
:Authentic photo style, A leisurely beach in summer. A laid-back penguin.
区域2构图提示词
:An Asian woman in a red dress lies sunbathing on the beach. background is A blue sky
感兴趣加入[AGI技术交流群]+V
如果觉得文章不错,就请赞、在看与转发三连