【AIGC】ComfyUI 入门教程(9):使用 LoRA

文摘   科技   2024-09-02 08:03   浙江  

对 AIGC 技术感兴趣,加个关注,保持联系:



ComfyUI 是 Stable Diffusion 的一个基于节点组装绘图流程的图形用户界面(GUI)。通过将不同的节点连接在一起,你可以在 ComfyUI 中构建图像生成工作流。一个完整的工作流看起来像下面这样:

ComfyUI 工作流的样子

我们的 ComfyUI 入门系列教程已经发了 4 篇:

这篇教程我们来介绍一下如何在 ComfyUI 中使用 LoRA

1、简介

LoRA 是一种可以对 Checkpoint 模型进行微调的小模型,它经常用于修改绘图风格或将人物形象注入模型。

在 ComfyUI 中我们可以清晰的看到 LoRA 如何对 Checkpoint 模型进行微调:

ComfyUI 中的 LoRA 节点

可以看到,LoRA 模型更改了 Checkpoint 模型的 MODELCLIP,但未触及 VAE

2、简单的 LoRA 工作流

一个简单的 LoRA 工作流可能是这样的:Checkpoint 模型搭配 LoRA 模型的文本到图像工作流

LoRA 工作流

你可以下载上面这个简单的 LoRA 工作流图片,将其拖入到 ComfyUI 中来加载。

接下来,你可以这样使用这个工作流:

  • 1、选择一个 Checkpoint 模型。
  • 2、选择一个 LoRA 模型。
  • 3、修改提示词负向提示词
  • 4、单击 Queue Prompt

3、多个 LoRA

你可以在同一个文本到图像工作流中使用两个或更多个 LoRA。

两个 LoRA 工作流

你可以下载上面这个使用两个 LoRA 的工作流图片,将其拖入到 ComfyUI 中来加载。

使用它的流程与一个 LoRA 工作流类似,但现在你需要选择两个 LoRA 模型。

两个 LoRA 时一个接一个地应用。



如果上面的教程对你有帮助,不妨关注一下我们跟进后续的内容:

如果你想快速上手学习 AI 绘画相关的技术,欢迎购买《零基础玩转 Stable Diffusion》这本书:

另外,凡是这本书的读者,请通过下面二维码加我微信,免费加入我们的 AIGC 搞钱社群。

扫码加我


关键帧Keyframe
系统性地探索音视频、AIGC、区块链技术。
 最新文章