对 AIGC 技术感兴趣,加个关注,保持联系:
ComfyUI 是 Stable Diffusion 的一个基于节点组装绘图流程的图形用户界面(GUI)。通过将不同的节点
连接在一起,你可以在 ComfyUI 中构建图像生成工作流
。一个完整的工作流看起来像下面这样:
我们的 ComfyUI 入门系列教程已经发了 2 篇:
这篇教程我们来继续介绍使用 ComfyUI 来进行图生图。
1、使用 ComfyUI 进行图生图
1.1、下载并加载图生图工作流
要进行图生图,你可以直接下载官方提供的 img2img 工作流来使用:https://comfyanonymous.github.io/ComfyUI_examples/img2img/img2img_workflow.png
下载完成后,将此工作流图像拖放到 ComfyUI 中加载。它长这样:
1.2、操作使用图生图工作流
图生图工作流与文生图工作流的比较类似,差别就是就是增加了图片作为输入之一,同提示词一起来指引主模型生成新的图像。所以我们这里就不详细介绍与文生图中同样的步骤了。
要使用此 img2img 工作流生成图像,你可以进行如下最简操作:
1、在 Load Checkpoint
节点选择 Checkpoint 主模型。2、在两个 CLIP Text Encode
节点分别修改正向提示词和负向提示词。3、调整 KSampler
节点中的denoise
字段的数值来调整降噪强度。这一步是可选,你也可以不调整,使用默认值。4、点击 Queue Prompt
启动生成。
2、图生图工作流的差异部分
图像生成图像(img2img)的工作流是 Stable Diffusion 中的另一个主要工作流,它根据输入的提示词
和图像
两个主要要素来生成图像。在这两个主要要素中,你可以调整降噪(denoise)参数的数值来控制 Stable Diffusion 应该在多大程度上遵循输入图像的指引。
与上一篇介绍的文生图工作流对照来看,图生图工作流中增加了一个 Load Image
节点和一个 VAE Encode
节点,替换掉了文生图工作流中的 Empty Latent Image
节点。
2.1、Load Image 节点
Load Image
节点的功能很简单,就是让你来选择一张图片来作为图像生成流程的输入。
你可能注意到这个节点的输出点有两个模式:IMAGE
和 MASK
,它们的区别如下:
IMAGE
:输出图像作为图像使用。MASK
:输出图像作为蒙版使用。在后面的一些工作流中,我们会用到这种模式,这里就先不介绍了。
2.2、VAE Encode 节点
我们在上一篇教程中介绍过 VAE(Variational Auto Encoder),它用于在像素和潜在空间之间进行图像转换。
我们这里用到的是 VAE 的编码器,VAE Encode
节点的作用就是将图像从像素(pixels)转换到潜在空间(LATENT)以在后面的生成流程中使用。
到这里,我们就介绍完了使用 ComfyUI 的图生图工作流来生成一幅图像的流程,以及其中涉及到的理论知识。
如果上面的教程对你有帮助,不妨关注一下我们跟进后续的内容:
如果你想快速上手学习 AI 绘画相关的技术,欢迎购买《零基础玩转 Stable Diffusion》这本书:
另外,凡是这本书的读者,请通过下面二维码加我微信,免费加入我们的 AIGC 搞钱社群。