对 AIGC 技术感兴趣,加个关注,保持联系:
ComfyUI 是 Stable Diffusion 的一个基于节点组装绘图流程的图形用户界面(GUI)。通过将不同的节点
连接在一起,你可以在 ComfyUI 中构建图像生成工作流
。一个完整的工作流看起来像下面这样:
我们的 ComfyUI 入门系列教程已经发了 4 篇:
ComfyUI 入门教程(1):安装 ComfyUI ComfyUI 入门教程(2):从文本生成图像的流程 ComfyUI 入门教程(3):图生图工作流 ComfyUI 入门教程(4):ComfyUI 管理器
这篇教程我们来继续介绍使用 ComfyUI 来进行图片上采样放大。
Stable Diffusion 中有几种上采样方式。为了方便大家理解,这篇文章我们来依次介绍一下:
1、AI 上采样器 2、Hi-res fix 3、Ultimate Upscale
1、AI 上采样器
AI 上采样器是一个用于放大图像并填充细节的 AI 模型,它不是 Stable Diffusion 模型,而是经过训练用于放大图像的神经网络。
你可以在 https://comfyanonymous.github.io/ComfyUI_examples/upscale_models/
页面下载 AI 上采样器工作流的图片,然后将图片拖放到 ComfyUI 中就可以开始使用它了。
提示:将用 ComfyUI 制作的图像拖到 ComfyUI 中可以加载生成它的工作流。
在这个工作流示例中,你可以看到它在前面介绍过的文本到图像工作流的基础上增加了这些节点:
Load Upscale Model
:该节点用于加载 AI 上采样器模型的。(此节点在Add Node > loaders
中)Upscale Image(using Model)
:该节点现在位于 VAE 解码器(VAE Decode)和保存图像(Save Image)节点之间。它获取图像和上采样器模型,并输出上采样图像。(此节点在Add Node > image > Upscaling
中)
要使用此上采样器工作流,你需要从 https://openmodeldb.info/
下载一个上采样器模型,并将其放在 models > upscale_models
文件夹中。
或者,设置 ComfyUI 以使用 AUTOMATIC1111 WebUI 的模型文件。
接着,在 Load Upscale Model
节点选择一个上采样器并单击 Queue Prompt
以生成上采样图像。图像应该已经被 AI 上采样器放大了 4 倍。
练习:在文本到图像工作流的基础上重新创建 AI 上采样器工作流
通过向默认文本到图像工作流添加上采样器,制作你的第一个自定义工作流是一个不错的练习。你可以通过下面步骤完成这个练习:
1、通过单击 Load Default
返回默认的文本到图像工作流。2、在保存图像附近右键点击一个空白区域。选择 Add Node > loaders > Load Upscale Model
。
3、单击 VAE Decode
和Save Image
之间的连线上的点。点击Delete
以删除连线。
4、在空白区域右键点击,并选择 Add Node > image > upscaling > Upscale Image (using Model)
来添加新节点。
5、拖动
Load Upscale Model
的UPSCALE_MODEL
输出点,将其放置在Upscale Image (using Model)
节点的upscale_model
输入点上。6、拖动
VAE Decode
的IMAGE
输出点,将其放置在Upscale Image (using Model)
的image
输入点上。
7、拖动
Upscale Image (uisng Model)
节点的IMAGE
输出点。将其放置在Save Image
的images
输入点上。8、单击
Queue Prompt
测试工作流。
现在你知道如何制作一个新的工作流了。这个技能在制作你自己的工作流时非常有用。
2、Hi-res fix
你可以到 https://comfyanonymous.github.io/ComfyUI_examples/2_pass_txt2img/
页面上下载第一张图片并将其拖入 ComfyUI 中以加载高分辨率修复(Hi-res fix)工作流。
这是一个更复杂的工作流示例,但也展示了 ComfyUI 的强大功能。在研究了节点
和连线
之后,你将确切地知道高分辨率修复(Hi-res fix)
是什么。
第一部分与文本到图像的工作流相同:你使用采样器对一个潜在图像进行降噪,用你的正面和负面提示进行条件化。
然后,工作流在潜在空间中上采样图像,并执行一些额外的采样步骤。它向图像添加了一些初始噪声,并以一定的强度对其降噪。
最后,VAE 解码器解码更大的潜在图像以产生上采样的图像。
3、Ultimate Upscale
Ultimate SD Upscale[1] 是 AUTOMATIC1111 WebUI 的一个流行的上采样扩展。现在你也可以在 ComfyUI 上使用它!
ComfyUI 版本 Ultimate SD Upscale 项目的 Github 页面:https://github.com/ssitu/ComfyUI_UltimateSDUpscale
它可以作为 ComfyUI 的一个自定义节点来使用。因此,这也是安装自定义节点的一个好练习。
3.1、安装 Ultimate SD Upscale 节点
要安装此自定义节点,需要先使用 PowerShell(Windows
)或 终端(macOS)
进入的 ComfyUI 的自定义节点文件夹:
cd ComfyUI/custom_nodes
并克隆节点到你的本地存储:
git clone https://github.com/ssitu/ComfyUI_UltimateSDUpscale --recursive
然后,重新启动 ComfyUI。
3.2、使用 Ultimate SD Upscale
这里建议在上面讲过的 AI 上采样器工作流
的基础上添加 Ultimate SD Upscale
节点并比较结果。
通过将上面 AI 上采样器工作流
的图像拖放到 ComfyUI 或使用加载按钮加载来加载 AI 上采样器工作流。
然后,在空白区域右键点击。选择 Add Node > image > upscaling > Ultimate SD Upscale
。
你应该看到新 Ultimate SD Upscale
节点了。接着,按照以下方式连接其输入点:
连接 image
到 VAE Decode 的IMAGE
。连接 model
到 Load Checkpoint 的MODEL
。连接 positive
到正面提示词框的CONDITIONING
。连接 negative
到负面提示词框的CONDITIONING
。连接 vae
到 Load Checkpoint 的VAE
。连接 upscale_model
到 Load Upscale Model 的UPSCALE_MODEL
。
对于输出点:
连接 IMAGE
到 Save Image 的images
。
如果连接正确,单击 Queue Prompt
应该会显示两张大图像,一张使用 AI 上采样器,另一张使用 Ultimate SD Upscale。
参考资料
Ultimate SD Upscale: https://github.com/Coyote-A/ultimate-upscale-for-automatic1111
如果上面的教程对你有帮助,不妨关注一下我们跟进后续的内容:
如果你想快速上手学习 AI 绘画相关的技术,欢迎购买《零基础玩转 Stable Diffusion》这本书:
另外,凡是这本书的读者,请通过下面二维码加我微信,免费加入我们的 AIGC 搞钱社群。