【AIGC】ComfyUI 入门教程(5):图片上采样放大|AI 生成图片

文摘   科技   2024-08-16 08:00   浙江  

对 AIGC 技术感兴趣,加个关注,保持联系:



ComfyUI 是 Stable Diffusion 的一个基于节点组装绘图流程的图形用户界面(GUI)。通过将不同的节点连接在一起,你可以在 ComfyUI 中构建图像生成工作流。一个完整的工作流看起来像下面这样:

ComfyUI 工作流的样子

我们的 ComfyUI 入门系列教程已经发了 4 篇:

这篇教程我们来继续介绍使用 ComfyUI 来进行图片上采样放大。

Stable Diffusion 中有几种上采样方式。为了方便大家理解,这篇文章我们来依次介绍一下:

  • 1、AI 上采样器
  • 2、Hi-res fix
  • 3、Ultimate Upscale

1、AI 上采样器

AI 上采样器是一个用于放大图像并填充细节的 AI 模型,它不是 Stable Diffusion 模型,而是经过训练用于放大图像的神经网络。

你可以在 https://comfyanonymous.github.io/ComfyUI_examples/upscale_models/ 页面下载 AI 上采样器工作流的图片,然后将图片拖放到 ComfyUI 中就可以开始使用它了。

提示:将用 ComfyUI 制作的图像拖到 ComfyUI 中可以加载生成它的工作流。

AI 上采样器工作流

在这个工作流示例中,你可以看到它在前面介绍过的文本到图像工作流的基础上增加了这些节点:

  • Load Upscale Model:该节点用于加载 AI 上采样器模型的。(此节点在 Add Node > loaders 中)
  • Upscale Image(using Model):该节点现在位于 VAE 解码器(VAE Decode)和保存图像(Save Image)节点之间。它获取图像和上采样器模型,并输出上采样图像。(此节点在 Add Node > image > Upscaling 中)

要使用此上采样器工作流,你需要从 https://openmodeldb.info/ 下载一个上采样器模型,并将其放在 models > upscale_models 文件夹中。

或者,设置 ComfyUI 以使用 AUTOMATIC1111 WebUI 的模型文件。

接着,在 Load Upscale Model 节点选择一个上采样器并单击 Queue Prompt 以生成上采样图像。图像应该已经被 AI 上采样器放大了 4 倍。

练习:在文本到图像工作流的基础上重新创建 AI 上采样器工作流

通过向默认文本到图像工作流添加上采样器,制作你的第一个自定义工作流是一个不错的练习。你可以通过下面步骤完成这个练习:

  • 1、通过单击 Load Default 返回默认的文本到图像工作流。
  • 2、在保存图像附近右键点击一个空白区域。选择 Add Node > loaders > Load Upscale Model
添加 Load Upscale Model 节点
  • 3、单击 VAE DecodeSave Image 之间的连线上的点。点击 Delete 以删除连线。
删除连线
  • 4、在空白区域右键点击,并选择 Add Node > image > upscaling > Upscale Image (using Model) 来添加新节点。
添加 Upscale Image 节点
  • 5、拖动 Load Upscale ModelUPSCALE_MODEL 输出点,将其放置在 Upscale Image (using Model) 节点的 upscale_model 输入点上。

  • 6、拖动 VAE DecodeIMAGE 输出点,将其放置在 Upscale Image (using Model)image 输入点上。

连接 VAE Decode 和 Upscale Image
  • 7、拖动 Upscale Image (uisng Model) 节点的 IMAGE 输出点。将其放置在 Save Imageimages 输入点上。

  • 8、单击 Queue Prompt 测试工作流。

现在你知道如何制作一个新的工作流了。这个技能在制作你自己的工作流时非常有用。

2、Hi-res fix

你可以到 https://comfyanonymous.github.io/ComfyUI_examples/2_pass_txt2img/ 页面上下载第一张图片并将其拖入 ComfyUI 中以加载高分辨率修复(Hi-res fix)工作流。

这是一个更复杂的工作流示例,但也展示了 ComfyUI 的强大功能。在研究了节点连线之后,你将确切地知道高分辨率修复(Hi-res fix)是什么。

第一部分与文本到图像的工作流相同:你使用采样器对一个潜在图像进行降噪,用你的正面和负面提示进行条件化。

高分辨率修复工作流第一部分

然后,工作流在潜在空间中上采样图像,并执行一些额外的采样步骤。它向图像添加了一些初始噪声,并以一定的强度对其降噪。

高分辨率修复工作流第二部分

最后,VAE 解码器解码更大的潜在图像以产生上采样的图像。

3、Ultimate Upscale

Ultimate SD Upscale[1] 是 AUTOMATIC1111 WebUI 的一个流行的上采样扩展。现在你也可以在 ComfyUI 上使用它!

ComfyUI 版本 Ultimate SD Upscale 项目的 Github 页面:https://github.com/ssitu/ComfyUI_UltimateSDUpscale

它可以作为 ComfyUI 的一个自定义节点来使用。因此,这也是安装自定义节点的一个好练习。

3.1、安装 Ultimate SD Upscale 节点

要安装此自定义节点,需要先使用 PowerShell(Windows)或 终端(macOS) 进入的 ComfyUI 的自定义节点文件夹:

cd ComfyUI/custom_nodes

并克隆节点到你的本地存储:

git clone https://github.com/ssitu/ComfyUI_UltimateSDUpscale --recursive

然后,重新启动 ComfyUI。

3.2、使用 Ultimate SD Upscale

这里建议在上面讲过的 AI 上采样器工作流的基础上添加 Ultimate SD Upscale 节点并比较结果。

通过将上面 AI 上采样器工作流的图像拖放到 ComfyUI 或使用加载按钮加载来加载 AI 上采样器工作流。

然后,在空白区域右键点击。选择 Add Node > image > upscaling > Ultimate SD Upscale

添加 Ultimate SD Upscale 节点

你应该看到新 Ultimate SD Upscale 节点了。接着,按照以下方式连接其输入点:

  • 连接 image 到 VAE Decode 的 IMAGE
  • 连接 model 到 Load Checkpoint 的 MODEL
  • 连接 positive 到正面提示词框的 CONDITIONING
  • 连接 negative 到负面提示词框的 CONDITIONING
  • 连接 vae 到 Load Checkpoint 的 VAE
  • 连接 upscale_model 到 Load Upscale Model 的 UPSCALE_MODEL

对于输出点:

  • 连接 IMAGE 到 Save Image 的 images

如果连接正确,单击 Queue Prompt 应该会显示两张大图像,一张使用 AI 上采样器,另一张使用 Ultimate SD Upscale。

参考资料

[1]

Ultimate SD Upscale: https://github.com/Coyote-A/ultimate-upscale-for-automatic1111





如果上面的教程对你有帮助,不妨关注一下我们跟进后续的内容:

如果你想快速上手学习 AI 绘画相关的技术,欢迎购买《零基础玩转 Stable Diffusion》这本书:

另外,凡是这本书的读者,请通过下面二维码加我微信,免费加入我们的 AIGC 搞钱社群。

扫码加我


关键帧Keyframe
系统性地探索音视频、AIGC、区块链技术。
 最新文章