对 AIGC 技术感兴趣,加个关注,保持联系:
ComfyUI 是 Stable Diffusion 的一个基于节点组装绘图流程的图形用户界面(GUI)。通过将不同的节点
连接在一起,你可以在 ComfyUI 中构建图像生成工作流
。一个完整的工作流看起来像下面这样:
我们的 ComfyUI 入门系列教程已经发了 4 篇:
ComfyUI 入门教程(1):安装 ComfyUI ComfyUI 入门教程(2):从文本生成图像的流程 ComfyUI 入门教程(3):图生图工作流 ComfyUI 入门教程(4):ComfyUI 管理器 ComfyUI 入门教程(5):图片上采样放大 ComfyUI 入门教程(6):图像修复
这篇教程我们来介绍一下 SDXL 工作流和 ComfyUI 整合包。
1、SDXL 工作流
Stable Diffusion XL 模型是在 Stable Diffusion 1.5、Stable Diffusion 2.1 之后推出的更新的图像生成模型,它在之前的基础上有了很多改进。
一个新模型的推出,要在已有的 GUI 系统上进行适配需要一定的开发时间,而 ComfyUI 凭借着自己极为灵活的可配置性,成为了最早支持 Stable Diffusion XL 模型的 GUI 之一。
下图是一个简单的 SDXL 工作流:
要使用这个工作流来基于 Stable Diffusion XL 来进行绘图,只需要做以下几步就可以了:
1、下载下面 ComfyUI 的 SDXL 工作流,将图像拖放到 ComfyUI 中加载。
下载链接: https://pan.baidu.com/s/190LRKXJ2beDnouPxyuOiRQ?pwd=ukc2
2、修改正向提示词和负向提示词。
就这样!
这个页面 https://comfyanonymous.github.io/ComfyUI_examples/sdxl/
上还有一些更复杂的 SDXL 工作流,你可以自己去下载使用。
2、ComfyUI 整合包
ComfyUI 整合包是将一系列增强了 ComfyUI 功能的免费的自定义节点整合在一个安装包中来供大家使用。
整合包中有很多自定义节点,本文就不一一介绍了。请参阅 ComfyUI-Impact-Pack 官方教程[1]逐个了解它们,如果你想有效使用这组节点,可以阅读这个初学者教程。
2.1、安装 ComfyUI 整合包
要安装 ComfyUI 整合包,请首先打开命令行终端 PowerShell
(Windows 平台)或 终端
(macOS 或 Linux)。
先进入 ComfyUI 的自定义节点文件夹:
cd custom_nodes
克隆整合包到你的本地存储:
git clone https://github.com/ltdrdata/ComfyUI-Impact-Pack.git
克隆工作流组件,这是整合包所需的:
git clone https://github.com/ltdrdata/ComfyUI-Workflow-Component
完全重新启动 ComfyUI。
2.2、使用 Face Detailer (SDXL) 进行面部重绘
ADetailer
是一个 AUTOMATMIC1111 WebUI 扩展,它使用自动修复功能自动修复面部。ComfyUI 中的对应物是 Face Detailer
(也称为 DDetailer)。它包含在整合包中。
你可以使用整合包中的此工作流(https://github.com/ltdrdata/ComfyUI-extension-tutorials/blob/Main/ComfyUI-Impact-Pack/workflow/sdxl-detailer.png
)来使用 Face Detailer
自定义节点和 SDXL 基础和细化模型重新生成面部。下载并拖放该图片文件到 ComfyUI 中即可。
要使用此工作流,你将需要设置:
在 Load Image
节点中上传初始图像。在上面部分的 Load Checkpoint
节点选择 SDXL Base 模型。在下部部分的 Load Checkpoint
节点选择 SDXL Refiner 模型。输入新图像的提示词和负向提示词。 单击 Queue Prompt
启动工作流。
下面的示例中,我使用了一句提示词将刘德华变成韩国流行歌星,并且这里只有面部发生了变化,而背景和其他一切都保持不变。
a closeup photograph of a korean k-pop star man
2.3、使用 Face Detailer (SD v1.5) 进行面部重绘
下面是使用 Face Detailer 进行面部重绘的文本到图像工作流的示例,它是一个 SD v1.5 工作流。你可以下载它来使用:
下载链接: https://pan.baidu.com/s/1OgVncJGsyLrF2shfgN1ECA?pwd=kvzw
在重绘时使用 ControlNet 可以控制新图与老图在某些内容方面保持一致性。以下是一个使用 Face Detailer
和 ControlNet Tile
的文本到图像工作流的示例。你可以下载它来使用:
下载链接: https://pan.baidu.com/s/1r4a1Lk-CJsG8YuPoZAxk6w?pwd=sdwm
参考资料
ComfyUI-Impact-Pack 官方教程: https://github.com/ltdrdata/ComfyUI-extension-tutorials/tree/Main
如果上面的教程对你有帮助,不妨关注一下我们跟进后续的内容:
如果你想快速上手学习 AI 绘画相关的技术,欢迎购买《零基础玩转 Stable Diffusion》这本书:
另外,凡是这本书的读者,请通过下面二维码加我微信,免费加入我们的 AIGC 搞钱社群。