提起IPAdapter,玩AI创作的小伙伴都耳熟能详,在SD1.5和SDXL时代,这个插件可以轻松的把一张或者几张图片的风格移植到新图片上,生成的新图几乎可以和训练LoRa媲美。
如今,这个插件迎来了Flux版本,经过实测,可以在小显存(8G或者12G左右)的显卡上跑起来。
(速度不快是真的,但依然比炼丹快)
一、ComfyUI插件安装
1、安装地址:
https://github.com/XLabs-AI/x-flux-comfyui
建议使用秋叶启动器,在版本更新--安装新扩展处安装。
2、模型安装
本插件用到两个模型。
一个是Clip-L模型,文件名model.safetensors,下载后放至 ComfyUI\models\clip_vision
一个是Flux版本专用的IPAdapter模型,文件名 flux-ip-adapter.safetensors ,下载后放至 ComfyUI\models\xlabs\ipadapters
两个模型下载(含工作流)
夸克网盘:
https://pan.quark.cn/s/91f57dd8a40e
百度网盘:
https://pan.baidu.com/s/1Pk5CgKIalvHBWWr5PBLx9g?pwd=96vh
提取码:96vh
二、节点简介
和传统Flux节点相比,IPAdapter增加了图像输入、Flux加载IPAdapter和Flux应用IPAdapter节点。
分别介绍下这三个节点的用法。
图像输入有多种方式,本文推荐文件夹方式,可以方便的批量输入。
输入路径是参考图片的文件夹,默认ComfyUI/input/,将需要参考的图片拷贝至此文件夹即可(也可换其他路径,随时用随时清空比较方便),显存大的可以多用几张,显存小(16G以下)的一张参考图片就可以了,最大数量选1,否则会炸显存。
Flux加载IPAdapter节点,分别选择上一步安装的Flux版本的IPAdapter模型和Clip_Vision模型(注意不要安装错位置)。
Flux应用IPAdapter节点,保持默认即可。
其余节点和标准Flux节点相同,不再赘述。
三、官方演示
主要有两种玩法,一种是单张图片,然后在提示词里输入对图片的改动,会生成同风格又符合提示词的画面;一种是多张图片,生成混合风格的图片。
本文推荐的工作流两种玩法都支持,大家在画图的时候需要注意提示词要贴合画面,且不要写的太复杂,否则容易风格混乱。
实测:
原图:
提示词:
Wearing sunglasses and a baseball cap.
四、模型下载(含工作流)
夸克网盘:
https://pan.quark.cn/s/91f57dd8a40e
百度网盘:
https://pan.baidu.com/s/1Pk5CgKIalvHBWWr5PBLx9g?pwd=96vh
提取码:96vh