一张图片相当于LoRa,IPAdapter更新Flux版

财富   2024-11-01 09:02   山东  

提起IPAdapter,玩AI创作的小伙伴都耳熟能详,在SD1.5和SDXL时代,这个插件可以轻松的把一张或者几张图片的风格移植到新图片上,生成的新图几乎可以和训练LoRa媲美。

如今,这个插件迎来了Flux版本,经过实测,可以在小显存(8G或者12G左右)的显卡上跑起来。

(速度不快是真的,但依然比炼丹快)

一、ComfyUI插件安装

1、安装地址:

https://github.com/XLabs-AI/x-flux-comfyui

建议使用秋叶启动器,在版本更新--安装新扩展处安装。

2、模型安装

本插件用到两个模型。

一个是Clip-L模型,文件名model.safetensors,下载后放至 ComfyUI\models\clip_vision

一个是Flux版本专用的IPAdapter模型,文件名 flux-ip-adapter.safetensors ,下载后放至 ComfyUI\models\xlabs\ipadapters

两个模型下载(含工作流)

夸克网盘:

https://pan.quark.cn/s/91f57dd8a40e

百度网盘:

https://pan.baidu.com/s/1Pk5CgKIalvHBWWr5PBLx9g?pwd=96vh

提取码:96vh

二、节点简介


和传统Flux节点相比,IPAdapter增加了图像输入、Flux加载IPAdapter和Flux应用IPAdapter节点。

分别介绍下这三个节点的用法。

图像输入有多种方式,本文推荐文件夹方式,可以方便的批量输入。

输入路径是参考图片的文件夹,默认ComfyUI/input/,将需要参考的图片拷贝至此文件夹即可(也可换其他路径,随时用随时清空比较方便),显存大的可以多用几张,显存小(16G以下)的一张参考图片就可以了,最大数量选1,否则会炸显存。

Flux加载IPAdapter节点,分别选择上一步安装的Flux版本的IPAdapter模型和Clip_Vision模型(注意不要安装错位置)。

Flux应用IPAdapter节点,保持默认即可。

其余节点和标准Flux节点相同,不再赘述。

三、官方演示

主要有两种玩法,一种是单张图片,然后在提示词里输入对图片的改动,会生成同风格又符合提示词的画面;一种是多张图片,生成混合风格的图片。

本文推荐的工作流两种玩法都支持,大家在画图的时候需要注意提示词要贴合画面,且不要写的太复杂,否则容易风格混乱。



实测:

原图:

提示词:

Wearing sunglasses and a baseball cap.


四、模型下载(含工作流)

夸克网盘:

https://pan.quark.cn/s/91f57dd8a40e

百度网盘:

https://pan.baidu.com/s/1Pk5CgKIalvHBWWr5PBLx9g?pwd=96vh

提取码:96vh


路过银河AI
凝视深渊过久,深渊将回以凝视。天空的深渊,便是天渊。
 最新文章