一个冷知识,抖音是AI绘画、视频领域最顶级的公司之一,在细分领域甚至超越OpenAI。
OpenAI高调宣布了Sora迟迟不能正式发布,字节(抖音的母公司)早已经发布了完成度极高的即梦。
在开源领域,字节的团队也非常强悍。
他们推出了一个叫做PuLID的开源工具,可以利用AI技术进行换脸。
这项技术的积累,就来自于抖音的“美颜”功能。
PuLID强大到什么程度?
大家看一看,我用文在寅作的自传《命运》封面为输入参考图,PuLID提取面部要素自动美颜、换脸,生成一个美女照片,毫无违和感!
高清对比图:
这是一个人吗?
是,也不是。
AI提取了面部要素,然后生成了另外一个人。
这就是现在抖音看到的好看姑娘的真相。
文在寅都能被AI画成美娇娘,还有什么姑娘成不了美女!
下面介绍一下该插件的安装和使用方式。
1、安装ComfyUI(使用秋叶启动器)。
第一步,把秋叶一键包里的A启动器文件拷贝到一个空白目录(可以从现有的WebUI目录里拷出来),比如起名叫ComfyUI。
网盘下载:https://pan.quark.cn/s/0d41affa4739
双击后会自动安装依赖文件,然后再次启动,选择分支。分支选择ComfyUI。
不难发现,秋叶一键包还支持fooocus,这个工具又双叒叕升级了,我们以后介绍。
选择分之后,点击安装。
安装完毕后再次启动,进入熟悉的启动界面。
不过不要急,点击高级选项,在安装环境里进行配置,选择适合本机的版本。
然后点击一键启动。
需要注意的是,在安装过程中如果出现报错,需要全部删除从头再来,否则可能无法继续进行。
第一次完整安装差不多接近10G的文件(不包括模型),尽量在网络稳定的环境进行操作。
为了节约空间,我们可以让ComfyUI和WebUI共用模型。
找到extra_model_paths.yaml.example 这个文件,将.example去掉,然后用记事本打开。
把base_path改为你的WebUI所在的目录。我的是e:\sd-webui
然后重启启动器。
重启后可以在启动栏看到路径已经修改。
刷新ComfyUI的网页查看页面,WebUI下的所有模型都出现了。
ComfyUI现在已经是最流行的AI绘画工具。
2、PuLID插件安装:
https://github.com/balazik/ComfyUI-PuLID-Flux
安装方式1:
在ComfyUI界面点击管理器,然后点击通过Git URL安装,贴上该地址即可。
安装方式2:
在秋叶启动器 --版本--安装新扩展的输入框里贴上该地址,然后点安装(需要停止启动器运行)。
3、模型下载和安装(含工作流)
(1)Flux专用PuLID模型下载
https://pan.quark.cn/s/dbe34756e0a0
模型安装至ComfyUI/models/PuLID
(2)EVA CLIP模型(这是难度最大也是最离谱的)
安装路径:
ComfyUI\.cache\huggingface\hub\models--QuanSun--EVA-CLIP\snapshots\11afd202f2ae80869d6cef18b1ec775e79bd8d12
你没看错,一定要手工创建后面这些文件夹。
另外,还要手工创建这个文件夹:
ComfyUI\.cache\huggingface\hub\models--QuanSun--EVA-CLIP\refs
然后新建一个没有扩展名的文本文件,文件内容是:11afd202f2ae80869d6cef18b1ec775e79bd8d12
这一步非常繁琐,特别容易出错,所以我打了一个包,只需要解压缩,拷贝到ComfyUI\.cache\huggingface\hub\ 下面就好了。
网盘下载(下载后合并解压即可):
https://pan.quark.cn/s/b78d1f6bc21a
(3)antelopev2模型
安装路径:
ComfyUI/models/insightface/models/antelopev2
网盘下载:
https://pan.quark.cn/s/48c5d3ecc604
(4)facexlib weights模型
安装路径,需要注意的是,.ext是隐藏文件夹,无法找到,可以通过win键+R换出运行,直接输入文件夹路径的方式抵达:
比如我的ComfyUI目录装在E盘。
ComfyUI\.ext\Lib\site-packages\facexlib\weights
网盘下载:
https://pan.quark.cn/s/39dd3d70caca
好了,joy it!