抱一丝~ 标题稍微用了丢丢夸张修辞手法~
事情是这样的
去年年初,我刚开始录AI课程的时候,我的磁盘是酱紫的↓,人是懵逼的..纳闷这么多盘怎么不知不觉就满了呢...
然后盘点了一下,发现从AI绘画模型到LLM等各种模型数据集,乱七八糟的东西下了一大堆。
但经历完初期学习摸索这段历程后,现在常用的模型反而不多。因为更清楚自己想要什么了,而非以前那种囤货思维。
以下内容转自:AI磁力圈
Stable diffusion发展进化的过程中,诞生了一堆模型,那么到底什么是模型?模型该怎么辨别好坏?如何选择、安装、使用、以及有哪些注意事项呢?
今天没有废话全是感情,带大家快速get模型那些事!
1. 什么是模型?
模型说白了就是训练好的AI大脑。之所以能跑图,是因为它学习训练过。跑图则是通过文字和一些控制手段,从这个AI模型大脑里提取出我们想要的图片。
2. 模型的种类有哪些?
因为stable diffusion是一个开源项目,因此在技术迭代发展的过程中有很多科学家一起参与研究,所以诞生了很多模型版本。抛开一些已基本淘汰的模型,目前模型的种类有以下几个:
◆ 大模型:Checkpoint。
因为它是模型,且体积很大,一般好几个G,所以俗称大模型。是AI跑图必须加载使用的模型。
◆ 小模型:LoRA、Embedding、LyCORIS、VAE。
这一类体积没有那么大的都统称为小模型。用于与大模型配合使用的时候进行一些特定的干预来达到控图目的。其中最常用的是LoRA模型。
◆ 功能性模型:比如ControlNet旗下的各类模型、一些放大插件配套的放大模型、抠图模型、视觉模型等等,这些功能性模型需要配合特定插件来使用。
3. 模型的版本有哪些?
在SD迭代的过程中,不同版本的SD配套产生了不同版本的模型,模型型号跟随SD的版本来称呼。
√ 目前常用的版本是:SD1.5、SDXL1.0
X 基本不使用的过渡版本:SD1.4、SD2.0、SD2.1...
√ 未来新趋势陆续使用的版本:SDXL-Lighting、SDXL-Turbo、SD-Cascade、SD3
这些新版本主要特征是大幅降低了迭代步数的需求,也就是可以用更短的时间出图。
比如:
---LCM:只需5~10步
---Lighting:只需6~10步
---Turbo:只需3~8步
特别注意:因为大模型的版本不同,与大模型配套使用的小模型和ControlNet等模型也需找对应版本的模型,不同版本之间无法通用。
4. 模型该怎么选 ?
初碰模型,我们往往容易选择困难,回到熟悉的囤货模型。感觉每个模型好像都不错,于是都想下下来,但其实根本没必要。
因为很多模型都是在一个现有的底模基础上微调和融合得来的。除了为炼制特定效果,如某类画风的模型外,它们跑图整体结果上的差距不大,因此没有必要下载太多模型。
我们反而要去收藏的,是那些泛化性很好的模型,它们往往能够通吃多类风格。比如RealCartonXL,虽然主打的是2.5D风格,但它跑写实风格的表现也不错,在高控制的情况下结构也不容易崩坏。
5. 好模型的特点
所以,往往排行榜下载和评论高的模型表现都很不错。同时还有那些迭代版本较多,且更新频次高的模型,效果也不错,作者在不断优化,说明模型有前景,使用有价值。
还有就是,模型过一段时间作者可能会更新,我们可以根据自己的实际情况去更新模型版本。
6. 一些要注意的地方
a. 一般模型的作者都会配套给到推荐的采样参数和相关提示词,我们可以根据作者的推荐数值来使用该模型。当然也未必要按作者的来,可以自己跑跑效果,以实际跑图为准。
b. LoRA等小模型一般会设定一个触发词,也就是提示词中需要包含有这个词,才能触发效果或让效果更好。如果有的话,触发词会写在模型下载页面上。
c. 还有些LoRA等小模型是用来增加画面细节的,以及作为负面提示词训练的模型。如果是负面的提示词模型,一般是Embedding文本嵌入模型,使用的时候把它添加到负面提示词中即可,注意不要搞错咯。
d. 一般实时绘画用的都是步数很少的模板版本,比如LCM、Lighting、Turbo,此类模型,去找下载量高的模型的对应版本即可。(本文后面也给大家准备了一些)
e. 为什么不推荐些LoRA呢?因为LoRA模型多如牛毛,简直太多了,大家需要用到某个风格效果的时候去下载即可。
7. 必下模型推荐
这里我给大家整理了7类不同风格下载量高,实战效果好的必装模型。有这些基本能应付大多数情况下的模型需求。同时我也按SD1.5和XL1.0两个版本给大家分类好了。
◆ 综合王者:也就是什么都会,会的东西很多的超级模型。
梦想塑造者 DreamShaper V8(1.5版)
Juggernaut X(XL版)
◆ 写实画风:
Realistic Vision V6(1.5版)
RealVisXL V4(XL版)
◆ 2.5D风格:
ReV Animated V2(1.5版)
RealCartonXL V6(XL版)
WildCardX-XL ANIMATION V2(XL版)
◆ 二次元风格:
MeinaMix V11(1.5版)
万象熔炉 Anything XL(XL版)
◆ 写实人像:
麦橘写实 majicMIX realistic V7(1.5版)
XXMix_9realisticSDXL V1(XL版)
LEOSAM HelloWorld 新世界(XL版)
摄影玩家 Vone(XL版)
◆ 步数少适合实时绘画的模型:
dreamshaperXL_v21TurboDPMSDE(XL-Turbo版)
Juggernaut XL_V9RDPhoto2-Lighting_4S(XL-Lighting版)
realvisxlV40_v40LightningBakedvae(XL-Lighting版)
◆ 功能型模型:
◇ 细节增强
Add More Details(1.5版)
Detail Tweaker XL(XL版)
◇ 负面提示词
EasyNegative(1.5版)
unaestheticXL(XL版)
8. 模型去哪下载?
模型下载主要就这2个网站:
◆ C站(需翻墙)https://civitai.com
◆ 哩站(部分模型需开通会员才能下载)https://www.liblib.art/
◆ 还有些功能模型可根据插件作者指引前往抱脸网下载
9. 模型怎么安装?
◆ SD-WebUI
---大模型:SD主文件夹\models\Stable-diffusion
---LoRA:SD主文件夹\models\Lora
---VAE:SD主文件夹\models\VAE
---Embeddings:SD主文件夹\embeddings
发现模型安装的规律了没?没错就是酱紫!直接放到对应的文件夹里即可。
◆ SD-ComfyUI
不同模型放这个文件夹里对应名称的模型文件夹内:ComfyUI\models
◆ 如果安装了WebUI后又安装了comfyUI,可以共用模型,无需复制一份。
a. 在CF的文件夹里找到这个文件:extra_model_paths.yaml.example
b. 用记事本打开它
c. 翻译成英文,这样你就懂了(千万不要死记硬背,遇到问题去理解它的意思)
d. 根据提示,把WebUI里对应模型的路径,复制到文本里对应预设好的位置替换掉即可。
e. 特别注意:文本里的正斜杆是这样(/),而正确的路径地址所用的反斜杆是这样(\),因此复制地址的时候记得把斜杆换回来。
好啦~ 祝大家玩的愉快~
AI磁力圈营业中,欢迎上车!
▲ 关注我,与设计干货不期而遇!