自从开始玩AI,我的10TB硬盘不够用了...【杰视帮】

乐活   2024-07-03 12:13   四川  
▲ 关注我,与设计干货不期而遇!

抱一丝~ 标题稍微用了丢丢夸张修辞手法~

事情是这样的

去年年初,我刚开始录AI课程的时候,我的磁盘是酱紫的↓,人是懵逼的..纳闷这么多盘怎么不知不觉就满了呢...

然后盘点了一下,发现从AI绘画模型到LLM等各种模型数据集,乱七八糟的东西下了一大堆。

但经历完初期学习摸索这段历程后,现在常用的模型反而不多。因为更清楚自己想要什么了,而非以前那种囤货思维。

刚好咱们AI磁力圈刚开业,为了避免萌新走我的老路,于是整理了以下内容,方便新入圈的萌新们避坑,助力每一个梦想! 

 主旨:出图贵技不贵模,模型贵精不贵多~
模型固然是出图的重要影响因素,但并非是全部因素,切记不可陷入炼丹的"局部最优"状态,而是要去找寻一个全局最优解。

 正文:模型九问

以下内容转自:AI磁力圈

Stable diffusion发展进化的过程中,诞生了一堆模型,那么到底什么是模型?模型该怎么辨别好坏?如何选择、安装、使用、以及有哪些注意事项呢?


今天没有废话全是感情,带大家快速get模型那些事!


1. 什么是模型?

模型说白了就是训练好的AI大脑。之所以能跑图,是因为它学习训练过。跑图则是通过文字和一些控制手段,从这个AI模型大脑里提取出我们想要的图片。


2. 模型的种类有哪些?

因为stable diffusion是一个开源项目,因此在技术迭代发展的过程中有很多科学家一起参与研究,所以诞生了很多模型版本。抛开一些已基本淘汰的模型,目前模型的种类有以下几个:


◆ 大模型:Checkpoint。

因为它是模型,且体积很大,一般好几个G,所以俗称大模型。是AI跑图必须加载使用的模型。


◆ 小模型:LoRA、Embedding、LyCORIS、VAE。

这一类体积没有那么大的都统称为小模型。用于与大模型配合使用的时候进行一些特定的干预来达到控图目的。其中最常用的是LoRA模型。


◆ 功能性模型:比如ControlNet旗下的各类模型、一些放大插件配套的放大模型、抠图模型、视觉模型等等,这些功能性模型需要配合特定插件来使用。


3. 模型的版本有哪些?

在SD迭代的过程中,不同版本的SD配套产生了不同版本的模型,模型型号跟随SD的版本来称呼。

√ 目前常用的版本是:SD1.5、SDXL1.0

X 基本不使用的过渡版本:SD1.4、SD2.0、SD2.1...

√ 未来新趋势陆续使用的版本:SDXL-Lighting、SDXL-Turbo、SD-Cascade、SD3


这些新版本主要特征是大幅降低了迭代步数的需求,也就是可以用更短的时间出图。

比如:

---LCM:只需5~10步

---Lighting:只需6~10步

---Turbo:只需3~8步


特别注意:因为大模型的版本不同,与大模型配套使用的小模型和ControlNet等模型也需找对应版本的模型,不同版本之间无法通用。


4. 模型该怎么选 ?

初碰模型,我们往往容易选择困难,回到熟悉的囤货模型。感觉每个模型好像都不错,于是都想下下来,但其实根本没必要。


因为很多模型都是在一个现有的底模基础上微调和融合得来的。除了为炼制特定效果,如某类画风的模型外,它们跑图整体结果上的差距不大,因此没有必要下载太多模型。


我们反而要去收藏的,是那些泛化性很好的模型,它们往往能够通吃多类风格。比如RealCartonXL,虽然主打的是2.5D风格,但它跑写实风格的表现也不错,在高控制的情况下结构也不容易崩坏。


5. 好模型的特点

所以,往往排行榜下载和评论高的模型表现都很不错。同时还有那些迭代版本较多,且更新频次高的模型,效果也不错,作者在不断优化,说明模型有前景,使用有价值。

还有就是,模型过一段时间作者可能会更新,我们可以根据自己的实际情况去更新模型版本。


6. 一些要注意的地方

a. 一般模型的作者都会配套给到推荐的采样参数和相关提示词,我们可以根据作者的推荐数值来使用该模型。当然也未必要按作者的来,可以自己跑跑效果,以实际跑图为准。


b. LoRA等小模型一般会设定一个触发词,也就是提示词中需要包含有这个词,才能触发效果或让效果更好。如果有的话,触发词会写在模型下载页面上。


c. 还有些LoRA等小模型是用来增加画面细节的,以及作为负面提示词训练的模型。如果是负面的提示词模型,一般是Embedding文本嵌入模型,使用的时候把它添加到负面提示词中即可,注意不要搞错咯。


d. 一般实时绘画用的都是步数很少的模板版本,比如LCM、Lighting、Turbo,此类模型,去找下载量高的模型的对应版本即可。(本文后面也给大家准备了一些)


e. 为什么不推荐些LoRA呢?因为LoRA模型多如牛毛,简直太多了,大家需要用到某个风格效果的时候去下载即可。


7. 必下模型推荐

这里我给大家整理了7类不同风格下载量高,实战效果好的必装模型。有这些基本能应付大多数情况下的模型需求。同时我也按SD1.5和XL1.0两个版本给大家分类好了。


◆ 综合王者:也就是什么都会,会的东西很多的超级模型。

梦想塑造者 DreamShaper V8(1.5版)


Juggernaut X(XL版)



◆ 写实画风:

Realistic Vision V6(1.5版)


RealVisXL V4(XL版)



◆ 2.5D风格:

ReV Animated V2(1.5版)


RealCartonXL V6(XL版)


WildCardX-XL ANIMATION V2(XL版)



◆ 二次元风格:

MeinaMix V11(1.5版)


万象熔炉 Anything XL(XL版)



◆ 写实人像:

麦橘写实 majicMIX realistic V7(1.5版)


XXMix_9realisticSDXL V1(XL版)


LEOSAM HelloWorld 新世界(XL版)


摄影玩家 Vone(XL版)



◆ 步数少适合实时绘画的模型:

dreamshaperXL_v21TurboDPMSDE(XL-Turbo版)


Juggernaut XL_V9RDPhoto2-Lighting_4S(XL-Lighting版)


realvisxlV40_v40LightningBakedvae(XL-Lighting版)


◆ 功能型模型:

◇ 细节增强

Add More Details(1.5版)


Detail Tweaker XL(XL版)



◇ 负面提示词

EasyNegative(1.5版)


unaestheticXL(XL版)




8. 模型去哪下载?

模型下载主要就这2个网站:

◆ C站(需翻墙)https://civitai.com

◆ 哩站(部分模型需开通会员才能下载)https://www.liblib.art/

◆ 还有些功能模型可根据插件作者指引前往抱脸网下载


9. 模型怎么安装?

◆ SD-WebUI

---大模型:SD主文件夹\models\Stable-diffusion

---LoRA:SD主文件夹\models\Lora

---VAE:SD主文件夹\models\VAE

---Embeddings:SD主文件夹\embeddings


发现模型安装的规律了没?没错就是酱紫!直接放到对应的文件夹里即可。


◆ SD-ComfyUI

不同模型放这个文件夹里对应名称的模型文件夹内:ComfyUI\models


◆ 如果安装了WebUI后又安装了comfyUI,可以共用模型,无需复制一份。

a. 在CF的文件夹里找到这个文件:extra_model_paths.yaml.example

b. 用记事本打开它

c. 翻译成英文,这样你就懂了(千万不要死记硬背,遇到问题去理解它的意思)

d. 根据提示,把WebUI里对应模型的路径,复制到文本里对应预设好的位置替换掉即可。

e. 特别注意:文本里的正斜杆是这样(/),而正确的路径地址所用的反斜杆是这样(\),因此复制地址的时候记得把斜杆换回来。



好啦~ 祝大家玩的愉快~

AI磁力圈营业中,欢迎上车!



▲ 关注我,与设计干货不期而遇!

杰视帮
一家既做设计又培养人才的公司。以真实商业项目为指导,在产出大量商业作品的同时顺便培养了数十万优秀学员。站酷全网粉丝TOP3,关注我教你做真正有价值能变现的设计!
 最新文章