哈喽，大家好，我是布丁仔。
上次给大家介绍了ControlNet的一些基本介绍，
Ai绘画工具，Stable Diffusion ControlNet使用攻略（一）
今天开始我们陆续给大家介绍各个模型的用法。 一、示例图片及通用功能
1、示例图片及参数
为方便大家阅读以及对比各模型之间的效果区别，我将会尽量使用此案例和参数进行各模型的介绍及测试。示例图片：
![]()
对应SD参数：
Prompt：(extremely detailed CG unity 8k wallpaper),(masterpiece),(best quality),(ultra-detailed),(best illustration),(best shadow),(photorealistic:1.4),1girl on street,beautiful face,big eyes,Kpop idol,((knitwear)),(grey hair:1.1),collarbone,(medium breasts),(looking at viewer,parted lips,smile),upper body,<lora:Gini_S2:0.7>,
Negative prompt: negative_hand-neg,ng_deepnegative_v1_75t,badhandv4,EasyNegativeV2,paintings,sketches,(worst quality:2),(low quality:2),(normal quality:2),low res,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,glans,bad legs,error legs,bad feet,malformed limbs,extra limbs
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 3934566533, Size: 512x768, Model hash: fc2511737a, Model: chilloutmix_NiPrunedFp32Fix, VAE hash: df3c506e51, VAE: vae-ft-mse-840000-ema-pruned.ckpt, Denoising strength: 0.5, Clip skip: 2, Hires upscale: 2, Hires upscaler: R-ESRGAN 4x+ Anime6B, Lora hashes: "Gini_S2: e2e472c06607", Version: v1.7.0
2、ControlNet完整界面
![]()
点击图片可以放大查看
3、界面通用功能介绍
以下部分无法你在使用什么模型或预处理器，都将会被显示的，所以进行单独统一讲解。
启用 勾选ControlNet区域的启用按钮后，点击右上角的生成按钮时，将会实时通过ControlNet的相关设置引导图像生成。注意：如果未勾选ControlNet区域的启用按钮，此时点击右上角的生成，将会忽略ControlNet的所有设置。
低显存模式 低显存模式如果你的显卡内存小于4GB，建议勾选此选项，可以降低模型的使用门槛，顺利出图。
完美像素 可以生成更高质量的图像。
预览窗口 非常建议勾选，只有勾选该复选框之后，才会显示预处理的执行结果预览框，否则难以观察效果。
上传蒙版 勾选该按钮，可以上传蒙版图片，进一步控制模型绘画区域。
控制类型 相当于选择预处理器和模型的快捷目录，点击需要的控制类型，会自动加载对应的预处理器和模型。
预处理器 我们可以理解为预先处理结果，此功能不依赖于模型，模型的使用是根据预处理之后的结果图像来进行生成的。 例如我们在该下拉框中选择Canny方式，然后点击💥按钮，将会在预处理结果区域自动生成线稿预览结果。
💥 在你选择一个预处理功能的处理器之后，我们点击💥按钮，将会在预处理器预览窗口显示该结果。
模型 该列表的模型选择，必须与预处理选项框内的模型名称对应。 如果预处理与模型不一致也可以出图，但效果无法预料，且并不理想。
注意：ControlNet区域内的模型选择框与左上角的模型选择框不一样，这是模型算法的方式选择，如果你希望更改基础大模型，还是需要通过左上角的模型选择来控制的。
控制权重 ControlNet的权重，代表使用ControlNet生成图片的权重占比影响，权重值越大，ControlNet模型的控制效果越强烈。
引导介入时机 这是是按步数的百分比，如果你设置的生成步数是20步，该值为0.05时，表示第1步(20*0.05)的前面不用引导，从第1步之后开始引导。
引导终止时机 假如你需要提前结束ControlNet的引导生成，那么可以调节此参数的数值，否则一直到引导结果。例如设置生成步骤是20步，想在第15步终止，那么该值可以设置成0.75，那么第15步以后的步骤就不受ControlNet控制了。
ControlNet 模式 如果你希望你所设置的的ControlNet参数占用生成时的更高权重，那么可以选择此项。 如果你希望你所写的Prompt提示词占用生成时的更高权重，那么可以选择此项。 ControlNet的权重与Prompt权重各占一半，生成图片时相互影响。 均衡 更偏向提示词 更偏向ControlNet
缩放模式 我们拿512x512的图像为例，使用三个缩放模式生成一个 1024x1024的图像，看看主要经过了哪些过程： 通过添加噪音的方式将图像填充至512x512，然后缩放到1024x1024分辨率。 考虑宽高比，先将图片裁剪至 512x512，然后缩放至1024x1024分辨率，会造成左右两侧的一些数据丢失。 不考虑宽高比，直接将图像拉伸成1024x1024分辨率。 直接调整大小 比例裁剪后缩放 缩放后填充空白
预设 用于保存已经配置好的ControlNet参数，以便后续快速加载相关参数。
[Batch Loopback] Automatically send generated images to this ControlNet unit in batch generation，点击开启后，在mov2mov等持续性生成过程中，每一帧的结果都会进行ControlNet控制。
二、线稿反转｜invert(from white bg & black line)
该预处理功能没有任何对应的模型，它的作用就是反转：将黑底白线条变成白底黑线条或者将白底黑线条变成黑底白线条。
1、错误示范
我们选择invert(from white bg & black line)预处理器之后，直接点击💥按钮得到的结果如下图。
![]()
生成后的效果有点类似于相机的胶片效果，因数这是使用方法不正确。
2、算法介绍
该预处理的功能主要是为线性类反转颜色的，包括Canny，NormalMap，MLSD，Lineart，Scribble/Sketch等均可以用它来生成线稿反转颜色图。
因为线稿通常是白底黑线，但是我们通过Canny或其它线稿提取模型生成一张线稿之后，将会发现底色为黑，线条为白。
这时候我们使用该算法功能，将生成之后的线稿颜色进行翻转，就变成了白底黑线了。
3、正确使用方法
先用canny或其它线稿模型生成线稿
![]()
将线稿进行反转
![]()
这样我们就得到了线稿的反转图了。
4、生成效果对比
我们按上述配置好以后，点击“生成”按钮，其它所有参数保持不变。
![]()
原图![]()
canny预览图![]()
线稿反转图![]()
引导生成图
我们发现主要表现在图片的颜色和明暗发生了很大的变化，这就是线稿反转的作用。三、Canny模型介绍
1、模型功能
Canny模型的主要功能是提取并生成线稿，通过线稿进行二次绘制。
2、模型界面
![]()
我们按上图勾选和点击相关按钮，就生成上图的预览处理结果了。
3、使用方法
我们将种子值改成随机值(-1)，点击生成，我们发现生成后的图片和我们提供的原图没有太大差别。
![]()
原图![]()
Canny预览图![]()
引导生成图
很明显这并不是我们想要的结果，那么我们换个Lora呢？将上述的正向提示词的Lora改成如下：
(extremely detailed CG unity 8k wallpaper),(masterpiece),(best quality),(ultra-detailed),(best illustration),(best shadow),(photorealistic:1.4),1girl on street,beautiful face,big eyes,Kpop idol,((knitwear)),(grey hair:1.1),collarbone,(medium breasts),(looking at viewer,parted lips,smile),upper body,<lora:zny_10:0.7>
其它所有参数都不变，我们重新通过ControlNet引导生成，看下效果：
分列图片
这才是Canny的正确打开方式，通过这种方式，更换大模型将人物转成二次元人物。
![]()
我们尝试将大模型更换成二次元的模型，点击生成：
![]()
原图![]()
Canny预览图![]()
引导生成图
通过Canny生成的线稿图，我们可以将人物重新生成各种不同风格的图片，这就是Canny模型的作用。
Tips：
Canny模型额外多出了2个参数：Canny low threshold和Canny high threshol，是Canny提取线稿时的最低阈值以及最高阈值。 高低阈值限制将会影响提取线稿的细节控制，假如最高阈值参数过低，那么所得到的线稿细节就越少，反之亦然，大家可以动手尝试一下他们的区别。
今天的内容就介绍到这里，下次我们再介绍Depth模型，NormalMap模型和OpenPose模型，敬请关注。
我建立一个AI交流群，如果对AI感兴趣的可以在公众号后台回复：Ai，获取进群方式。
我会在群里不定期分享AI方面的前言信息和使用教程。目前已整理发布的资料如下：
![]()
![]()
欢迎你的加入![]()
![]()
![]()
哈喽，大家好，我是布丁仔。
上次给大家介绍了ControlNet的一些基本介绍，
一、示例图片及通用功能
1、示例图片及参数
为方便大家阅读以及对比各模型之间的效果区别，我将会尽量使用此案例和参数进行各模型的介绍及测试。示例图片：
对应SD参数：
Prompt：(extremely detailed CG unity 8k wallpaper),(masterpiece),(best quality),(ultra-detailed),(best illustration),(best shadow),(photorealistic:1.4),1girl on street,beautiful face,big eyes,Kpop idol,((knitwear)),(grey hair:1.1),collarbone,(medium breasts),(looking at viewer,parted lips,smile),upper body,<lora:Gini_S2:0.7>,
Negative prompt: negative_hand-neg,ng_deepnegative_v1_75t,badhandv4,EasyNegativeV2,paintings,sketches,(worst quality:2),(low quality:2),(normal quality:2),low res,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,glans,bad legs,error legs,bad feet,malformed limbs,extra limbs
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 3934566533, Size: 512x768, Model hash: fc2511737a, Model: chilloutmix_NiPrunedFp32Fix, VAE hash: df3c506e51, VAE: vae-ft-mse-840000-ema-pruned.ckpt, Denoising strength: 0.5, Clip skip: 2, Hires upscale: 2, Hires upscaler: R-ESRGAN 4x+ Anime6B, Lora hashes: "Gini_S2: e2e472c06607", Version: v1.7.0
2、ControlNet完整界面
3、界面通用功能介绍
以下部分无法你在使用什么模型或预处理器，都将会被显示的，所以进行单独统一讲解。
启用 勾选ControlNet区域的启用按钮后，点击右上角的生成按钮时，将会实时通过ControlNet的相关设置引导图像生成。注意：如果未勾选ControlNet区域的启用按钮，此时点击右上角的生成，将会忽略ControlNet的所有设置。 低显存模式 低显存模式如果你的显卡内存小于4GB，建议勾选此选项，可以降低模型的使用门槛，顺利出图。 完美像素 可以生成更高质量的图像。 预览窗口 非常建议勾选，只有勾选该复选框之后，才会显示预处理的执行结果预览框，否则难以观察效果。 上传蒙版 勾选该按钮，可以上传蒙版图片，进一步控制模型绘画区域。 控制类型 相当于选择预处理器和模型的快捷目录，点击需要的控制类型，会自动加载对应的预处理器和模型。 预处理器 我们可以理解为预先处理结果，此功能不依赖于模型，模型的使用是根据预处理之后的结果图像来进行生成的。 例如我们在该下拉框中选择Canny方式，然后点击💥按钮，将会在预处理结果区域自动生成线稿预览结果。 💥 在你选择一个预处理功能的处理器之后，我们点击💥按钮，将会在预处理器预览窗口显示该结果。 模型 该列表的模型选择，必须与预处理选项框内的模型名称对应。 如果预处理与模型不一致也可以出图，但效果无法预料，且并不理想。
注意：ControlNet区域内的模型选择框与左上角的模型选择框不一样，这是模型算法的方式选择，如果你希望更改基础大模型，还是需要通过左上角的模型选择来控制的。
控制权重 ControlNet的权重，代表使用ControlNet生成图片的权重占比影响，权重值越大，ControlNet模型的控制效果越强烈。 引导介入时机 这是是按步数的百分比，如果你设置的生成步数是20步，该值为0.05时，表示第1步(20*0.05)的前面不用引导，从第1步之后开始引导。 引导终止时机 假如你需要提前结束ControlNet的引导生成，那么可以调节此参数的数值，否则一直到引导结果。例如设置生成步骤是20步，想在第15步终止，那么该值可以设置成0.75，那么第15步以后的步骤就不受ControlNet控制了。 ControlNet 模式 如果你希望你所设置的的ControlNet参数占用生成时的更高权重，那么可以选择此项。 如果你希望你所写的Prompt提示词占用生成时的更高权重，那么可以选择此项。 ControlNet的权重与Prompt权重各占一半，生成图片时相互影响。 均衡 更偏向提示词 更偏向ControlNet 缩放模式 我们拿512x512的图像为例，使用三个缩放模式生成一个 1024x1024的图像，看看主要经过了哪些过程： 通过添加噪音的方式将图像填充至512x512，然后缩放到1024x1024分辨率。 考虑宽高比，先将图片裁剪至 512x512，然后缩放至1024x1024分辨率，会造成左右两侧的一些数据丢失。 不考虑宽高比，直接将图像拉伸成1024x1024分辨率。 直接调整大小 比例裁剪后缩放 缩放后填充空白 预设 用于保存已经配置好的ControlNet参数，以便后续快速加载相关参数。 [Batch Loopback] Automatically send generated images to this ControlNet unit in batch generation，点击开启后，在mov2mov等持续性生成过程中，每一帧的结果都会进行ControlNet控制。
二、线稿反转｜invert(from white bg & black line)
该预处理功能没有任何对应的模型，它的作用就是反转：将黑底白线条变成白底黑线条或者将白底黑线条变成黑底白线条。
1、错误示范
我们选择invert(from white bg & black line)预处理器之后，直接点击💥按钮得到的结果如下图。
生成后的效果有点类似于相机的胶片效果，因数这是使用方法不正确。
2、算法介绍
该预处理的功能主要是为线性类反转颜色的，包括Canny，NormalMap，MLSD，Lineart，Scribble/Sketch等均可以用它来生成线稿反转颜色图。
因为线稿通常是白底黑线，但是我们通过Canny或其它线稿提取模型生成一张线稿之后，将会发现底色为黑，线条为白。
这时候我们使用该算法功能，将生成之后的线稿颜色进行翻转，就变成了白底黑线了。
3、正确使用方法
先用canny或其它线稿模型生成线稿
将线稿进行反转
这样我们就得到了线稿的反转图了。
4、生成效果对比
我们按上述配置好以后，点击“生成”按钮，其它所有参数保持不变。
原图 | canny预览图 | 线稿反转图 | 引导生成图 |
三、Canny模型介绍
1、模型功能
Canny模型的主要功能是提取并生成线稿，通过线稿进行二次绘制。
2、模型界面
我们按上图勾选和点击相关按钮，就生成上图的预览处理结果了。
3、使用方法
我们将种子值改成随机值(-1)，点击生成，我们发现生成后的图片和我们提供的原图没有太大差别。
原图 | Canny预览图 | 引导生成图 |
很明显这并不是我们想要的结果，那么我们换个Lora呢？将上述的正向提示词的Lora改成如下：
(extremely detailed CG unity 8k wallpaper),(masterpiece),(best quality),(ultra-detailed),(best illustration),(best shadow),(photorealistic:1.4),1girl on street,beautiful face,big eyes,Kpop idol,((knitwear)),(grey hair:1.1),collarbone,(medium breasts),(looking at viewer,parted lips,smile),upper body,<lora:zny_10:0.7>
其它所有参数都不变，我们重新通过ControlNet引导生成，看下效果：
分列图片
这才是Canny的正确打开方式，通过这种方式，更换大模型将人物转成二次元人物。
我们尝试将大模型更换成二次元的模型，点击生成：
原图 |
通过Canny生成的线稿图，我们可以将人物重新生成各种不同风格的图片，这就是Canny模型的作用。
Tips：
Canny模型额外多出了2个参数：Canny low threshold和Canny high threshol，是Canny提取线稿时的最低阈值以及最高阈值。 高低阈值限制将会影响提取线稿的细节控制，假如最高阈值参数过低，那么所得到的线稿细节就越少，反之亦然，大家可以动手尝试一下他们的区别。
今天的内容就介绍到这里，下次我们再介绍Depth模型，NormalMap模型和OpenPose模型，敬请关注。
我建立一个AI交流群，如果对AI感兴趣的可以在公众号后台回复：Ai，获取进群方式。
欢迎你的加入
