用最新的SDXL大模型做项目是怎样的体验?
最近合作小伙伴微星的IP魔龙做一个形象升级,从一个平面的白底稿,快速变成具有3D属性的还带有场景的小海报,这里我们就借助了SD最新的SDXL大模型~
SDXL现在在网上热度非常高,但还有少部分同学存在疑惑SDXL是什么?是模型还是插件?SDXL1.0 是 Stable Diffusion 的下一代模型, 是一个多功能的模型,可以很好地生成多种风格。
SDXL生成图片的默认大小是1024*1024,并且SDXL支持不同大小的宽高比,并且图片的宽高比会影响SDXL生成的图片质量,这一点倒是跟Midjourney很像,所以我们在设置尺寸的时候一定要根据最后出图效果去设置。
说到这里,我想你已经对SDXL肯定熟悉了,那我就直接动手上操作了,以下是IP原图。
我首先在网上找了一圈合适的SDXL大模型~
把找好的大模型加载进来,注意SDXL加载需要一点时间,你要耐心等待一下。
大模型加载进来之后就可以开始写关键词了~
这里我分别写了正向和反向关键词,切记你要注意的是:在写反向关键词对于SDXL来说并不需要多余额外的提示词,相信大家在AI绘画网站上看到很多制作精美的图片时大部分都有超长的负面提示词,对于SD XL模型来说,很多关键词实际上是没有什么作用的,例如额外的手等等。对SDXL来说,需要编写的负面提示词是很少的。负面提示词应该只包含在绘画中你不想要的元素,例如生成图片时风格不使用卡通风格。
哦对了,有个懒人插件:StyleSelectorXL可以帮你一键选取风格关键词哦,想要什么风格关键词直接点击选取好了,方便!
写完关键词之后,下一步就是非常重要的添加controlnet插件,因为大模型SDXL不兼容老版本的controlnet,所以controlnet需要全部更新到最新2023版本,因为你如果想要控制住画面的原始图形形态,那就必然要controlnet插件啦,这一步不能省去~
最后像一些采样方式还有尺寸什么就如下图所示了:
尺寸:752x936
采样方式:DMP++2M SDE Karras Steps: 35
Sampler: DPM++ 2M SDE Karras
controlnet Module: canny,
controlnet Model: diffusers_xl_canny_full
Seed: 10768824 Hires upscaler: R-ESRGAN 4x+(高分辨率修复)
注:如果你不想人物脸崩的话可以开启高分别率修复哦~
点击生成,哇哦,一张非常棒的效果图就出来了。
这里我用的是微星万图师4060ti 16g,好家伙!一共用时6分钟!
总所周知,SD非常吃显存和显卡性能,所以必须是NVIDIA的独立显卡,显存最低4G推荐20系以后的N卡,而使用最新的SDXL最强大模型,则需要电脑显存超过8G及以上,而这次的操作我用的是微星万图师4060ti 16G,如果我换成20系列整个渲染可能就会直接崩掉!
在这里,你还可以添加相应的lora辅助你生成最后的效果哦。
你还可以生成真人效果样式,前提是你要更换lora和大模型,想要什么效果就可以直接一键生成,简直不要太棒!
Lora:<lora:东方审美 _ brairt.sdxl_v1.0:1>
大模型:XXMix_9realisticSDXL_v1
然后,我还用微星万图师4060ti 16G 跑了一下lora训练,基本16G显存已经跑满,完全可以码住!
25500张素材需要跑1.22小时,而3060ti差不多是2.1小时,有一定差距,2080ti-2.5小时左右。
如果你是比较喜欢Ai制作,本身对显卡性能没有那么高,追求性价比的话我还是非常推荐这张显卡的,因为4060ti本身的功耗和发热都不高,所以这样的小卡在散热上也完全没有问题的,而且万图师系列价廉物美,适合本身预算不高的设计师选择使用啦~