Stable Diffusion是当前备受瞩目的AI绘图软件之一。它凭借高质量以及可控性,在设计师中广受欢迎,使用AI辅助设计可以大大缩短设计周期。同时,Stable Diffusion的应用场景也十分广泛,包括插画制作、产品海报、品牌形象设计等,为设计师带来了更多的选择和便利。本文首先对Stable Diffusion做出介绍,并且通过对比Stable Diffusion与Midjourney之间的差异,总结Stable Diffusion的主要特点;其次,根据视觉工作实际运用场景,探索几种可行的Stable Diffusion应用场景,并列出部分案例;最后介绍麦可lora模型训练成果。通过结合Stable Diffusion,IP形象设计能够产生更加优质的效果,为设计师提质提效。Stable Diffusion 是一种基于扩散过程的图像生成模型,可以生成高质量、高分辨率的图像。它通过模拟扩散过程,将噪声图像逐渐转化为目标图像。这种模型具有较强的稳定性和可控性,可以生成具有多样化效果和良好视觉效果的图像。- Stable Diffusion与Midjourney对比
Stable Diffusion与Midjourney类似,都可以通过文本生成图像,对比两款 AI 绘画软件之间的差异,简单来说,Stable Diffusion 具有更高的可控性,而 Midjourney更加随机性。因此,使用Stable Diffusion可以更精确地控制绘画结果,而使用 Midjourney 则更加随机化,会有更多惊喜和变化。与Midjourney相比,Stable Diffusion的主要特征如下:#02 Stable Diffusion应用场景与案例基于对stable diffusion的模型整理,并根据实际视觉设计工作中应用场景的结合发现,目前Stable Diffusion可以做到以下几种运用在我们工作中的场景。
Stable Diffusion可以通过线稿生成画面来运用在运营视觉设计中,在我们平台的s级活动金秋采洽会中使用了Stable Diffusion线生图,通过绘制线稿图生成3D设计,节约上色步骤的时间成本。图示为设计采洽会时由草图—线稿—底色—Stable Diffusion生图的流程示意图,通过参数调整Stable Diffusion可以很好的根据画面生成优质的效果
同样,Stable Diffusion可以运用于B端的3D图标设计中,这类大多都是概念性的需求,在常规设计中通常需要确定设计元素,确定草图方案再进行建模渲染。通过Stable Diffusion模型的辅助,可以大大提高做这类需求时的效率。通过选择产品主图或产品线稿,结合场景提示词,经过Stable Diffusion优化,可以出色的完成商品场景合成。Stable Diffusion同样可以使用于视觉符号的延展,我们选用了品牌符号“M”做演示,图中测试了几种Stable Diffusion的写实场景生成效果,这些画面同样也表达了Stable Diffusion带给设计创作的无限可能性。麦可模型训练类型为lora模型,主要训练图片为3D形象,我们选取已设计的麦可形象多角度进行训练。关键词:maike,solo
底模:revAnimated_v122
提示词:触发词(maike,solo)+一句话场景+基础通用正负词
使用麦可lora模型,并使用文生图效果如下,我们分别搭配了两种特征明显的关键词作为测试,分别是万圣节、春节的效果。👇👇万圣节效果测试👇👇👇👇春节效果测试👇👇
可以看出文生图生成图像的特征明显,画面丰富饱满,但是细节部分经不起推敲,并且抽卡随机性较大,需要依赖大量抽卡才能生成优质的画面效果。在实际运用的时候,可以作为我们设计灵感的重要来源,帮助我们在设计前期进行思维发散。直接使用文生图是有很大的随机性的,使用controlnet搭配画面内容会更加可控。使用线稿、建模或上色稿对画面进行控制,产出优质又符合IP本身特点的设计。文生图生成视频流程
圣诞节二维插画转3D效果
会员日建模草稿转3D效果
Stable Diffusion对画面氛围感把握优秀,从出图效果可以看出其对草图的还原度高,草图的形标准程度较大的影响出图效果。由生成图可以看出,Stable Diffusion对麦可头饰还原度较好,局部细节有些部分不太明确,可以通过局部重绘并添加提示词调整细节。Stable Diffusion生成画面色彩搭配良好协调,表现力强。#04 麦可AIGC海报设计
#05 结语
Stable Diffusion的应用领域尚待我们进一步的发掘和探索,随着AI软件工具的不断进步发展,AI软件对于设计师来说,也提供了更多的机会和可能性,可以为设计师提供更多创作灵感、简化设计流程、优化视觉效果,我们将不断追踪AI绘画的发展步伐,运用Stable Diffusion或Midjourney等其他软件工具,以提升我们的工作效率。