Stable Diffusion文生图
1. Stable Diffusion基础
1.1 WebUI安装配置
Stable Diffusion WebUI是目前最流行的SD图像生成界面,我们首先来了解它的安装与配置步骤。
1.1.1 基础环境准备
1. Python环境要求
• Python 3.10.6或以上版本 • 建议使用Miniconda创建独立环境
sudo apt install gitgit clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
cd stable-diffusion-webui1.1.2 运行配置
1. 首次启动
系统将自动下载依赖并完成安装./webui.sh --xformers2. 优化启动参数
• --xformers: 启用xformers优化• --medvram: 中等显存优化模式• --lowvram: 低显存优化模式• --listen: 允许远程访问• --api: 启用API功能
• 基础模型放在 models/Stable-diffusion目录• VAE模型放在 models/VAE目录• LoRA模型放在 models/Lora目录
1.2 基础功能使用
1.2.1 文生图(Text-to-Image)
1. 提示词编写
• 正向提示词(Prompt)：描述你想要的内容 • 负向提示词(Negative Prompt)：描述你不想要的内容 • 提示词格式： 主体描述, 风格描述, 环境描述, 光效描述
• Sampling Steps: 20-30步较为合适 • Sampling method: DPM++ 2M Karras效果较好 • Width/Height: 建议使用512的倍数 • CFG Scale: 7-9较为平衡 • Seed: -1随机生成,固定值可复现结果
1.2.2 图生图(Image-to-Image)
1. 基础操作
• 上传参考图片 • 设置Denoising strength(一般0.7-0.85) • 调整提示词引导图片生成方向
• 使用局部重绘(Inpaint)修复细节 • 结合图片裁剪和缩放优化构图 • 保持原图色调可降低Denoising strength
1.2.3 进阶技巧
1. 提示词权重设置
• 使用()增加权重: (word)=1.1倍 • 使用[]降低权重: [word]=0.9倍 • 使用数字明确权重: (word:1.5)
• 使用Grid生成对比不同参数效果 • 通过X/Y Plot寻找最佳参数组合 • 保存常用设置作为风格预设
• 面部修复(Face restoration) • 高清修复(Upscale) • 色彩调整与优化
• VAE选择与应用 • 显存优化设置 • 生成速度提升技巧
2. SD插件与扩展
2.1 ControlNet配置与应用
2.1.1 安装配置
1. 安装步骤 cd extensions
git clone https://github.com/Mikubill/sd-webui-controlnet.git2. 下载模型
• 从Hugging Face下载常用模型 • 放置在 models/ControlNet目录
2.1.2 常用模型应用
1. Canny边缘检测
• 适用于精确控制轮廓和结构 • 建议调整预处理器阈值
• 控制画面景深和空间结构 • 可与其他控制器叠加使用
• OpenPose模型控制人物姿势 • DWPose模型效果更精确
• 通过参考图控制构图和风格 • 适合保持特定元素一致性
2.2 IP-Adapter使用指南
2.2.1 基础配置
1. 安装步骤
• 下载IP-Adapter扩展 • 配置模型文件
• 基础模型适合普通场景 • Plus模型效果更好但需要更多显存
2.2.2 实践应用
1. 人物风格迁移
• 上传参考图片 • 调整图像权重 • 结合提示词优化效果
• 使用多张参考图片 • 通过权重控制影响程度 • 配合ControlNet获得更好效果
2.3 LoRA训练与使用
2.3.1 LoRA模型使用
1. 模型导入
• 下载LoRA模型文件 • 放入models/Lora目录 • 重启WebUI加载新模型
• 在提示词中使用 'lora:模型名:权重'• 调整权重(0.5-1.0较为合适) • 可叠加多个LoRA效果
2.3.2 自定义训练
1. 数据准备
• 收集10-20张高质量样本 • 统一图片分辨率 • 准备标注文件
• 设置适当的学习率 • 选择合适的基础模型 • 调整训练步数
• 监控训练损失 • 定期保存检查点 • 使用验证集评估效果
