Controlnet、SD WebUI Forge 和 LayerDiffusion 的作者 lllyasviel 大神最近又推出了一个新的项目 IC-Light,可以实现控制一张图像的光照方向和色调氛围,今天一起我们了解一下它的特点及用法~
IC-Light 简介
IC-Light 项目主页:
https://github.com/lllyasviel/IC-Light
IC-Light 是 "Imposing Consistent Light (营造一致的光线)" 的缩写,它是一个照明控制项目,目前支持通过文本和背景图对前景内容进行照明控制,使前景主体与背景环境光照一致,从而让二者融为一体。
从官方放出的截图中可以看出,IC-Light 可以对色调氛围和光照方向进行控制。如提示词写了 “窗外的阳光”,那么处理后的图像中人物身上就会有明显的光影,整体色调也会变成温暖的橘色;如果提示词写的霓虹灯光,则画面会变成暗调的红蓝光。光照方向则可以通过 Lighting Preference 选项来控制,支持左侧光、右侧光、底部光和顶部光。即使原图中的光影非常复杂,IC-Light 也可以重新进行打光。
使用方法
1. 在线体验
https://huggingface.co/spaces/lllyasviel/IC-Light
Huggingface 已经有了 IC-Light 的在线使用 Demo,可以直接体验其光照控制功能。使用方式也非常简单,上传一张人物图像,用文本描述新的背景内容和色调氛围,然后在 Lighting Preference 中设置光照的方向,最后点击 Relight 生成就可以了。
2. ComfyUI
IC-Light 原生插件:
https://github.com/huagetai/ComfyUI-Gaffer
模型下载:
https://huggingface.co/lllyasviel/ic-light/tree/main
ComfyUI 目前已经有多个实现 IC-Light 的插件,此处我使用的是原生的插件 ComfyUI-Gaffer,我们可以通过 git clone 或者 comfyui manager 安装。
插件安装成功后,需要下载 3 种 IC-Light 模型 (文末有资源包),安装到 ComfyUI/models/iclight 文件夹中,三种模型目前只适用于 SD 1.5 模型,作用分别为:
1.iclight_sd15_fc.safetensors:
默认的重照模式,以文本和前景为条件。您可以使用初始潜影来影响重照效果。在 FG 工作流程中使用它
2.iclight_sd15_fcon.safetensors:
与 “iclight_sd15_fc.safetensors ”相同,但使用偏移噪声进行训练。在 FG 工作流程中使用它
3.iclight_sd15_fbc.safetensors:
以文本、前景和背景为条件的重新照明模型。在 BG 工作流程中使用它
以上步骤完成后,重启 ComfyUI,然后从 ComfyUI Gaffer 插件根目录的 example 文件夹中导入官方给的 6 个工作流文件,然后就可以正常使用了。其中 IC-Light 节点的相关参数和用法在 ComfyUI Gaffer 的 Github 主页中有详细介绍,使用前可以先仔细阅读一下。6 个工作流的作用分别是:
①workflow-gaffer-iclight-fc-text:文本生成背景,修改给定前景的光照,使其融为一体。
②workflow-gaffer-iclight-fc:文本生成背景+手动设置 8 种光照方向,修改给定前景的光照,使其融为一体。
③workflow-gaffer-iclight-fbc:上传给定背景,修改给定前景的光照,使其融为一体。
④workflow-gaffer-iclight-fc-normal:批量生成不同的光照环境。
⑤workflow-gaffer-iclight-fc-animated:生成动态照明动画
⑥workflow-gaffer-iclight-all:上传背景+设定光照方向+批量生成功能合集
3. SD WebUI Forge
插件链接:
https://github.com/huchenlei/sd-forge-ic-light
模型下载:
https://huggingface.co/huchenlei/IC-Light-ldm/tree/main
除了 ComfyUI,lllyasviel 自研的 SD WebUI Forge 也已经有了 IC-Light 的插件,可以在 「extension」中通过网址安装。然后下载 clight_sd15_fc_unet_ldm(用于前景)和 iclight_sd15_fbc_unet_ldm(用于背景)两个模型,安装到根目录的 stable-diffusion-webui-forge/models/unet(没有 unet 文件夹手动创建一个)。
SD WebUI Forge 中也支持从文本生成背景、控制照明方向和上传背景图对给定前景造成影响。需要注意的是:
1.如果是自己上传背景图,需要将照明模型又 FC 转为 FBC;
2.CFG 数值要调低,一般为2;
3.控制光照方向时,插件为自动在图生图版块生成灰度图,此处的 CFG 同样要调整为2,重绘幅度要调高为1。
以上就是本期对打光控制插件 IC-Light 的相关介绍,相关模型、工作流文件都在下方的云盘链接内,记得下载~
如果你想更全面深入地学习 Midjourney 并做到灵活应用,可以了解一下《AIGC零基础入门直播课》这套课程由本平台和阿里AIGC人工智能人才孵化中心共同研发!!!师资力量强大,让你足不出户,零基础轻松提升设计技能,让我们一起开启设计之门,探索无限可能!
https://pan.baidu.com/s/1wj4opkQRxYouJTXNy9DvOQ?pwd=6666
密码:6666
扫码添加老师微信
了解更多详情~~
别等了!立即报名,开启一段探索AIGC世界的变革之旅,设计,从此不再遥不可及!课堂见!