​Controlnet作者新作IC-light V2:基于FLUX训练,支持处理风格化图像,细节远高于SD1.5。

文摘   2024-11-03 00:01   江苏  

IC-light V2:支持处理风格化图像

“IC-Light”全称是“Imposing Consistent Light”,IC-Light 是一个操纵图像照明的项目。目前已经发布了两种类型的模型,两种模型均以前景图像作为输入。

  • • 文本条件重亮模型

  • • 背景条件模型。

在之前的文章中已经和大家介绍过IC-Light了,感兴趣的小伙伴可以点击以下链接阅读~

Controlnet作者放出新大招 IC-Light,可以操控图像生成时的光照,光照难题终于被解决了!

今天给大家介绍的是敏神最新发布的 IC-light V2,它是基于 Flux 的 IC-Light 型号,具有 16ch VAE 和原生高分辨率。现在 IC-light 支持处理风格化图像,即使是油画或者动漫也没问题。从演示的效果看非常逼真。

主要模型有:

  • • 前景条件模型,强调保留输入图像细节。

  • • 前景条件模型,强调进行大型修改的能力,例如处理低光图像和更改硬阴影。

  • • 前景和背景条件模型。

  • • 与环境 HDRI 集成。

目前只训练完成第一个模型。

相关链接

  • • 代码:https://github.com/lllyasviel/IC-Light

  • • 试用:https://huggingface.co/spaces/lllyasviel/iclight-v2

效果展示

得益于16ch VAE、原生高分辨率和更好的训练方法,细节保存能力远高于SD1.5。

如果叠加输入/输出,可以看到细节保存的级别,例如:

与 SD1.5 的另一个重要区别是处理风格化图像的能力。SD15 IC-Light 有时会对图像样式进行过大的修改,例如:

SD15 iclight 使输入绘制出类似照片的图像。效果仍然很有趣,但在某些情况下可能不是理想的效果。

下面是再次尝试将“超现实主义绘画”添加到提示中但仍然无法获得绘画:

这些来自新模型:

(3 个结果具有相同的种子 12345)

这取决于不同人的口味。但至少现在的模型终于能够在你不想要照片的时候给你一幅画了。示例,所有种子均为 12345

感谢你看到这里,也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群,一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术,欢迎一起交流学习💗~

AIGC Studio
一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术。这里不仅有简单易懂的AIGC理论实践和AI学习路线,还有大厂工作经历和体会分享。如果有幸能给你一些帮助就更好啦!
 最新文章