ICLR 2025满分论文,ControlNet作者新作IC-light,控制生成图像照明,代码模型已开源。

文摘   2024-12-02 00:00   江苏  

罕见!ICLR 2025 惊现了一篇满分论文,4个审稿人同时打出了[10,10,10, 10],这是什么炸裂的存在?!这就是ControlNet的作者张吕敏,继ControlNet 后提出的IC-light,用来操控图像生成时的光照。

OK,一起来回顾一下敏神之前的优秀工作~

由于Stable Diffusion用于图像生成中无法精确控制图像细节,往往需要多次抽卡。不管是构图、动作、面部特征还是空间关系,SD生成的结果依然不可控制。ControlNet 的出现就好像是给 SD 了控制器,AIGC也迎来了许多商业化的工作流。也因此ControlNet获得了ICCV 2023最佳论文奖。

继ControlNet后又提出了IC-light和IC-light V2,来操控图像生成时的光照,控制生成图像照明。同时IC-Light 已在 Github 上开源并收获了 5.8k 的星标,就在刚刚,IC-Light获得了ICLR 2025 四位审稿人全满分审稿评分,不得不说敏神的技术品味真的好..

感兴趣的小伙伴们可以点击下面链接阅读之前给大家介绍过的IC-light和IC-light V2~

Controlnet作者放出新大招 IC-Light,可以操控图像生成时的光照,光照难题终于被解决了!

​Controlnet作者新作IC-light V2:基于FLUX训练,支持处理风格化图像,细节远高于SD1.5。

unsetunsetIC-Lightunsetunset

IC-Light代表Impose Constant Light,是一个控制图像照明的项目。可以操控图像生成时的光照,对内容主体重新打光生成符合新背景环境光照的图片。

目前,已经发布了两种类型的模型:

  • 文本条件重新光照模型。从原图分离主体之后通过提示词生成符合光照要求的背景同时主体除了光照之外和原主体一致。
  • 背景条件模型。给定背景图片和前景主体,会自动生成环境光,保证背景和前景的融合。

unsetunsetIC-light V2unsetunset

IC-light V2是基于 Flux 的 IC-Light 型号,具有 16ch VAE 和原生高分辨率。现在 IC-light 支持处理风格化图像,即使是油画或者动漫也没问题。从演示的效果看非常逼真。

主要模型有:

  • 前景条件模型,强调保留输入图像细节;
  • 前景条件模型,强调进行大型修改的能力;
  • 前景和背景条件模型;
  • 与环境 HDRI 集成。

unsetunset相关链接unsetunset

IC-light

  • 代码:https://github.com/lllyasviel/IC-Light
  • 试用:https://huggingface.co/spaces/lllyasviel/IC-Light

IC-light V2

  • 代码:https://github.com/lllyasviel/IC-Light
  • 试用:https://huggingface.co/spaces/lllyasviel/iclight-v2

感谢你看到这里,也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群,一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术,欢迎一起交流学习💗~

AIGC Studio
一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术。这里不仅有简单易懂的AIGC理论实践和AI学习路线,还有大厂工作经历和体会分享。如果有幸能给你一些帮助就更好啦!
 最新文章