首页 时事 民生 政务 教育 文化 科技 财富 体娱 健康 情感
更多
旅行 百科 职场 楼市 企业 乐活 学术 汽车 时尚 创业 美食 幽默 美体 文摘

ICLR 惊现[10,10,10,10]满分论文，ControlNet 作者新作，Github 5.8k 颗星

科技   2024-12-01 12:25   北京  

机器之心报道

编辑：佳琪、蛋酱

四个 10 分！罕见的一幕出现了。
您正在收看的，不是中国梦之队的跳水比赛，而是 ICLR 2025 的评审现场。
虽说满分论文不是前无古人，后无来者，但放在平均分才 4.76 的 ICLR，怎么不算是相当炸裂的存在呢。
https://papercopilot.com/statistics/iclr-statistics/iclr-2025-statistics/
这篇征服了列位审稿人的论文，正是 ControlNet 作者张吕敏的新作 IC-Light。我们很少看到一篇论文，能够让四位审稿人给出高度一致的「Rating: 10: strong accept, should be highlighted at the conference」。
早在向 ICLR 投稿之前，IC-Light 就已经在 Github 上开源半年了，收获了 5.8k 的星标，足见其效果之优秀。
最初版本是基于 SD 1.5 和 SDXL 实现的，而就在前几天，团队又推出了 V2 版本，适配了 Flux，效果也更上一层楼。
感兴趣的朋友们，可以直接试玩。

  • Github 项目：https://github.com/lllyasviel/IC-Light?tab=readme-ov-file

  • V2 版本：https://github.com/lllyasviel/IC-Light/discussions/98

  • 试玩链接：https://huggingface.co/spaces/lllyasviel/IC-Light


IC-Light 是一个基于扩散模型的照明编辑模型，可以通过文本精准控制图像的光照效果。
也就是说，要放在 PS 里打开蒙版、打开 alpha 通道，调试明暗分离才能搞定的光影效果，用上 IC-Light，就变成了「动动嘴皮子的事」。
输入 prompt，要让光从窗户里打进来，于是就能看到阳光透过雨后的窗户，在人物侧脸打出柔和的轮廓光。
IC-Light 不仅精准地还原了光线的方向，还精准地呈现了光透过玻璃的漫射效果。
对霓虹灯这样的人工光源，IC-Light 的效果同样出色。
根据提示词，原本在教室里的场景立马爆改赛博朋克风格：霓虹灯的红蓝双色打在人物身上，营造出深夜都市特有的科技感和未来感。
模型不仅准确还原了霓虹灯的色彩渗透效果，还保持了人物的一致性。
IC-Light 还支持上传背景图片，来改变原图的光照。
而说到 ControlNet，大家应该都不陌生，它可是解决了 AI 绘画界一个老大难问题。
Github 项目：https://github.com/lllyasviel/ControlNet
之前，Stable Diffusion 最让人头疼的就是无法精确控制图像细节。不管是构图、动作、面部特征还是空间关系，即便提示词已经做了很详细的规定，但 SD 生成的结果，依然要坚持 AI 独特的想法。
但 ControlNet 的出现就好像是给 SD 装上了「方向盘」，许多商业化的工作流也因此催生。
学术应用两开花，ControlNet 在 ICCV 2023 摘下了马尔奖（最佳论文奖）的桂冠。
虽然很多业内人士表示在卷得飞起的图片生成领域，真正的突破越来越难。但张吕敏似乎总能另辟蹊径，每次出手都能精准命中用户需求。这一次也不例外。
在现实世界中，光照和物体表面的材质是紧密关联的。比如你看到一个物体时，很难分清楚是光线还是材质，让物体呈现出是我们眼中样子。因此，在让 AI 编辑光线时，也很难做到不改变物体本身的材质。
以前的研究想通过构建特定的数据集来解决这个问题，但收效甚微。而 IC-Light 的作者发现用 AI 合成生成的数据加上一些人工处理，能达到不错的效果。这个发现对整个研究领域都有启发意义。
ICLR 2025 刚放榜之时，IC-Light 就凭借「10-10-8-8」稳坐最高分论文的宝座。
审稿人们在审稿意见里也不乏赞美之词：
「这是一篇精彩论文的典范！」
「我认为所提出的方法和由此产生的工具将立即对许多用户有用！」
在 rebuttal 结束，补了一些参考文献和实验之后。那两位给 8 分的审稿人也欣然改成了满分。
下面，就让我们一起来看看满分论文具体都写了什么。
研究细节

  • 论文标题：Scaling In-the-Wild Training for Diffusion-based Illumination Harmonization and Editing by Imposing Consistent Light Transport

  • 论文链接：https://openreview.net/pdf?id=u1cQYxRI1H

在这篇论文中，研究者根据光传输独立性的物理原理，提出了在训练过程中强加一致光（IC-Light）传输的方法，其物理原理是：不同光照条件下物体外观的线性混合与混合光照下的外观一致。
如图 2 所示，研究者利用多种可用数据源对照明效果的分布进行建模：任意图像、3D 数据和灯光舞台图像。这些分布可以捕捉现实世界中各种复杂的照明场景，背光、边缘光、辉光等。为简单起见，此处将所有数据处理为通用格式。
但学习大规模、复杂和嘈杂的数据是一项挑战。如果没有合适的正则化和约束条件，模型很容易退化为与预期光照编辑不符的随机行为。研究者给出的解决方案是在训练过程中植入一致光（IC-Light）传输。
通过施加这种一致性，研究者引入了一个强大的、以物理为基础的约束条件，确保模型只修改图像的光照方面，同时保留反照率和精细图像细节等其他固有属性。这种方法可以在 1000 多万个不同样本上进行稳定、可扩展的训练，样本包括来自光照舞台的真实照片、渲染图像以及带有合成光照增强的野外图像。本文提出的方法能够提高光照编辑的精度，降低不确定性，减少伪影，同时不改变基本的外观细节。
总体来说，这篇论文的贡献主要包括：
(1) 提出了 IC-Light，一种通过施加一致光传输来扩展基于扩散的光照编辑模型训练的方法，确保在保留内在图像细节的同时进行精确的光照修改；
(2) 提供了预训练的光照编辑模型，以促进不同领域内容创建和处理中的光照编辑应用；
(3) 通过大量实验验证了这种方法的可扩展性和性能，显示了它在处理各种光照条件时与其他方法的不同之处；
(4) 介绍了其他应用，如法线贴图生成和艺术照明处理，进一步展示了该方法在真实世界、实际场景中的多功能性和鲁棒性。
实验结果
在实验中，研究者验证了扩大训练规模和数据源多样化可以增强模型的鲁棒性，并能提高各种与光照相关的下游任务的性能。
消融实验证明，在训练过程中应用 IC-Light 方法可以提高光照编辑的准确性，从而保留反照率和图像细节等内在属性。
此外，与在更小或更结构化的数据集上训练的其他模型相比，本文方法适用于更广泛的光照分布，如边缘照明、背光照明、魔法发光、日落光晕等。
研究者还展示了该方法处理更多野外照明场景的能力，包括艺术照明和合成照明效果。此外还探讨了生成法线贴图等更多应用，并讨论了这种方法与典型主流几何估计模型之间的差异。
消融实验
研究者首先恢复了训练中的模型，但删除了野外图像增强数据。如图 4 所示，移除野外数据严重影响了模型的泛化能力，尤其是对于肖像等复杂图像。例如，训练数据中不存在的肖像中的帽子经常会以不正确的颜色呈现（如从黄色变为黑色）。
研究者还尝试了移除光传输一致性。没有了这一限制，模型生成一致光照和保留反照率（反射颜色）等固有属性的能力明显下降。例如，一些图像中的红色和蓝色差异消失了，输出结果中也出现了明显的色彩饱和度问题。
而完整的方法结合了多种数据源，并加强了光传输的一致性，产生了一个能够在各种情况下通用的均衡模型。它还保留了细粒度图像细节和反照率等固有属性，同时减少了输出图像的误差。
其他应用
如图 5 所示，研究者还展示了其他应用，例如利用背景条件进行光照协调。通过对背景条件的额外通道进行训练，本文的模型可以完全根据背景图像生成照明，而无需依赖环境映射。此外，模型还支持不同的基础模型，比如 SD1.5、SDXL 和 Flux，这些模型的功能在生成的结果中都有所体现。
定量评估
在定量评估中，研究者使用了峰值信噪比（PSNR）、结构相似性指数（SSIM）和学习感知图像补丁相似性（LPIPS）等指标。并从数据集中提取了 50000 个未见过的 3D 渲染数据样本子集进行评估，确保模型在训练过程中没有遇到过这些样本。
测试的方法有 SwitchLight、DiLightNet，以及本文方法不包含某些组件（例如，不包含光传输一致性、不包含增强数据、不包含三维数据和不包含灯光舞台数据）的变体。
如表 1 所示，就 LPIPS 而言，本文方法优于其他方法，表明其具有卓越的感知质量。仅在三维数据上训练的模型获得了最高的 PSNR，这可能是由于对渲染数据的评估偏差所致（因为本次测试仅使用了三维渲染数据）。结合多种数据源的完整方法在感知质量和性能之间取得了平衡。
视觉对比
研究者还与之前的方法进行了直观比较。如图 6 所示，与 Relightful Harmonization 相比，由于训练数据集更大更多样化，本文模型对阴影的鲁棒性更高。SwitchLight 和本文模型产生了具有竞争力的重新照明结果。这种方法的法线贴图质量更细致一些，这要归功于从多个表象中合并和推导阴影的方法。此外，与 GeoWizard 和 DSINE 相比，该模型生成的人类法线贴图质量更高。
更多研究细节，可参考原论文。

© THE END 
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com

 http://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650945050&idx=1&sn=c25355aef3fd9bff88bb9550ade59883
机器之心
专业的人工智能媒体和产业服务平台
 最新文章
ICLR 惊现[10,10,10,10]满分论文，ControlNet 作者新作，Github 5.8k 颗星
Andrej Karpathy：神奇大模型不存在的，只是对人类标注的拙劣模仿
Ilya 「Scaling What」的答案会是程序性知识吗？
关于计算机视觉中的自回归模型，这篇综述一网打尽了
ChatGPT 发布后这两年，该关注什么？机器之心打包了24个主题350多篇高质量文章
三名高中生，为近百年的分形定理带来了新证明
陶哲轩：通义千问QwQ奥数真厉害，开源大模型顶流
GPT-5涌现能力可预测？UC伯克利仅使用当前模型检查点预测未来模型
多模态慢思考：分解原子步骤以解决复杂数学推理
「瞄准」o1：国内大模型厂商的技术思路有何不同？过度推理成通病？
AI现场发了2万红包，打开了大模型Act时代
流式深度学习终于奏效了！强化学习之父Richard Sutton力荐
斯坦福吴佳俊扩散自蒸馏来了！突破文生图身份保留挑战
算法系统协同优化，vivo与港中文推出BlueLM-V-3B，手机秒变多模态AI专家
上百万智能体在OASIS模拟平台上玩推特，AI玩社交媒体和真人有多像？
向量数据库的中场战事：长期主义者Zilliz如何全球突围
世界首次！智源研究院实现数字孪生心脏电功能超实时仿真
rebuttal真的有用！这篇ICLR论文，所有审稿人都加了2分，直接跃升排名第9
12%计算量就能媲美原模型，Adobe、罗切斯特大学等提出YOPO剪枝技术
LLM破局泛化诊断难题，MSSP刊登北航PHM实验室健康管理大模型交叉研究
刚刚，Ilya的Seq2Seq、Ian的GAN获NeurIPS时间检验奖
Scaling Law 撞墙？复旦团队大模型推理新思路：Two-Player架构打破自我反思瓶颈
国产大模型首发中文逻辑推理，「天工大模型4.0」o1版来了
遗憾不？原来百度2017年就研究过Scaling Law，连Anthropic CEO灵感都来自百度
HuggingFace工程师亲授：如何在Transformer中实现最好的位置编码
跨模态大升级！少量数据高效微调，LLM教会CLIP玩转复杂文本
Sora就这么泄露了三小时，网友调侃Altman急拔网线，艺术家们也在抗议被「白嫖」
创业一年半，胖了30斤，AI大佬感叹：还是回谷歌好
吴恩达出手，开源最新Python包，一个接口调用OpenAI等模型
陈天奇团队LLM结构化生成新引擎XGrammar：百倍加速、近零开销
「毕昇一号」DNA活字存储喷墨打印机来了，低成本、高效率、全自动的DNA存储
撞墙还是新起点？自回归模型在图像领域展现出Scaling潜力
和梁朝伟同获港科荣誉博士，黄仁勋与沈向洋对谈Scaling Law、后训练、机器人和爱情
更新了！带Agent的Cursor太疯狂了
小学二年级数学水平，跟着这篇博客也能理解LLM运行原理
文本、图像、点云任意模态输入，AI能够一键生成高质量CAD模型了
智能体竟能自行组建通信网络，还能自创协议提升通信效率
AI版周扒皮！打字速度慢、鼠标超30秒未动，就被AI「警告」，Karpathy下场评论
RTX 4090可跑、完全开源，最快视频生成模型问世，实测一言难尽
RL「误人」？LeCun 在技术路线上又有何战略摇摆？
智能体零样本解决未见过人类设计环境！全靠这个开放式物理RL环境空间
研究大模型门槛太高？不妨看看小模型SLM，知识点都在这
大半年过去，主流视频生成模型们超越Sora了吗？
这才是真・开源模型！公开「后训练」一切，性能超越Llama 3.1 Instruct
阿里国际版o1来了，Marco-o1：聚焦开放式问题推理
英伟达开源福利：视频生成、机器人都能用的SOTA tokenizer
NeurIPS 2024 Oral | 还原所见！揭秘从脑信号重建高保真流畅视频
如今的智能体，已经像人一样「浏览」视频了，国内就有
仅仅一天，Gemini就夺回了GPT-4o拿走的头名
上交大o1复现新突破：蒸馏超越原版，警示AI研发"捷径陷阱"
 分类
时事
民生
政务
教育
文化
科技
财富
体娱
健康
情感
旅行
百科
职场
楼市
企业
乐活
学术
汽车
时尚
创业
美食
幽默
美体
文摘
 原创标签
时事 社会 财经 军事 教育 体育 科技 汽车 科学 房产 搞笑 综艺 明星 音乐 动漫 游戏 时尚 健康 旅游 美食 生活 摄影 宠物 职场 育儿 情感 小说 曲艺 文化 历史 三农 文学 娱乐 电影 视频 图片 新闻 宗教 电视剧 纪录片 广告创意 壁纸头像 心灵鸡汤 星座命理 教育培训 艺术文化 金融财经 健康医疗 美妆时尚 餐饮美食 母婴育儿 社会新闻 工业农业 时事政治 星座占卜 幽默笑话 独立短篇 连载作品 文化历史 科技互联网
 发布位置
广东 北京 山东 江苏 河南 浙江 山西 福建 河北 上海 四川 陕西 湖南 安徽 湖北 内蒙古 江西 云南 广西 甘肃 辽宁 黑龙江 贵州 新疆 重庆 吉林 天津 海南 青海 宁夏 西藏 香港 澳门 台湾 美国 加拿大 澳大利亚 日本 新加坡 英国 西班牙 新西兰 韩国 泰国 法国 德国 意大利 缅甸 菲律宾 马来西亚 越南 荷兰 柬埔寨 俄罗斯 巴西 智利 卢森堡 芬兰 瑞典 比利时 瑞士 土耳其 斐济 挪威 朝鲜 尼日利亚 阿根廷 匈牙利 爱尔兰 印度 老挝 葡萄牙 乌克兰 印度尼西亚 哈萨克斯坦 塔吉克斯坦 希腊 南非 蒙古 奥地利 肯尼亚 加纳 丹麦 津巴布韦 埃及 坦桑尼亚 捷克 阿联酋 安哥拉