LuminaBrush：图像上绘制照明效果的交互工具
🌹大家好！欢迎来到破狼公众号。感谢大家的支持与鼓励。在AIGC探索道路上，我将与你一路同行。喜欢就星标关注破狼公众号或文末扫码加入交流群 ！
LuminaBrush简介
今天文章介绍ControlNet作者张吕敏大神最新发布打光项目：LuminaBrush，这个项目目标是构建一个交互式工具，基于最新Flux文生图的打光项目，能够被用于在图像上绘制照明效果。该框架是一个两阶段方法：
• 一个阶段是将图像转换为“均匀照明”的外观 • 另一个阶段是根据用户的涂鸦生成照明效果
同样和之前打光模型一样，当前也仅开放体验，并未开源模型权重。相关资料：
• Github：https://github.com/lllyasviel/LuminaBrush/tree/main • 在线体验：https://huggingface.co/spaces/lllyasviel/LuminaBrush
演示案例
LuminaBrush框架
LuminaBrush是一个两阶段框架。
• 第一阶段（左侧）将图像转换为“均匀照明”的外观（例如，由均匀分布的白色环境光源照亮的图像）； • 第二阶段（右侧）为这些“均匀照明”的外观生成照明效果，由用户涂鸦引导。
将照明绘图问题分解为两个阶段，使得学习变得更容易和直接——否则（例如，如果只使用一个阶段），可能需要考虑外部约束/规定（如光传输一致性等）来稳定模型行为。
为了训练模型，研发团队首先收集一组相对较小的图像，这些图像具有相对均匀的照明外观——例如像这些：
然后，还使用了在这个数据集合上训练的Flux LoRA生成的图像来扩展这个集合。
使用这些“均匀照明”的图像作为中间表示有一些优势，比如避免过于尖锐的网格边界或过于平坦的3D反照率表面。这些图像足够详细，可以处理皮肤纹理、头发、毛皮等细节。
然后合成随机法线，随机重新照亮这些“均匀照明”的图像，以训练一个可以从任何输入图像中提取“均匀照明”外观的模型。
之后，再从数以百万计的高质量野外图像中提取“均匀照明”的外观，构建成对的数据，以训练最终的交互式照明绘图模型。这种方法的一个明显副产品是将“均匀照明阶段”独立使用，以某种方式“去照明”图像。
LuminaBrush 体验
• IC-Light V2-Vary：打光模型重大升级，具有更强的光照变化，适用商用产品&摄影打光 • [ComfyUI]Flux：F.1重打光模型IC-LightV2预览，增强细节和质量，CN作者最新作品
Flux文生图工作流
• F.1-绮梦流光-水湄凝香：
https://www.liblib.art/modelinfo/134c6dd95aef48e98a22b24e003e026b
• 工作流-Flux文|图生图+LORA+提示反推一键切换工作流：
https://www.liblib.art/modelinfo/782aacd70f604da39e83368c696a02a8
LuminaBrush体验
注意：
• 在线体验地址：https://huggingface.co/spaces/lllyasviel/LuminaBrush • 注意需要使用有颜色画笔代表光照
01. 冰冻湖
a woman. natural lighting. a frozen lake with ice formations in the background.02.霓虹之夜
a woman. neon night, city. a bustling marketplace in the background.03.瀑布
a woman. soft studio lighting. a tranquil waterfall surrounded by trees in the background.04.书房
detailed photo of a woman. a woman. sunshine from window. bookshelves and plants in the background in the background.另外，LIBLIB平台已支持混元视频在线生成了，笔者已制作可在线运行工作流体验：https://www.liblib.art/modelinfo/35ee21d5f6a94204abb767ad194ab9cd?from=personal_page&versionUuid=be674032ffa14e5597a08922556f4da0
更多推荐文章：
• [ComfyUI]HelloMemeV2：表情迁移神器！直播数字人，更强保真和表情丰富的一致性迁移
• [ComfyUI]腾讯混元视频：强烈推荐！质量增强神器！Enhance-A-Video无性能和内存显著影响
• [ComfyUI]LTX-Video更新：增强视频质量和性能，内置STG和PAG更灵活！最快速高效的开源视频模型
• [ComfyUI]FastVideo：混元官方点赞，6步8倍轻量级加速模型！腾讯混元视频模型一致性蒸馏技术
• 腾讯混元视频：ComfyUI官方原生支持！GGUF量化低显存福音！开源生态高速发展
• [ComfyUI]腾讯混元视频：运动镜头控制！行走动画LORA，最强开源视频可控性里程碑
• [ComfyUI]腾讯混元视频：开源LORA生态来啦！视频人物一致性&运镜可控性里程碑
