FluxCN:黑森林官方可控性CN组件,线稿和深度剖析
🌹大家好!欢迎来到破狼公众号。感谢大家的支持与鼓励。在AIGC探索道路上,我将与你一路同行。喜欢就星标关注破狼公众号或文末扫码加入交流群 !本人仅运营公众号平台,未经授权严禁CSDN等其他平台抄袭和转载!
Flux 线稿和深度组件简介
在之前文章(FLUX.1-Tools:黑森林官方重磅出手构建F1完善生态,补齐CN&IPA!加速生态里程碑进程)中已经总览介绍了最新黑森林官方团队下场亲手打造的Flux生态工具:Flux1-Tools。本文将是关于其中可控性 ControlNet组件-线稿和深度模型续篇,这是一套实现图像生成可控性精确控制的ControlNet组件,分别包含线稿和深度两类控制方式。在线稿上色、图像转绘等场景使用频繁的ControlNet组件之一。能够在图像转换过程中保持精确控制。并通过保留原始图像的结构,用户可以在保持核心构图的同时进行文本提示引导实现图像编辑。在官方的性能评估测试展现:
• FLUX.1 Depth :超越了像 Midjourney ReTexture 这类专有模型。特别是,FLUX.1 Depth [pro] 提供的更高质量的的图像输出多样性。FLUX.1 Depth [dev] 在深度图像任务中也提供了更强的一致结果。
• Canny边缘模型:FLUX.1 Canny [pro] 是同类中最好的线稿模型,其次是 FLUX.1 Canny [dev]模型 。
• 另外在本次发布中,分别提供了全融合模型和LORA两种方式实现版本。
同系列文章参考:
• [ComfyUI]FluxRedux:超好玩创意灵感,一丝小遗憾!F1风格化溶图组件,黑森林官方下场亲手打造F1生态
演示案例
Flux 线稿和深度组件 ComfyUI体验
在最新的ComfyUI官方已经本体支持了,需要更新ComfyUI软件到最新版本即可开始体验。另外还需下载下载对应模型(模型也可以文末网盘获取)。
Flux CN组件全融合模型方式
需要下载 flux1-canny-dev.safetensors 和 flux1-depth-dev.safetensors两个模型并放置ComfyUI/models/unet/ 目录
• flux1-canny-dev.safetensors:下载地址:https://huggingface.co/black-forest-labs/FLUX.1-Canny-dev • flux1-depth-dev.safetensors:下载地址:https://huggingface.co/black-forest-labs/FLUX.1-Depth-dev
Flux CN组件LORA方式
需要下载 flux1-canny-dev-lora.safetensors 和 flux1-depth-dev-lora.safetensors两个模型并放置ComfyUI/models/loras/ 目录
• flux1-canny-dev-lora.safetensors:下载地址:https://huggingface.co/black-forest-labs/FLUX.1-Canny-dev-lora • flux1-depth-dev-lora.safetensors:下载地址:https://huggingface.co/black-forest-labs/FLUX.1-Depth-dev-lora
Flux CN工作流
Flux CN工作流已上传LIBLIB平台:
https://www.liblib.art/modelinfo/f86e5107c27041b7a111eed53dbf5f13?versionUuid=dc705df276bd4c0aa3a555866ff88d19
注意:
• Flux CN两种方式都要求Flux引导值为30,这点需要特别注意。 • Flux CN模型比LORA方式控制更精确,要求质量高的建议使用Flux CN模型。总体的质量完美之前xlabs、instantX的线稿模型。详情参加:[ComfyUI]抢先体验Flux多合一CN组件,SD时代即将过去?可控性最后一公里、[ComfyUI]Flux CN:XLabs官方发布CN组件V3,可控性效果显著提升,农村童年纯真回忆 • 在线稿控制针对建筑有少量线条丢失,还待进一步完成。但总体比之前的线稿显著质量提升很大,无明显图像全局影响。
Flux文生图工作流
Flux文生图感兴趣的同学可参考LIBLIB在线运行工作流:FLUX[续篇]:12B参数23G最大开源文生图模型,Dev版直出惊艳美图欣赏。本文涉及ComfyUI工作流和模型均可在LIBLIBAI上下载或在线运行体验:
• F.1-绮梦流光-水湄凝香:
https://www.liblib.art/modelinfo/134c6dd95aef48e98a22b24e003e026b
• 工作流-Flux文|图生图+LORA+提示反推一键切换工作流:
https://www.liblib.art/modelinfo/782aacd70f604da39e83368c696a02a8
另外LIBLIBAI已支持本地客户端使用可首页(https://www.liblib.art)下载体验。
01. 线稿LORA-人物转换
LORA模型能够较为精准度控制,并且对输入图像无明显全局影响。总体的质量完美之前xlabs、instantX的线稿模型。详情参加:[ComfyUI]抢先体验Flux多合一CN组件,SD时代即将过去?可控性最后一公里、[ComfyUI]Flux CN:XLabs官方发布CN组件V3,可控性效果显著提升,农村童年纯真回忆
cute anime girl , blonde long hair blue eyes wearing a pink sweater
02.线稿LORA-80年代建筑
LORA模型能够较为精准度控制,并且对输入图像无明显全局影响。但对于线条较多的场景(如:建筑)有少量线条丢失显存。总体的质量完美之前xlabs、Shakker的线稿模型。
Oriental architectural design,townhouses,80's houses,lawns,green trees
03.深度LORA-猫咪
Animation style, A cat with sunglasses and a red tracksuit
04.线稿Canny模型-80年代建筑
Canny融合模型控制精准度明显比LORA方法更精确线条。更适合于质量要求高工程类出图。
Oriental architectural design,townhouses,80's houses,lawns,green trees
05.Depth模型-人物
这里使用了亚洲人物摄影LORA模型。
Asian pregnant woman, showing off the huge belly of pregnant triplets about to give birth, long blonde hair, blue eyes, wearing a red deep V dress
06.Canny模型-线稿上色
线稿控制比较精确,实现基础线稿上色Flux不再试难题。另外还可以结合重绘和扩图工具扩图扩展图像,如文章开始图像就是使用扩图模型扩展生成。详情参加:[ComfyUI]FluxFill:先进与高效重绘和扩图神器,超越阿里等同类模型,黑森林官方下场亲手打造F1生态
Big eyes, (dark red dress: 1.3), blue eyes, purple hair, red lipstick, clean face, pink theme, soft sunlight, open eyes, 1 girl, realistic, best quality, HD,
网盘模型获取:关注公众号口令【FluxTools】获取。
更多推荐文章:
感兴趣加入[AGI技术交流群]+V