Flux新增4大模型,支持局部重绘/扩图/风格变体(附模型下载)

科技   2024-11-26 17:31   湖北  

 大家好,我是花生~

上周 Flux 模型研发方 Black Forest Labs 突然又发布了 4 款新的模型,而且都非常实用,支持对图像进行外绘扩展、局部重绘和生成风格变体,此外还有 depth 和 canny 的控制功能。

其实开源社区已经自发训练了基于 Flux.1 的 Controlnet 模型,所以这次看到官方亲自下场做模型还是挺惊讶的,我都在想是不是官方觉得目前的模型不够好,所以决定自己动手来做。不过多一些新模型对我们普通用户来说肯定不是坏事,尤其是新增的 Fill 模型,可以对图像实现完美局部重绘和外绘拓展,对设计工作来说非常帮助。那今天我们就一起来看看这些新模型的特点和用法。

模型已打包,需要的小伙伴评论区扣 “ 1 ”,明天上午11点,我统一给大家回复!

模型简介

此次 Flux 的一共发布了 4 大类模型,分别是分别是 Fill 重绘/拓展、Depth 深度控制、Canny 线条控制和 Redux 风格变体。

Flux 生态再爆发!新增 4 大模型,支持局部重绘/扩图/风格变体

FLUX.1 Fill 主要包含 inpainting(局部重绘)和 outpainting (外绘拓展)两大功能。官方称这是目前最好的图像修复模型,不仅处理速度快,新生成的内容也可以和原图无缝衔接。

Flux 生态再爆发!新增 4 大模型,支持局部重绘/扩图/风格变体

FLUX.1 Depth 和我们熟知的 Controlnet depth 作用是一样的。先提供一张图像,它会提取其中的深度结构,然后结合提示词生成一张相似的新图像。官方提供给了大模型和 Lora 两种方式来实现此效果,大模型可以单独使用,LoRA 需要与 FLUX.1 大模型搭配使用。Flux.1 Canny 同理。

Flux 生态再爆发!新增 4 大模型,支持局部重绘/扩图/风格变体

FLUX.1 Redux 可理解为一个图像变体生成模型,作用类似于 IP-Adapter。给出一张图像,它可以生成在内容、构图、风格、角色特征等方面类似的新图像。官方表示它适合集成到一些更复杂的工作流中,帮助用户通过图像来引导新图像的生成。

本地部署

模型链接:modelscope.cn/collections/FLUX--xilie-fa15f85b917d42 (文末有全部 6 款模型及相关工作流)

ComfyUI 工作流:comfyanonymous.github.io/ComfyUI_examples/flux/

以上 4 大工具的相关模型都已经开源,ComfyUI 也在第一时间进行了兼容支持,并发布了详细的教程和示例工作流。不过这次的模型都很大,对显存的要求会更高(保守 16G 以上),可能一些小伙伴的设备带不动,所以我在下一章也推荐了一些线上试玩渠道。下面先看看不同模型的本地使用方法。

① FLUX.1 Fill

Fill 功能对应的模型是 flux1-fill-dev.safetensors,模型大小 23.8 G。使用时先将 ComfyUI 更新到最新版本,然后将模型安装到根目录的 ComfyUI/models/unet 文件夹。

Inpainting 局部重绘的具体工作流如下。上传图像后,在图像上单击右键,选择 Open in MaskEditor(在蒙版编辑器中打开),然后用画笔涂抹需要重绘的部分,再填写提示词,最后生成即可。

Outpainting 外绘拓展的工作流和操作步骤则略有不同。上传图像后,先在 Pad Image for Outpainting 节点中设置需要外绘拓展的尺寸,freathering 参数可以对边缘进行羽化,让图像衔接更自然;再填写提示词描述整体画面,最后点击生成。

由于 flux 具有强大的文本渲染能力,所以对图像局部重绘时,可以对原有文本进行修改,这带来了很多有创意的玩法。比如我们可以将电影海报的标题改为任意自己喜欢的内容,新的字体还能与原字体的样式保持一致,效果很令人惊喜。

图像来源:Fal 网站的 Flux Fill Tool Demo(第三章有链接)

局部重绘和外绘拓展 AI 绘画来说是非常重要的功能,但是好用的一般都要收费,免费的则使用有门槛,而且很多效果也不好。但从前面的测试结果来看,Flux Flill 的图像修复效果的确是目前顶尖的,而且对个人来说,只要部署到本地就能免费无限制的使用,还能处理 2K 级别的高清图像,真的非常方便了。

② FLUX.1 Depth & Canny

对于 Depth 和 Canny 控制功能, 官方给出了两类模型:大模型和 lora 模型。

大模型有 23.8G,可以单独使用;Lora 模型只有 1G 多,使用方法和一般的 flux lora 一样,在基础文本图工作流上接入一个 load lora 节点就可以了。但是从网友的实测效果来看,lora 的效果比大模型差很多,生成时不仅容易出现细节丢失,而且图像质量也很低,所以不推荐使用。

下面只简单讲一下大模型的使用方法。由于这两个大模型实在太大了,运行起来很费劲,而且控制效果也没有特别好,甚至比不上开源社区目前已有的 Flux Controlnet 模型。所以这一部分建议大家了解一下就行,没必要非得用官方推出的这 4 个模型。

使用方法:先将 ComfyUI 更新到最新版本,然后将 flux1-depth-dev.safetensors 和 flux1-canny-dev.safetensors 大模型放到根目录的 ComfyUI/models/unet 文件夹。Depth 和 Canny 的工作流主体是一样的,只是在图像预处理部分有所不同。

③ FLUX.1 Redux

Redux 应该是此次推出的模型中可玩性最高的,因为它可以很好地保留原图的特征,包括风格、构图、细节、人物特征、服装特征等细节,所以能应用的范围非常广。比如用于保持人物一致性:

或者将多张图像的不同部分进行融合:

图像来源:Twitter @Datou

Redux 可以 flux dev 或 schnell 模型配合使用, 具体方法如下:

1)将 ComfyUI 更新到最新版本。下载 sigclip_vision_patch14_384.safetensors 模型,安装到ComfyUI/models/clip_vision 文件夹中,下载 Flux1-redux-dev.safetensors 模型,放入 ComfyUI/models/style_models 文件夹中。

2)对于单张图像,先安装 ComfyUI_AdvancedReduxControl 插件,它可以调节控制图像/提示词的应用强度,从而得到更好的图像融合效果。然后从插件文件夹中加载官方工作流 advanced_workflow 进行使用。

插件链接:github.com/kaibioinfo/ComfyUI_AdvancedRefluxControl

3)上传图像后,用文本描述想要的图像内容/风格,然后在 ReduxAvance 节点中调节图像与文本的融合强度。主要参数是 downsampling_factor ,决定原图像对生成图像的影响强度,数值范围1-5。

4)如果想融合 2 张图像的特征,可以先安装 Comfyui_Flux_Style_Ctr 插件,然后下载 Datou 老师的 Pokemon Workflow 3.0 工作流进行使用。

插件地址:github.com/StartHua/Comfyui_Flux_Style_Ctr

工作流:openart.ai/workflows/datou/pokemon-workflow-30-flux-redux/0q8ftFHisaIIEOovzNRC

在线试玩

如果你无法本地部署 Flux 的这些新模型,也可以通过以下方式在线体验。

① Glif - Flux(dev) Redux Merger

网址直达:glif.app/@HighDruidMotas/glifs/cm3rts26x0012105qfck7jdfh

这个 Glif 小应用是基于 Flux Redux 创建的,只需上传两种图像,然后描述你想要的融合效果,就能轻松将两个图像的特征完美融合到一起。

② Fal

网址直达:fal.ai/flux-tools

Fal 对新出的 Flux 4 大功能进行全面支持,新用户都有免费试用额度。

③ Replicate

网站直达:replicate.com/black-forest-labs

Replicate 上也有对 Flux 4 大模型进行全面支持,新用户都有免费试用额度。

那么以上就是本期对 Flux 四大新模型的相关介绍,喜欢本期内容一定记得点赞评论支持一波。也欢迎大家关注「优设 AI 自学网」 和「优设微信视频号」,每天都会分享最新的 AIGC 资讯和神器,让你轻松掌握 AI 发展动态。

4款模型已打包,需要的小伙伴评论区扣 “ 1 ”,明天上午11点,我统一给大家回复!

优设
优设品牌号,正专注于AI数字设计和AI应用探索。🌟我们百万内容号是@优设AIGC 优设网2012年成立至今,国内专业设计师平台。
 最新文章