[ComfyUI]Flux-IPA:效果惊艳!IPA基于10M数据F1专属风格迁移!补齐黑森林遗憾和空缺

科技   2024-11-25 18:32   浙江  

Flux-IPA:效果惊艳!基于10M数据F1风格迁移!

🌹大家好!欢迎来到破狼公众号。感谢大家的支持与鼓励。在AIGC探索道路上,我将与你一路同行。喜欢就星标关注破狼公众号或文末扫码加入交流群 !本人仅运营公众号平台,未经授权严禁CSDN等其他平台抄袭和转载!

前沿

笔者最新发现一个有趣的版权图库分享网站:图芬奇(https://www.soujpg.com/),这是一个图片创意一站式服务平台,站内服务包括版权图片、修图工具、图片管理技术服务、AI绘图等。目前图芬奇在线图片1.2亿张,提供10余款修图工具支持在线图片处理,针对企业客户可提供批量处理及API图片搜索等服务,同时可以企业定制服务实现多平台AI绘画和图片搜索等服务。目前已为家装、建筑、游戏等行业客户提供专属AI定制服务。感兴趣者可在网站首页在线咨询。

FLUX.1-dev-IP-Adapter简介

近期InstantX团队发布了最新Flux的IP-Adapter模型:InstantX/FLUX.1-dev-IP-Adapter模型,这是一个基于Flux-DEV模型的IP-Adapter风格化组件。在之前的黑森林官方发布的风格化模型Flux Redux[ComfyUI]FluxRedux:超好玩创意灵感,一丝小遗憾!F1风格化溶图组件,黑森林官方下场亲手打造F1生态),这款模型并不算IP-Adapter模型,仅包含细微轻度的图像变化,因此提到有一丝小遗憾。就在黑森林团队发布第二天InstantX团队则补上了这一块空缺。今天文章我们将一起来体验这款IP-Adapter模型是否能补上Flux模型这块空缺?

InstantX/FLUX.1-dev-IP-Adapter模型在模型训中:新层被添加到38个单块和 19个双块中。同时采用了google/siglip-so400m-patch14-384 来编码图像(因其卓越的性能),与此同时还采用一个简单的MLPProjModel,包含2个线性层来进行投影。图像令牌数量设置为128。目前发布的模型是在10M开源数据集上训练的,批量大小为128,训练步骤为80K

演示案例

官方演示采用Shakker-Labs/FLUX.1-dev-LoRA-collections作为角色LoRA和对应默认提示生成。

FLUX.1-dev-IP-Adapter ComfyUI体验

在社区由@Shakker-Labs官方已提供ComfyUI-IPAdapter-Flux插件支持,需要通过ComfyUI插件管理器Git安装该插件,并下载对应模型模型也可以文末网盘获取)。

• ComfyUI-IPAdapter-Flux插件:https://github.com/Shakker-Labs/ComfyUI-IPAdapter-Flux.git

• InstantX-F.1-dev-IP-Adapter.bin:下载模型并放置目录ComfyUI/models/ipadapter-flux下,注意下载后rename一定为InstantX-F.1-dev-IP-Adapter.bin。下载地址:https://huggingface.co/InstantX/FLUX.1-dev-IP-Adapter/tree/main
• sigclip_vision_patch14_384.safetensors下载模型并放置目录ComfyUI/models/clip_vision下。下载地址:https://huggingface.co/black-forest-labs/FLUX.1-Depth-de(见评论)

Flux文生图工作流

Flux文生图感兴趣的同学可参考LIBLIB在线运行工作流:FLUX[续篇]:12B参数23G最大开源文生图模型,Dev版直出惊艳美图欣赏。本文涉及ComfyUI工作流和模型均可在LIBLIBAI上下载或在线运行体验:

• F.1-绮梦流光-水湄凝香

https://www.liblib.art/modelinfo/134c6dd95aef48e98a22b24e003e026b

• 工作流-Flux文|图生图+LORA+提示反推一键切换工作流

https://www.liblib.art/modelinfo/782aacd70f604da39e83368c696a02a8

另外LIBLIBAI已支持本地客户端使用可首页(https://www.liblib.art)下载体验。

FLUX.1-dev-IP-Adapter工作流

FLUX.1-dev-IP-Adapter工作流已上传LIBLIB平台

https://www.liblib.art/modelinfo/ebfe7b2fd8034441b56809ac1aa062d5?versionUuid=9a7d319c79af4dc5ab297cfc4c24fbda

注意

  • • FLUX.1-dev-IP-Adapter 在风格迁移上质量有显著提升,对于无明显全局图像影响(之前xlabs几款都存在图像影响)。
  • • 部分场景还需精确提示词配合参考风格图调试抽卡。

01. 动漫

jewelry, blue eyes, earrings, bare shoulders, bangs, sleeveless, large breasts, lips, parted lips, 1girl, breasts, cleavage, collarbone, pov eye contact, long hair, purple hair, sleeveless shirt, upper body, shirt, solo, sfw, twintails, looking to the side, looking at viewer, bare arms, original, indoors, eyebrow through hair, bare arms, pendant,shirt, bare shoulder, depth of field,, window, blue_eyes, day

02.牛逼风格

A 3d rendering shoot from a bird's eye view about a small wooden house perched on a rocky island surrounded by lush greenery and a waterfall, with the word "nb" spelled out in large, green grass letters in the center of the island. the island is situated in the middle of the image, surrounded by fluffy white clouds, and the sky is a bright, clear blue with a few wispy clouds scattered throughout. the house has a red roof and a small porch, and there are several trees surrounding it, adding to the natural beauty of the scene. the overall atmosphere is peaceful and serene, with a sense of serenity and tranquility.

03.人物写实

An Asian woman

04.插画风格

An anime style illustration

05.狐妖

An anime style woman, anthropomorphic nine-tailed fox

网盘模型获取:关注公众号口令【FluxTools】获取(社区3方CN目录下)。

更多推荐文章:

• FLUX.1-Tools:黑森林官方重磅出手构建F1完善生态,补齐CN&IPA!加速生态里程碑进程

• 智谱CogVideoX1.5:重大升级,可商用开源模型!10秒&增强质量&任意分辨率

• [ComfyUI]Flux:Lovely网红写真,极致细节写实,小红书网红人物写真风格

• 太酷啦!实时人物表情编辑神器,ComfyUI玩转视频表情无限创意

• PixelWave:更真实细节|动漫|摄影多种艺术风格显著提升,基于黑森林F.1D超5周精调模型

• OmniGen:统一图像生成和多任务集成模型,任意人物自由合影,8位量化体验

 15秒F.1D直出,极限无损加速方案,环境大升级敢不敢来试?

 CogVideo:重磅升级!图生视频完美镜头控制和3D环绕,商用级开源AI视频曙光

• 阿里InContextLoRA:更强ID一致性!基于黑森林F1身份一致性连贯视频分镜图集,10组风格无限创意

• [ComfyUI]InstantIR:来自小红书团队模糊图像修复技术,效果是否惊艳?

感兴趣加入[AGI技术交流群]+V

    如果觉得文章不错,就请在看转发三连

破狼
关注AIGC、LLM、绘图作品、软件工程、技术学习。交流+V:shunshizhiwu。
 最新文章