InstantX 团队的研究人员开源了 FLUX.1-dev-IP-Adapter，这是一个常规 IP-Adapter，新层被添加到 38 个单块和 19 个双块中。使用siglip-so400m-patch14-384来编码图像，并且采用 2 个线性层的简单 MLPProjModel 进行投影。图像 token 数量设置为 128。当前发布的模型在 10M 开源数据集上进行训练，批处理大小为 128，训练步骤为 80K。
采用FLUX.1-dev-LoRA-collections作为特征LoRA并使用其默认提示。搭配官方模型可以有很多玩法。感兴趣的小伙伴抓紧试起来吧！
模型地址：https://huggingface.co/InstantX/FLUX.1-dev-IP-Adapter/tree/main
ComfyUI使用
工作流链接：https://github.com/Shakker-Labs/ComfyUI-IPAdapter-Flux
效果展示
限制
该模型支持图像参考，但不适用于细粒度的风格转换或字符一致性，这意味着内容泄漏和风格转换之间存在权衡。我们在 FLUX.1-dev（基于 DiT）中没有发现与InstantStyle（基于 UNet）类似的属性。可能需要多次尝试才能获得满意的结果。此外，当前发布的模型可能存在多样性有限的问题，因此无法涵盖某些风格或概念，
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～
