阿里妈妈发布了一个新的ID保持项目EcomID，旨在从单个ID参考图像生成定制的保ID图像，优势在于很强的语义一致性，同时受人脸关键点控制。
EcomID 方法结合了 PuLID 和 InstantID 的优点，以获得更好的背景一致性、面部关键点控制、更真实的面部以及更高的相似度。目前，EcomID 的 Comfyui 原生实现官方插件也已经发布，大家可以从文章中的链接获取。
相关链接
代码：https://github.com/alimama-creative/SDXL_EcomID_ComfyUI
模型地址: https://huggingface.co/alimama-creative/SDXL-EcomID
ComfyUI：https://github.com/alimama-creative/SDXL_EcomID_ComfyUI
EcomID 结构
PuLID 的 IP-Adapter：EcomID 借鉴了 PuLID 的 ID-Encoder 和交叉注意力组件，其使用对齐损失训练而成。故而该方法有效减少了 ID embedding 对交叉注意力部分的文本 embedding的干扰，最小化对底层模型文本到图像能力的干扰。
InstantID 的 IdentityNet 架构：利用 200 万张美观的人像图像数据集，训练了IdentityNet，增强了关键点控制，提高了 ID 一致性和面部真实感。在训练过程中，IP-adapter 被冻结，只有 IdentityNet 被训练。面部Keypoint用作条件输入，同时面部嵌入通过交叉注意力集成到 IdentityNet 中。
效果对比
ComfyUI使用
训练细节
该模型在 200 万张淘宝图像上进行训练，其中人脸比例大于 3%。图像分辨率大于800，且美学评分超过 5.5。
混合精度：fp16 学习率：1e-4 批量大小：2 图像大小：1024x1024
注意事项
EcomID与其他基于SDXL模型也高度兼容，如leosams-helloworld-xl、dreamshaper-xl、stable-diffusion-xl-base-1.0 等。
它与SDXL Turbo/Lighting、EcomXL Inpainting ControlNet和 EcomXL Softedge ControlNet 的兼容性非常好。
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～
