Facechain:只需1张照片,10秒就可以生成多种风格个人写真!

文摘   2024-09-19 00:01   江苏  

5月28号,Facechain最新版本Facecchain-Fact开源,只需1张照片和10秒,就可以生成多种风格个人写真。

之前的文章中已经给大家介绍过Facechain,感兴趣的小伙伴可以点击以下链接阅读~

阿里Facechain:3张照片就能生成个人写真,开源版本“妙鸭相机”来了!

Facecchain-Fact (Face Adapter with decoupling Training) 在肖像生成方面具有高度的可控性和真实性,包括文本到图像和基于绘画的管道,并且是无缝的。已经可以在摩搭社区体验使用,链接下文中下面~

相关链接

代码链接:https://github.com/modelscope/facechain?tab=readme-ov-file

试用地址:https://modelscope.cn/studios/CVstudio/FaceChain-FACT

试用展示

注意

  • 最多支持生成6张图片!
  • 可上传在定义LoRA文件使用, 否则默认使用风格模型的LoRA。
  • 使用自定义LoRA文件需手动输入prompt, 否则可能无法正常触发LoRA文件风格。

介绍

对于以人为中心的个性化图像生成,基于适配器的方法通过对人脸数据进行文本到图像的训练来学习编码和对齐输入人脸,实现身份保留的个性化,而无需在推理中进行额外的微调。尽管与输入人脸相比,效率和相似度有所提高,但与没有适配器的基本模型相比,生成的人脸在文本跟随能力、可控性和多样性方面普遍存在明显的性能下降。

在Facecchain-Fact中,我们执行身份导向的人脸去噪,而不是人脸导向的图像去噪来进行解耦训练。我们在自注意块和交叉注意块之间插入连续的人脸适配器,在文本引导前对潜在的人脸进行人脸自适应增量正则化(FAIR),从而避免了人脸条件与文本信息的干扰。图像去噪时,身份条件通过人脸变换从具有相同身份的人脸图像中提取,并通过基于变换的特征提取器提取。

感谢你看到这里,也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群,一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术,欢迎一起交流学习💗~


AIGC Studio
一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术。这里不仅有简单易懂的AIGC理论实践和AI学习路线,还有大厂工作经历和体会分享。如果有幸能给你一些帮助就更好啦!
 最新文章