CATVTON-Flux:基于黑森林F1和阿里In-Context-LORA 虚拟换衣
🌹大家好!欢迎来到破狼公众号。感谢大家的支持与鼓励。在AIGC探索道路上,我将与你一路同行。喜欢就星标关注破狼公众号或文末扫码加入交流群 !
catvton-flux虚拟换衣简介
今天文章给大家介绍一款最新的优秀的虚拟试穿解决方案:catvton-flux,这是一款结合了 CATVTON(CatVTON: Concatenation Is All You Need for Virtual Try-On with Diffusion Models) 的强大功能和Flux重绘修复模型,以实现真实且准确的衣物转移。同时catvton-flux解决方案还受到阿里In-Context LoRA提示工程的启发(阿里InContextLoRA:更强ID一致性!基于黑森林F1身份一致性连贯视频分镜图集,10组风格无限创意)。
• Github:https://github.com/nftblackmagic/catvton-flux
• catvton-flux-alpha模型:https://huggingface.co/xiaozaa/catvton-flux-alpha/tree/main
• catvton-flux-lora-alpha模型:https://huggingface.co/xiaozaa/catvton-flux-lora-alpha
• [ComfyUI]FluxRedux:超好玩创意灵感,一丝小遗憾!F1风格化溶图组件,黑森林官方下场亲手打造F1生态
演示案例
原始图 | 服装图 | 效果图 |
catvton-flux虚拟换衣ComfyUI体验
在ComfyUI插件管理器中通过Git安装来安装ComfyUI-CatvtonFluxWrapper插件。还需科学自动下载模型,导入工作流即可开始体验。
• ComfyUI-CatvtonFluxWrapper插件:https://github.com/lujiazho/ComfyUI-CatvtonFluxWrapper
• sam2-safetensors:下载模型并放置目录/ComfyUI/models/sam2 。下载地址:https://huggingface.co/Kijai/sam2-safetensors/blob/main/sam2_hiera_tiny.safetensors
• xiaozaa/catvton-flux-lora-alpha:模型将自行下载放置到huggface的cache目录。下载地址:https://huggingface.co/xiaozaa/catvton-flux-lora-alpha/tree/main
Flux文生图工作流
本文涉及ComfyUI工作流和模型均可在LIBLIBAI上下载或在线运行体验:
• F.1-绮梦流光-水湄凝香:
https://www.liblib.art/modelinfo/134c6dd95aef48e98a22b24e003e026b
• 工作流-Flux文|图生图+LORA+提示反推一键切换工作流:
https://www.liblib.art/modelinfo/782aacd70f604da39e83368c696a02a8
catvton-flux虚拟换衣工作流
catvton-flux虚拟换衣工作流已上传LIBLIB平台:
https://www.liblib.art/modelinfo/c4286818494747b284d0f0ab78d88d0b?versionUuid=5a527b0d2f084af487bd6d3d0c6571c4
注意:
• catvton-flux包含大模型和LORA实现方式,大模型方式需要大于40G显存。对于消费级显存还需坐等社区GGUF量化版本。 • LORA实现方式包含两种主体人物遮罩识别方式:手工涂抹和SAM2识别,读者可以自行选择对应方式测试。 • 在线体验方式:https://huggingface.co/spaces/xiaozaa/catvton-flux-try-on
01
02
03
04
更多推荐文章:
• IC-Light V2-Vary:打光模型重大升级,具有更强的光照变化,适用商用产品&摄影打光
[ComfyUI]Flux:Lovely网红写真,极致细节写实,小红书网红人物写真风格
• Lumiere:细节真实!专注更真实保持无损原生提示遵循和构图模型
• 智谱CogVideoX1.5:重大升级,可商用开源模型!10秒&增强质量&任意分辨率
• 15秒F.1D直出,极限无损加速方案,环境大升级敢不敢来试?
• CogVideo:重磅升级!图生视频完美镜头控制和3D环绕,商用级开源AI视频曙光