[ComfyUI]FitDiT：高保真虚拟试穿，纹理和尺寸感知！单图1024x768推理仅需4.57秒！
FitDiT简介
今天文章主题介绍一款虚拟试穿模型：FitDiT。这是一款为了解决现有虚拟试穿方法在多种场景下生成高保真度和鲁棒的试穿图像，以及在纹理感知保持和尺寸感知适配上存在不足的最新虚拟试穿大模型。研发团队提出了一种名为FitDiT的新型服装感知增强技术，用于使用扩散变换器（DiT）进行高保真虚拟试穿，该技术在高分辨率特征上分配了更多的参数和注意力。
• 首先，为了进一步提升纹理感知保持能力，FitDiT引入了一种服装纹理提取器，它结合了服装先验演化来微调服装特征，有助于更好地捕捉条纹、图案和文字等丰富细节。此外，还通过定制频率距离损失引入频域学习，以增强服装的高频细节。
• 然后，为了解决尺寸感知适配问题，FitDiT采用了一种扩张松弛掩码策略，该策略能够适应服装的正确长度，防止在跨类别试穿时生成填充整个掩码区域的服装。
• 项目主页：https://byjiang.com/FitDiT/
• huggingface：https://huggingface.co/BoyuanJiang/FitDiT
• Github：https://github.com/BoyuanJiang/FitDiT
FitDiT模型ComfyUI体验
当前社区已有ComfyUI插件FitDiT-ComfyUI支持，可以通过ComfyUI-Manager 搜索 FitDiT[official] 来安装FitDiT。模型文末网盘获取！
• FitDiT-ComfyU插件：https://github.com/BoyuanJiang/FitDiT-ComfyUI
• BoyuanJiang/FitDiT：需要下载FitDiT模型并将其放置在ComfyUI/models/FitDiT_models目录下。地址：https://huggingface.co/BoyuanJiang/FitDiT/tree/main
• CLIP模型：然后还需将clip-vit-large-patch14 和 CLIP-ViT-bigG-14 放置在 ComfyUI/models/clip 目录下。clip-vit-large-patch14 地址：https://huggingface.co/openai/clip-vit-large-patch14 。 CLIP-ViT-bigG-14地址：https://huggingface.co/laion/CLIP-ViT-bigG-14-laion2B-39B-b160k
• 另外可以通过CMD命令快速下载：
pip install -U huggingface_hub
python download_model.py --dir /path/to/ComfyUI/• 也可以在线体验：https://huggingface.co/spaces/BoyuanJiang/FitDiT
Flux文生图&混元视频工作流
FitDiT模型ComfyUI工作流体验
• 如果显存资源不足，可以将with_offload或with_aggressive_offload设置为True。设置with_offload为True时，显存适中，推理时间适中；设置with_aggressive_offload为True时，显存最低，推理时间最长。
01.裙子
02.衣服
03.裤子
模型下载: 关注公众号口令【FitDiT虚拟试穿】获取
更多推荐文章：
• ComfyUI Copilot：大模型加持工作流的生成和修复和在线运行！
• [ComfyUI]腾讯混元3D：2.0重大升级！先进的高分辨率3D白膜和带纹理3D模型
• 腾讯混元3D：2.0重大升级，完善3D生态产品和3D模型工作流
• [ComfyUI]奈飞视频生成控制新方法，轻松掌控视频模型运动模式，Go-with-the-Flow与CogVideoX体验
• [ComfyUI]英伟达Cosmos：图生视频世界模型，生成具有物理意识视频和物理智能世界状态而设计
• 英伟达Cosmos：世界基础模型ComfyUI官方支持，旨在生成具有物理意识的视频和物理AI开发
感兴趣加入[AGI技术交流群]+V
如果觉得文章不错，就请赞、在看与转发三连
