首页 时事 民生 政务 教育 文化 科技 财富 体娱 健康 情感
更多
旅行 百科 职场 楼市 企业 乐活 学术 汽车 时尚 创业 美食 幽默 美体 文摘

深度干货 | 首发最强文生图开源模型FLUX.1本地ComfyUI部署教程重磅来袭

2024-08-02 15:06   美国  
「彩虹之眼」干货推荐 | 由知乎大佬「社恐患者杨老师」投稿
全网首发 | 开源模型FLUX.1本地ComfyUI部署教程（建议收藏）
自从SD3母公司StablityAI持续的负面消息以来，SD开源社区的朋友们对SD3的前景普遍是持有一种悲观的态度的。
直到昨晚一条重磅新闻来袭，直接将SD社区对未来开源文生图生态的热情再次点燃！前Stability AI 核心成员 Robin Rombach 创立了一个名为Black Forest Labs的新公司，并获取了3200万美元的融资，并开源了 FLUX.1系列模型。
模型简介
FLUX.1 文本到图像模型套件，它在图像细节、及时性、风格多样性和场景复杂性方面为文本到图像合成定义了新的先进技术。为了在易用性和模型功能之间取得平衡，FLUX.1 有三个版本：FLUX.1 [pro]、FLUX.1 [dev] 和 FLUX.1 [schnell]：

  • FLUX.1 [pro]：FLUX.1 的精华，提供最先进的图像生成性能，具有顶级的提示跟踪、视觉质量、图像细节和输出多样性。请在此处通过我们的 API 注册 FLUX.1 [pro] 访问权限。FLUX.1 [pro] 也可通过 Replicate 和 fal.ai 获取。


  • FLUX.1 [dev]：FLUX.1 [dev]是一个面向非商业应用的开放式、经过指导的精炼模型。FLUX.1 [dev]直接从FLUX.1[pro]蒸馏而来，具有相似的质量和及时坚持的能力，同时比相同大小的标准模型更有效。FLUX.1 [dev] 模型权重可在 HuggingFace 上获得，也可直接在 Replicate 或 Fal.ai 上试用。


  • FLUX.1 [schnell]：我们为本地开发和个人使用量身定制的最快模式。FLUX.1 [schnell] 在 Apache2.0 许可下公开发布。类似的 FLUX.1 [dev] 权重可在 Hugging Face 上找到，推理代码可在 GitHub 和 HuggingFace 的 Diffusers 中找到。我们很高兴能在第一天就与 ComfyUI 集成。


模型架构
FLUX.1 系列模型是由Transformer架构驱动的规模化流模型。所有公开的 FLUX.1 模型都基于多模态和并行扩散Transformer模块的混合架构，并扩展到 12B 参数。流匹配(flow matching)是一种用于训练生成模型的通用且概念简单的方法，其中扩散模型是一个特例。
此外，还通过加入旋转位置嵌入(rotary positional embeddings)和并行注意力层，提高了模型性能并改善了硬件效率，未来将来发布更详细的技术报告。
很明显FLUX.1 和目前的SD3，auraflow系列一样都是采用了最新的DIT架构，我之前在SD社区的几个微信群就发表过以下意见：
相比于SDXL如果DIT架构的模型参数上不去的话，很难在出图质量上拉开与SDXL的差距，虽然我们都知道堆参数并非是一个最优的选择，但是对于DIT架构而已，如果参数量低，相较于生态非常成熟的SDXL并没有明显优势。
 主流文生图模型ELO评分对比
质量评估
FLUX.1 [pro] 和 [dev] 在以下每个方面都超越了流行的模型，如 Midjourney v6.0、DALL·E 3 (HD) 和 SD3-Ultra：视觉质量、提示响应度（即模型对输入提示的准确理解和执行能力）、尺寸/宽高比可变性、排版和输出多样性。
FLUX.1 [schnell] 是迄今为止最先进的少步骤模型 (few-step model)，不仅超越了同类竞争对手，还超越了强大的非压缩模型（如 Midjourney v6.0 和 DALL·E 3 (HD)）
所有 FLUX.1 型号都支持不同的长宽比和分辨率（10 万和 200 万像素），如下图所示：

测试使用

优点：完全免费，替代SD3糟糕人体解剖学！ 
项目地址：
https://github.com/black-forest-labs/flux?tab=readme-ov-file
免费在线使用地址1：
https://huggingface.co/spaces/black-forest-labs/FLUX.1-schnell
免费在线使用地址2：
https://replicate.com/collections/flux

模型样图

下面是我本人和一些社区发烧友发布的[pro] 和 [dev]测试样图：
先上效果最好的Pro model 
 
然后是开源的dev model 
  

Comfyui 本地部署教程

重头戏来了！如果你有一张16G以上显存的显卡，那么恭喜你可以在本地使用量化的方式，来部署dev或者schnell模型。以下为使用Comfyui本地部署的详细教程。文章中涉及到的模型，我已经全部上传到百度网盘，下载链接在文章最后，大家可以下载配合本文一起使用。

1.模型下载

如果要在本地进行部署，你需要首先下载dev或者schnell的模型权重，huggingface模型下载链接为：
https://huggingface.co/black-forest-labs/FLUX.1-dev
不方便访问HF的用户，可以使用百度网盘快速下载链接：
https://pan.baidu.com/s/1IMmSblGp_DN3WSdwRMgPOg?pwd=iprk 
提取码: iprk
--来自百度网盘超级会员v3的分享
 FLUX.1-schnell 
schnell模型的百度网盘链接，我已经上传并将其他模型一并打包放在了本文的最后，大家可以去下载。
小显存用户可以直接下载这个FP8量化后的模型，大小为11G，12G的显存的小卡可以尝试看看，我没有12G的卡就没办法测试了
https://huggingface.co/Kijai/flux-fp8/tree/main

2.Clip模型

FLUX系列模型使用的Clip模型是和SD3系列一模一样的t5xxlfp16.safetensors 和 clipl.safetensors，如果你之前已经下载了这两个模型可以直接放到以下Comfyui路径内：
ComfyUI/models/clip/ 
如果你没有这两个模型权重，下载链接为：
https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main
注意，本链接中提供了t5xxl的FP16和FP8两种精度供选择，你可以根据自己本地电脑的硬件配置选择下载一个就可以，然后和Clip_l一起放入ComfyUI/models/clip/文件夹内即可。 

3.VAE模型

注意，FLUX系列模型使用的重新训练的VAE，需要单独下载，下载链接为：
https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/ae.sft
下载之后将VAE模型放入ComfyUI/models/vae/路径下即可。

4.更新最新版Comfyui内核版本

打开Comfyui启动器，如果你是原版Comfyui可以直接启动更新脚本，将内核版本升到最新版本。 
5.载入工作流
基础工作流下载链接： 
通过百度网盘分享的文件：workflow
链接：
https://pan.baidu.com/s/1v6FtweeoeMiZAERts6y7Cg?pwd=lp1x 
提取码：lp1x
--来自百度网盘超级会员V5的分享 
将基础工作流json文件拖入Comfyui页面内。 

6.对比测试

我们首先测试一下dev模型，unet选择加载flux1-dev.sft 
这里注意要在Unet加载器的weightdtype中选择fp8量化，两种量化方式可以都测试看看，区别不大。但是如果你不选择量化，哪怕是24G的4090也会爆显存。 
 量化加载模型权重 
在Clip加载器中需要加载两个Clip模型：t5xxl和 clipl其中t5xxl可以选择t5xxlfp16.safetensors 和 t5xxlfp8.safetensors两种不同的精度选择其中一个即可。 
在VAE中加载我们刚刚下载好的ae.sft 
然后输入提示词即可，我这里给出我测试用的提示词，大家可以自己去修改。 
注意这里采样器和调度器，选择默认的eular和normal，我测试SDE系列和karras无法正常出图。
测试：Prompt: A cyberpunk machine generating endless of popcorn and blowing themup into the air. Realistic National geographic photo,from afar,epic,the letters"FLUX"is on the machine as a logo.
然后点击运行就可以了！第一次运行加载超大模型还有量化，因此速度比较慢，我本地是双卡4090，整个加载过程都要耗费很长的一段时间，只要后台没有报错的话，就没有问题。下面是使用dev-model生成的图片。 
然后再测试一下schnell模型，unet选择加载flux1-schnell.sft，其他不变。 
注意因为schnell是一个4steps的快速模型，因此采样器中的步数直接设为4，采样器仍然是euler，调度器simple 
测试：Prompt: 3 magical wizards stand on a yellow tableOn the left, a wizard in black robes holds a sign thatsays 'FLUX'In the middle, a witch in red robes holds a sign thatsays 'is'and on the right, a wizard in blue robes holds a signthat says 'cool'Behind them a purple dragon 
然后点击运行，对比dev模型，模型加载速度和运行速度都有一定的提升，并且出图质量相差并不大，最重要的是这个schnell模型是可以商用的，国内的厂商们赶紧启动部署起来吧！ 

模型下载百度网盘链接

我已将全部模型和工作流一起打包好上传到百度网盘，百度网盘链接：
通过百度网盘分享的文件：FlUX 
链接：
https://pan.baidu.com/s/1fBhgOIev66bREIuq84kDZw?pwd=ggcj 
提取码：ggcj
--来自百度网盘超级会员V5的分享
看到这里，如果觉得不错，随手点个赞、在看、转发三连吧，如果想第一时间收到推送，也可以给我个星标哦！
⭐～谢谢你看我的文章。
⭐我是彩虹少女：感谢你的阅读。
⭐视频号：RainbowEye
彩虹之眼
彩虹之眼(Rainbow Eye)-神秘而强大的 AI 情报组织。
 最新文章
亚马逊云科技盛会倒计时！先人一步感受AI创新浪潮！
从SaaS到AI Agent：垂直AI Agents的未来比你想象得更大！
Flux官方模型更新，实测效果惊艳，图像领域创作更进一步！
「DevFest 2024 南京」AI 大模型及应用前沿分享，探索机器学习未来！
11月9日，华师大×GDG DevFest 2024 特别分享会开启
中杯对决大杯！SD3.5新模型测评：轻量模型如何做到「审美与质感双飞跃」？
别急着投奔Flux！SD3.5最新实测告诉你：StabilityAI还没死！
当AI掌控画笔：创意的巅峰还是人类的末路？
从“刷题家”到“学伴”：AI如何彻底改变未来教育？
开发者必看：轻松加速PC和小型设备上的大语言模型
8月 | 期待已久的聚会——AI 梦工厂
27岁连续创业者：用AI打造下一代故事创作平台，颠覆传统内容创作的未来！
Flux : 尊贵的碳基生物们，欢迎来到黑森林实验室!
深度干货 | 这可能是国内第一篇Flux系列模型单卡4090微调lora分享！
时隔一年 | 重温吴恩达教授当时在斯坦福大学精彩演讲信息量还是很大！
基模们都慢下来了，那就静等花开！
深度干货 | 首发最强文生图开源模型FLUX.1本地ComfyUI部署教程重磅来袭
AI×IoT | 对话边无际CEO & 为设备赋予有思考能力的"数字大脑"
一年亏掉50亿美金 OpenAI 拿什么盈利？
AI 搜索？4o语音？我们只要GPT-5！
腾讯出列！ 混元DIT 模型lora训练器与使用教程发布，且配有comfyui节点插件。
AI 顶级公司也开始苦练内功了！
出海 | 天选之子和TikTok的前世今生！
这一波没那么多时间磨磨蹭蹭！
下半年端侧模型真的火！就连 Open AI 也上了一款 mini 小钢炮！且 Sam 还透露出一个关键信息！
从0~1独立开发 AI 产品的心酸历程：营收6位数的经验&反思（二）
从0~1独立开发 AI 产品的心酸历程：营收6位数的经验&反思
好久不见，三星怼着苹果开大招！还是端侧？
英伟达 CEO 黄仁勋：我们正在经历计算通货膨胀
 分类
时事
民生
政务
教育
文化
科技
财富
体娱
健康
情感
旅行
百科
职场
楼市
企业
乐活
学术
汽车
时尚
创业
美食
幽默
美体
文摘
 原创标签
时事 社会 财经 军事 教育 体育 科技 汽车 科学 房产 搞笑 综艺 明星 音乐 动漫 游戏 时尚 健康 旅游 美食 生活 摄影 宠物 职场 育儿 情感 小说 曲艺 文化 历史 三农 文学 娱乐 电影 视频 图片 新闻 宗教 电视剧 纪录片 广告创意 壁纸头像 心灵鸡汤 星座命理 教育培训 艺术文化 金融财经 健康医疗 美妆时尚 餐饮美食 母婴育儿 社会新闻 工业农业 时事政治 星座占卜 幽默笑话 独立短篇 连载作品 文化历史 科技互联网
 发布位置
广东 北京 山东 江苏 河南 浙江 山西 福建 河北 上海 四川 陕西 湖南 安徽 湖北 内蒙古 江西 云南 广西 甘肃 辽宁 黑龙江 贵州 新疆 重庆 吉林 天津 海南 青海 宁夏 西藏 香港 澳门 台湾 美国 加拿大 澳大利亚 日本 新加坡 英国 西班牙 新西兰 韩国 泰国 法国 德国 意大利 缅甸 菲律宾 马来西亚 越南 荷兰 柬埔寨 俄罗斯 巴西 智利 卢森堡 芬兰 瑞典 比利时 瑞士 土耳其 斐济 挪威 朝鲜 尼日利亚 阿根廷 匈牙利 爱尔兰 印度 老挝 葡萄牙 乌克兰 印度尼西亚 哈萨克斯坦 塔吉克斯坦 希腊 南非 蒙古 奥地利 肯尼亚 加纳 丹麦 津巴布韦 埃及 坦桑尼亚 捷克 阿联酋 安哥拉