深度干货 | 这可能是国内第一篇Flux系列模型单卡4090微调lora分享！

2024-08-16 00:00 上海

「彩虹之眼」整理 | 教程部分由知乎大佬「社恐患者杨老师」投稿

全网首发 | Flux系列模型单卡4090微调lora分享（建议收藏）

01/

先卖个关子！

据说自从 FLUX.1 开源模型发布以来，大批的Midjourney忠实粉丝都纷纷转投Flux

而这一切都是从前Stability AI 核心成员 Robin Rombach 创立了一个名为Black Forest Labs的新公司开始，还顺带拿到3200万美元的融资，重新把开源文生图生态拉到巅峰！

前几天网友制作的 TEDx AI 讲师被推友们转封了，你敢相信视频中的女人是AI生成的吗？没错她就是AI生成的！

视频（左）是使用 Runway Gen 3 创建的，图像（右）是使用 Flux 创建的。

看到这不知道大家是什么感受!如果有人拿着你照片干坏事，细思极恐听起来是不是很恐怖。没事不要慌，赶紧转给家人看看哈哈哈哈

简直是精准控图呀，直接把目前的99%文生图模型按在地上摩擦呀！

！！！看到这还不是最炸裂的，有趣的是昨天FLUX.1 直接和 Grok-2 官宣了！( 没错Grok-2就是马斯克的X.AI）

也就是老马发布的grok-2的模型直接用flux出图，尺度之大简直不敢想象！在FLUX 上生成图像上没有做任何限制。比如朗普、米老鼠、泰勒·斯威夫特等，这些在别的AI 工具里根本无法生成，但是在 FLUX 上都可以干。（话不多说直接看图）

直接把我整乐了！！！老马真的是干大事的人，足够大胆，佩服！！！

于是就出现一个梗：用flux输入下一任美国总统永远画的是特朗普!!!

看到这是不是应该直呼离谱~

好了，下面言归正传~

02/

前几天杨老师做了一场线上Flux系列模型单卡4090微调lora分享！

可能也是国内首个公开分享，目前在国外跑通Flux系列模型单卡4090微调lora的也没几个。

训练器脚本模型环境已经全部打包上传到百度网盘。为照顾大多数人下面将从认识Flux开始！！！我把Lora 训练基础教程放到文末~（大神可直接跳到文末）

认识Flux模型

8月1日黑森林实验室发布 FLUX.1模型套件

并同步发布一篇博客：

https://blackforestlabs.ai/announcing-black-forest-labs/

感兴趣的朋友可以去扒一下！

随后敏神-张吕敏发了一组最新NF4量化Flux模型效果与FP8量化效果对比（就说有没有被惊艳到）

Flux的应用场景

也顺带分享几组应用场景

Text2Img

a young woman smiling while speaking onstage from google, white background with corporate logos blurred out, tech conference

Img2Img

噪点图生成漫画

使用Flux结合GEN-3 or kling 制作商业广告片

Flux模型能力实现角色一致性

现有的Flux Lora模型

Flux1.dev-AsianFemale

亚洲人像Lora

https://civitai.com/models/633841/flux1dev-asianfemale?t&utm_source=perplexity

Flux-Lora-littletinies

https://huggingface.co/pzc163/flux-lora-littletinies

yarn_art_Flux_LoRA

https://huggingface.co/linoyts/yarn_art_Flux_LoRA

XLabs-AI

https://huggingface.co/XLabs-AI/flux-lora-collection

基于FLUX的Controlnet模型

Canny

InstantX团队正式开源基于Flux的Canny模型，之前发布的是alpha测试版，正式版目前已经发布，大家可以测试来看看

https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Canny/

03/

Lora 训练基础教程

推荐训练环境

python=3.10 torch=2.4.0 Cuda=12.1

训练代码GitHub链接：

https://github.com/ostris/ai-toolkit

git clone https://github.com/ostris/ai-toolkit.gitcd ai-toolkitgit submodule update --init --recursivepython -m venv venv.\venv\Scripts\activatepip install torch torchvision --index-url https://download.pytorch.org/whl/cu121pip install -r requirements.txtpython run.py config/train_lora_flux_24gb.yaml
br

训练教程直播地址

单卡4090做flux lora训练的B站直播地址：

https://www.bilibili.com/video/BV1DZ421N71n/?buvid=XX58E79562B11F9A28583DE9037E746E9EBEE&from_spmid=search.search-result.0.0&is_story_h5=false&mid=ddWLQFhb5lgJmpHIPw%2Bfbw%3D%3D&p=1&plat_id=114&share_from=ugc&share_medium=android&share_plat=android&share_session_id=61bf34e2-854f-4799-93f6-715fb00691bf&share_source=WEIXIN&share_tag=s_i&spmid=united.player-video-detail.0.0&timestamp=1723720904&unique_k=WrqWNQo&up_id=1069874770&vd_source=448d548227321b7116a7dcdf814407d2

不同硬件配置，FLUX-dev模型训练速度对比：

综合对比来看，性价比最高的还是4090

A100(batch size: 4) 训练速度：0.3478 it/s

H100(batch size: 4) 训练速度：0.4537 it/s

单卡4090(batch size: 1) 训练速度：0.4375 it/s

L40s(batch size: 1) 训练速度：0.838 it/s

重要参数设置！！！

昨天直播的过程忘记说了repeat如何设置，这个参数默认的yaml文件中没有，需要手动添加，位置如下：

在datasets下面手动添加num_repeates: 20

重要！！如果不添加此项参数，默认的repeat会设置为0

如何根据训练数据配置参数

low_vram: true 这个一定要打开，否则会爆OOM

占坑！

训练器压缩包

通过百度网盘分享的文件：ai-toolkit.rar

链接：

https://pan.baidu.com/s/1Yn1XmQcCr1UBupxYMuLhLg?pwd=iow7

提取码：iow7

--来自百度网盘超级会员V5的分享

驯服Flux小tips

如何让Flux更好地跟随指令，并添加negative prompt？可以尝试一下这个方法：

Flux 模型的 CFG 值必须设置为1，CFG = 1 导致不能使用negative prompts，如果我们增加 CFG，很快就会出现色彩过饱和和输出崩溃的情况，为了解决这个问题，我们可以使用一个sd-dynamic-thresholding 的插件来解决。它让Flux跟随提示变得更好，而且现在还可以使用负negative prompts。注意：这里的"DynamicThresholdingFull "上的参数设置并非最佳设置，如果有人能找到比这更好的设置，请与大家一起分享。

插件地址：

https://github.com/mcmonkeyprojects/sd-dynamic-thresholding

1.CFG 与 "引导比例 "不同（默认为 3.5 ）

2."interpolate_phi "参数负责图片的 "饱和度/去饱和度"，如果您觉得图片有问题，请调整该参数。

3.在对 mimic_mode 和 cfg_mode 进行了一些 XY 图测试后，很明显，对两者都使用Half Cosine Up是最好的解决方案：

4: AD + MEAN，因为与其他方法相比，它们给出的光影最柔和：

5: 我选择了 interpolate_phi = 0.7 + "enable"，因为与其他方法相比，它们给出的光影也最柔和：

到这里就结束了，最后我们打造了一个flux开源社区，后续会持续更新有关Flux训练的内容，欢迎大家一起编辑共建知识库！

飞书知识库地址：

https://seiyln6g2h.feishu.cn/docx/XZNEde70WoU8fhxYn3dcT3avnjf?from=from_copylink

看到这里，如果觉得不错，随手点个赞、在看、转发三连吧，如果想第一时间收到推送，也可以给我个星标哦！

⭐～谢谢你看我的文章。

⭐我是彩虹少女：感谢你的阅读。

⭐视频号：RainbowEye

彩虹之眼

彩虹之眼(Rainbow Eye)-神秘而强大的 AI 情报组织。

最新文章

亚马逊云科技盛会倒计时！先人一步感受AI创新浪潮！

从SaaS到AI Agent：垂直AI Agents的未来比你想象得更大！

Flux官方模型更新，实测效果惊艳，图像领域创作更进一步！

「DevFest 2024 南京」AI 大模型及应用前沿分享，探索机器学习未来！

11月9日，华师大×GDG DevFest 2024 特别分享会开启

中杯对决大杯！SD3.5新模型测评：轻量模型如何做到「审美与质感双飞跃」？

别急着投奔Flux！SD3.5最新实测告诉你：StabilityAI还没死！

当AI掌控画笔：创意的巅峰还是人类的末路？

从“刷题家”到“学伴”：AI如何彻底改变未来教育？

开发者必看：轻松加速PC和小型设备上的大语言模型

8月 | 期待已久的聚会——AI 梦工厂

27岁连续创业者：用AI打造下一代故事创作平台，颠覆传统内容创作的未来！

Flux : 尊贵的碳基生物们，欢迎来到黑森林实验室!

深度干货 | 这可能是国内第一篇Flux系列模型单卡4090微调lora分享！

时隔一年 | 重温吴恩达教授当时在斯坦福大学精彩演讲信息量还是很大！

基模们都慢下来了，那就静等花开！

深度干货 | 首发最强文生图开源模型FLUX.1本地ComfyUI部署教程重磅来袭

AI×IoT | 对话边无际CEO & 为设备赋予有思考能力的"数字大脑"

一年亏掉50亿美金 OpenAI 拿什么盈利？

AI 搜索？4o语音？我们只要GPT-5！

腾讯出列！混元DIT 模型lora训练器与使用教程发布，且配有comfyui节点插件。

AI 顶级公司也开始苦练内功了！

出海 | 天选之子和TikTok的前世今生！

这一波没那么多时间磨磨蹭蹭！

下半年端侧模型真的火！就连 Open AI 也上了一款 mini 小钢炮！且 Sam 还透露出一个关键信息！

从0~1独立开发 AI 产品的心酸历程：营收6位数的经验&反思（二）

从0~1独立开发 AI 产品的心酸历程：营收6位数的经验&反思

好久不见，三星怼着苹果开大招！还是端侧？

英伟达 CEO 黄仁勋：我们正在经历计算通货膨胀

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉