本文介绍南京大学和阿里巴巴在扩散模型加速任务上的新工作：SPLAM: Accelerating Image Generation with Sub-Path Linear Approximation Model。本工作主要解决扩散模型在采样过程中需要多步导致推理速度较慢，针对现有的LCM存在的累积误差较大的问题进行优化，通过提出线性ODE采样方法，进一步提升了生图的质量和速度。在四步推理的设置下，在COCO30k和COCO5k上分别取得了10.06和20.77的FID分数，在加速模型方法中达到了SOTA效果。
本文介绍南京大学和阿里巴巴在扩散模型加速任务上的新工作：SPLAM: Accelerating Image Generation with Sub-Path Linear Approximation Model。本工作主要解决扩散模型在采样过程中需要多步导致推理速度较慢，针对现有的LCM存在的累积误差较大的问题进行优化，通过提出线性ODE采样方法，进一步提升了生图的质量和速度。在四步推理的设置下，在COCO30k和COCO5k上分别取得了10.06和20.77的FID分数，在加速模型方法中达到了SOTA效果。
论文标题：
SPLAM: Accelerating Image Generation with Sub-Path Linear Approximation Model
论文链接：
https://arxiv.org/abs/2404.13903
代码链接：
https://github.com/MCG-NJU/SPLA
项目主页：
https://subpath-linear-approx-model.github.io/
一、引言
扩散模型目前已经成为文本生成图片领域使用最为广泛的模型，其通过逐步去噪步骤来从一张高斯噪声采样生成真实分布中的图片。然而，扩散模型一直存在的一个问题是其运行速度，因为需要多步迭代推理，导致图片生成速度缓慢，计算开销大。
针对这个问题一直以来，也有非常多的工作在探索加速扩散模型的方法。在最初的DDPM中，模型的推理需要和训练时相同的1000步迭代，生成一张图片通常需要数分钟。一系列工作着重研究推理时的采样方法，如DDIM，DPM-Solver等，这些方法通过ODE等技术优化，将采样步数从1000步降低到了20～50步量级，大大提升了图片生成速度。另外一系列的工作着重研究基于现有预训练模型（比如Stable Diffusion），通过蒸馏等方法将步数进一步压缩，实现到了10步以下的采样迭代次数。
如一致性模型，通过将PF-ODE上的采样点映射到原点的思想，实现了2-4步的推理，然而压缩步数也会导致一定程度的图片质量下降。我们的论文主要分析了一致性优化学习的过程中的难点和导致性能下降的因素，提出了子路径线性近似模型（SPLAM）尝试缓解这些问题，实现了更小的累积误差，提升了模型性能。
二、方法简介
2.1 一致性模型
一致性模型（Consistency Model）[1] 是 OpenAI 的 Song Yang 博士在 ICML2023 提出的扩散模型加速方法，是这个领域中非常重要的一项工作，基于此在Stable Diffusion上开发的LCM模型 [2] 也是在用户社区中热度非常高加速功能插件，我们首先来回顾一下一致性模型的原理。
而一致性模型的想法其实也非常简单，就是将ODE路径上每一个点都映射到原点，而原点来源于真实图片的分布，从而做到一步生成，如图所示：
2.2 问题分析
这时，我们我们就可以把这个优化目标重写为一个子路径（Sub-Path）的优化目标：
三、SPLAM
四、实验结果
4.1 定量指标
4.2 定性可视化
由于LCM官方只放出了基于DreamShaper训练的LCM权重，我们也基于DreamShaper训练了一版SPLAM，对比结果如下。
同时我们也基于SD2.1对齐了训练配置复现了LCM和我们的SPLAM对比。
五、总结
参考文献
[1] Score-Based Generative Modeling through Stochastic Differential Equations. https://arxiv.org/abs/2011.13456
[2] Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference. https://arxiv.org/abs/2310.04378
[3] Consistency Models. https://arxiv.org/abs/2303.0146
扫码观看！
“AI技术流”原创投稿计划
TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线500+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。
投稿内容
// 最新技术解读/系统性知识分享 //
// 前沿资讯解说/心得经历讲述 //
投稿须知
稿件需要为原创文章，并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励
投稿方式
发送邮件到
melodybai@thejiangmen.com
或添加工作人员微信（yellowsubbj）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。
