扩散式生成模型近年来在理论与应用方面均取得了巨大的进展。随机微分方程及其数值方法的引入使得我们能够对扩散模型在连续时间中分析，离散步数中采样；概率流常微分方程及其数值方法的广泛使用则是使得扩散模型的少步数快速采样成为可能。
本文进一步揭示了扩散模型采样轨迹蕴含的规律性，即，高维空间中的采样轨迹总是呈现出低维的回旋镖结构。该采样轨迹可以由一个方向向量及其正交补空间中的两个主成分有效表达。该现象与采样轨迹的初始噪声、合成内容均无关，且可以借助于变尺度核密度估计进行理论分析。
本文刻画的几何图像既能有效解释多种在实际中取得成功的启发式策略，又能从原理上导出简单、几乎无代价的步长规划策略，从而进一步增强扩散模型在少步数情况下的采样质量。
扩散式生成模型近年来在理论与应用方面均取得了巨大的进展。随机微分方程及其数值方法的引入使得我们能够对扩散模型在连续时间中分析，离散步数中采样；概率流常微分方程及其数值方法的广泛使用则是使得扩散模型的少步数快速采样成为可能。
本文进一步揭示了扩散模型采样轨迹蕴含的规律性，即，高维空间中的采样轨迹总是呈现出低维的回旋镖结构。该采样轨迹可以由一个方向向量及其正交补空间中的两个主成分有效表达。该现象与采样轨迹的初始噪声、合成内容均无关，且可以借助于变尺度核密度估计进行理论分析。
论文标题：
On the Trajectory Regularity of ODE-based Diffusion Sampling
论文地址：
https://arxiv.org/abs/2405.11326
代码地址：
https://github.com/zju-pi/diff-sampler
一、预备知识
扩散模型通过正向加噪过程将数据转化成噪声，再通过反向去噪过程从噪声合成数据。该想法可以被随机微分方程这一数学工具形式化。特别地，上述过程也可以被确定性的概率流常微分方程所描述。这两种框架能够在保持边缘概率密度函数不变的情况下进行等价转换。
该扩散过程对应的概率流常微分方程（PF-ODE）为
二、扩散模型采样轨迹的规律性
2.1 一维轨迹投影
2.2 多维轨迹投影
上图的投影结果显示了扩散模型的采样轨迹总是呈现出低维回旋镖结构，并且该结构与初始噪声、合成内容均无关。
本文对该结构出现的原因进行了理论分析，详见论文第四章"Understanding the Trajectory Regularity"。
三、几何启发的步长规划策略
基于本文揭示的扩散模型采样结构，我们给出了一种基于动态规划的步长分配策略。核心思想：既然所有采样轨迹均共享类似的形状，那么我们就可以采用少量的样本估计出更优的步长分配策略。其原则是，在轨迹弯曲程度较大的地方使用较小的采样步长；而在轨迹弯曲程度较小的地方使用较大的采样步长。该算法的具体细节见论文第五章“Geometry-Inspired Time Scheduling”。
四、结论
扫码观看！
“AI技术流”原创投稿计划
TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线500+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。
投稿内容
// 最新技术解读/系统性知识分享 //
// 前沿资讯解说/心得经历讲述 //
投稿须知
稿件需要为原创文章，并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励
投稿方式
发送邮件到
melodybai@thejiangmen.com
或添加工作人员微信（yellowsubbj）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。
