01
工作速览
02
匠心独运
图1：通过一个二维高斯混合的例子来说明反向动力学的三个阶段。轨迹根据反向动力学结束时它们所属的类别被涂成白色和蓝色。在第一阶段，蓝色和白色的轨迹在同一束内波动，x类似于白噪声。在物种分化时间tS时，蓝色和白色轨迹的集合分开，朝它们各自类别对应的分布移动。第二阶段是生成过程构建一个类似于类别中一个元素的x（例如，插图中的海岸），而与训练集中的任何数据无关。在坍缩时间tC时，轨迹开始被它们在t=0时坍缩的数据点吸引。第三阶段对应于记忆，而在第一和第二阶段，扩散模型真正地进行了泛化。右侧和左侧的图片是从ImageNet数值实验中获得的插图（请注意在t=0时，熊猫和海岸从训练集中坍缩）。
03
卓越性能
图3：高斯混合中的坍缩。过剩熵密度f_e(t)/α随时间t的变化，对于不同的维度d值，在固定n=20,000的情况下。实线是理论预测，而点显示了通过从数据集中近似熵得到的数值评估结果。垂直虚线代表了高斯混合中通过(10)给定的解析预测的坍缩时间tC。误差条对应于三倍标准误差。
图4：在真实数据集中的物种分化。ϕ(t)，即两个克隆最终落在同一个类别中的概率，随t/tS函数的变化，对于几个不同的图像数据集。tS的值是使用公式(4)得到的物种分化时间的理论预测，并在表1中列出。虚线水平线表示ϕ(t)=0.775，误差条对应于三倍标准误差，实线是对实验点的线性插值。
图5：在真实数据集（ImageNet16、ImageNet32和LSUN）中的坍缩（左上）ϕC(t)的演变，即两个克隆轨迹在时间零时坍缩到训练集中同一数据点的概率。（右上）在LSUN数据集上，用n=200训练得到的4000个生成样本的最后一个变化索引μ⋆的直方图。（底部）经验过剩熵f(t)/α的演变。在所有面板中，彩色垂直虚线表示的平均值。误差条对应于三倍标准误差。
参考：
Biroli, G., Bonnaire, T., de Bortoli, V. et al. Dynamical regimes of diffusion models. Nat Commun 15, 9957 (2024). https://doi.org/10.1038/s41467-024-54281-3
关注+标星 邂逅每一篇经典
