点击下方“深度学习爱好者”，选择加"星标"或“置顶”
论文信息
题目：Conditional diffusion model with spatial attention and latent embedding for medical image segmentation
条件扩散模型结合空间注意力和潜在嵌入用于医学图像分割
作者：Behzad Hejrati，Soumyanil Banerjee，Carri Glide-Hurst，Ming Dong
源码：https://github.com/Hejrati/cDAL/
论文创新点
- 条件扩散模型与空间注意力的结合：作者提出了一种新颖的条件扩散模型cDAL，该模型在每个扩散时间步骤中结合了一个卷积神经网络(CNN)基的鉴别器，用以区分生成的标签和真实标签。此外，该模型利用鉴别器学习的空间注意力图来指导扩散过程，从而更准确地分割图像中的辨识区域。
- 潜在嵌入的引入：为了减少训练和采样的时间步骤，作者在模型的每个层中引入了随机潜在嵌入。这一策略显著减少了模型在训练和采样过程中所需的时间步骤数量，同时保持了生成图像的质量。
- 快速采样与高质量图像的平衡：cDAL模型通过使用较大的步长和随机潜在嵌入，实现了在保持生成图像质量的同时加快采样速度。这解决了扩散模型中常见的采样时间长的问题，同时避免了快速采样导致的图像质量下降。
摘要
扩散模型已广泛用于高质量图像和视频生成任务。在本文中，作者提出了一种新颖的条件扩散模型，结合空间注意力和潜在嵌入（cDAL），用于医学图像分割。在cDAL中，卷积神经网络（CNN）基的鉴别器在扩散过程的每个时间步骤中使用，以区分生成的标签和真实标签。基于鉴别器学习的特征计算空间注意力图，以帮助cDAL在输入图像中生成更具辨识力区域的更准确分割。此外，作者在模型的每个层中引入了随机潜在嵌入，显著减少了训练和采样时间步骤的数量，从而使其比其他用于图像分割的扩散模型更快。作者在3个公开可用的医学图像分割数据集（MoNuSeg、胸部X射线和海马体）上应用了cDAL，并观察到与最先进的算法相比，在Dice分数和mIoU方面有显著的定性和定量改进。关键词
医学图像分割 · 扩散模型 · 生成器 · 鉴别器 · 空间注意力 · 潜在嵌入2 方法
在以下各节中，作者将详细介绍所提出的cDAL架构的每个组成部分，如图1所示。2.1 用于图像分割的条件扩散模型
医学图像分割中存在固有的歧义，因为不同专家对同一图像的描绘是不同的。在所提出的cDAL中，作者利用DDPM的随机性来近似这个过程，并在推理过程中生成多个预测。随后，作者取预测的平均值，并将它们阈值化以获得比确定性模型（如U-Net）更准确的分割掩模。DDPM[5]由一个马尔可夫链前向过程组成，在这个过程中高斯噪声逐渐被添加以扰动数据分布，在T个时间步骤中进行。前向过程q由联合分布给出：q(x1:T |x0) = ，其中对于每个步骤t，前向过程是：q(xt|xt−1) = 。这里，x0是从数据分布中采样的，T是时间步骤的数量，βt是预定义的噪声计划，N表示高斯分布，I与数据x0的形状相同的n×n大小的单位矩阵。从x0到xt的累积过程表示为：xt = , ϵ 。这里，是在前向过程q(xt|x0) = 中使用的累积缩放因子，以在任意时间步骤t获得样本xt。DDPM的逆过程是迭代去噪潜在变量（x1，...，xT），由联合分布pθ(x0:T)参数化并给出：其中，µθ(xt, t)，σ2t和θ分别表示去噪模型pθ(xt−1|xt)的均值、方差和参数。通过最大化证据下界[5]，我们得到了训练损失函数：arg minθ Ex0,ϵ,t[||ϵ − ϵθ(xt, t)||2]，其中ϵ 表示纯高斯噪声，ϵθ表示去噪网络预测的噪声。在采样阶段，训练好的模型ϵθ被用来迭代去噪数据，即从xt生成xt−1，对于t = T, T − 1, ..., 1，并最终通过从纯高斯噪声xT 开始生成数据x0。这种DDPM的无条件生成过程适用于图像生成任务，其目标是模拟数据分布。对于图像分割任务，存在图像和标签对（I，x），其中I表示图像，x表示相应的真实标签。因此，对于图像分割任务，扩散模型有助于生成标签的分布，但它需要将图像作为条件以生成相关的标签。在cDAL中，作者使用扩散模型作为生成器xθ，以图像I作为条件，指导扩散模型生成与图像I相对应的标签（x），如图1所示。在作者的方法中，不是用扩散模型ϵθ预测噪声，而是使用[19]提供的公式，并直接预测干净标签，使用我们的扩散模型，条件是图像，即，其中t是时间嵌入。2.2 cDAL：空间注意力图
在cDAL架构中，作者结合了一个独特的基于CNN的鉴别器D，如图1所示。这个鉴别器被训练用来区分真实分割标签和使用我们的扩散模型xθ(xt, t, I)生成的标签。更具体来说，首先使用前向过程生成扰动标签，即。然后，鉴别器D使用，和时间步骤t作为输入来预测标签为真实。使用交叉熵损失来更新D。随后，保持扩散模型冻结状态，扩散模型的输出为：。有了，使用后验分布采样。然后，鉴别器使用，和t作为输入来预测标签为假（类别0），并使用交叉熵损失再次更新D。显然，鉴别器D学习了最有辨识力的特征来区分真实的和预测的。这里，作者使用D的特征图来生成空间注意力图AD = ，其中F_i表示D的第i个特征图，C为通道数。注意力图AD突出了标签中对模型生成接近真实x_0的标签至关重要的空间区域。作者将注意力图AD上采样以匹配真实标签x_0的形状，然后执行逐元素乘法以获得，其中表示哈达玛德积。随后，前向过程用于将转换为，使用q()。扰动的被送入条件扩散模型以预测，如图1所示。鉴别器D固定后，扩散模型的损失是，其中x_0是真实标签，xθ是依赖于注意力的的去噪模型。这个损失用于更新条件扩散模型的参数θ。2.3 cDAL：潜在嵌入
DDPM[5]通常在训练和采样中使用大量时间步骤，因为它使用小步长。因此，真实的去噪分布更接近高斯分布。当去噪步长变大时，去噪分布偏离高斯分布，变成复杂的多峰分布[18]。在cDAL中，作者使用较大的步长在T个时间步骤（T ≤ 4）中使用前向过程q() = ，其中每个时间步骤的大方差βt来扰动标签数据x_0。对于逆过程，去噪模型由下式给出：其中，首先使用xθ()预测，然后从后验分布q()中采样，如图1所示。现在，在cDAL xθ中引入随机潜在嵌入z ，使得。因此，去噪模型pθ()由下式给出：其中，pθ()是条件扩散模型生成器xθ()的隐含分布，该生成器使用L维潜在变量z。因此，我们条件扩散模型标签生成器的映射是xθ()。预测的标签不是xt的确定性映射，如DDPM中的那样，而是由具有随机潜在变量z的去噪模型产生的。这个过程使去噪分布pθ()多峰化，因此可以使用更大的步长。最终更新xθ（D冻结）的损失由下式给出：3 实验和结果
声明
本文内容为论文学习收获分享，受限于知识能力，本文对原文的理解可能存在偏差，最终内容以原论文为准。本文信息旨在传播和学术交流，其内容由作者负责，不代表本号观点。文中作品文字、图片等如涉及内容、版权和其他问题，请及时与我们联系，我们将在第一时间回复并处理。在「深度学习爱好者」公众号后台回复：Pytorch常用函数手册，即可下载全网第一份Pytorch常用函数手册，涵盖Tensors介绍、基础函数介绍、数据处理函数、优化函数、CUDA编程、多线程处理等十四章章内容。
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。
交流群
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~
![]()
