论文信息
论文信息
题目:CAMS: Convolution and Attention-Free Mamba-based Cardiac Image Segmentation
CAMS: 基于Mamba的无卷积和无注意力心脏图像分割
作者:Abbas Khan,Muhammad Asad,Martin Benning,Caroline Roney,Gregory Slabaugh
论文创新点
本文提出了一种基于Mamba的无卷积和无自注意力的心脏图像分割网络CAMS-Net,具有以下四个创新点:
无卷积和自注意力的Mamba基网络:作者首次提出了一个不依赖于卷积操作和自注意力机制的Mamba基分割网络CAMS-Net,展示了基于状态空间模型(SSM)的架构在医学图像分割中的潜力。
线性互联分解Mamba(LIFM)块:提出了LIFM块来减少Mamba块的训练参数并增强其决策函数,通过在两个分解的Mamba块之间引入非线性,进一步降低了计算复杂度。
基于Mamba的通道和空间聚合器:作者设计了Mamba通道聚合器(MCA)和Mamba空间聚合器(MSA),分别独立应用于每个编解码器阶段,以提取不同通道和空间位置的信息。
双向权重共享策略:提出了一种双向扫描策略,并结合权重共享,以减少参数数量并提高模型性能,特别是在较小数据集上的有效性。
摘要
卷积神经网络(CNN)和基于Transformer的自注意力模型已成为医学图像分割的标准。本文展示了卷积和自注意力虽然广泛使用,但并非分割任务中唯一有效的方法。打破常规,作者提出了一种无卷积和自注意力的基于Mamba的语义分割网络,名为CAMS-Net。具体来说,作者设计了基于Mamba的通道聚合器和空间聚合器,它们分别独立应用于每个编解码器阶段。通道聚合器提取不同通道之间的信息,空间聚合器学习不同空间位置的特征。作者还提出了一个线性互联的分解Mamba(LIFM)块,通过在两个分解的Mamba块之间引入非线性来降低Mamba块的计算复杂性,并增强其决策函数。作者的模型在CMR和M&Ms-2心脏分割数据集上超越了现有的最先进的CNN、自注意力和基于Mamba的方法,展示了这种创新的、无卷积和自注意力的方法如何激发超越CNN和Transformer范式进一步研究,实现线性复杂度并减少参数数量。源代码和预训练模型将在接收后公开提供。
2. 方法
所提出的无卷积和自注意力分割网络CAMS-Net如图1(a)所示。输入图像被转换为不重叠的2×2块,通过2的因子降低平面空间分辨率,并使用线性嵌入层将特征投影到维度C1=64。它还结合了正弦位置嵌入来编码空间上下文信息,使编码器能够理解图像内不同区域的相对位置。特征在每个编码器阶段也通过2×2平均池化层进行下采样。在下一个编码器阶段和瓶颈中,作者实现了CS-IF模块,允许模型沿通道和空间维度学习更丰富的特征。
在解码器侧,特征在每个阶段通过2×2的双线性插值窗口上采样以匹配输出维度,然后在瓶颈后的第一个阶段后跟CS-IF模块,在所有其他解码器阶段后跟MCA。跳跃连接也在每个编码器-解码器阶段实现,以重用特征并加快收敛。最后,生成一个五类分割图(每个类别一个,LA、RA、LV、RA和背景),然后通过Softmax激活。本节将解释CAMS-Net的组成部分。
3.1. 分解Mamba
受深度卷积神经网络的启发,其中两个3×3卷积滤波器的堆叠具有5×5的有效感受野,作者提出了分解Mamba的思想,这使得决策函数更具辨识力,同时也减少了参数数量。“Mamba块扩展因子”(E)和“SSM状态扩展因子”(D)控制Mamba块的整体复杂度。更具体地说,E使用具有学习权重W1和W2的线性层扩展Mamba块的维度,而D在SSM内投影维度。作者在Mamba块中实现了不同的E和D因子,并分析了它们的计算复杂度,如补充材料中的表1所示。在Mamba块中,大多数参数来自E,D的增加很小。大多数基于Mamba的网络使用默认的SSM和Mamba块扩展,如图1(c)所示,这在计算上是昂贵的,单个Mamba块带来了11,776个可训练参数(对于cin=32和cout=64)。数学上,