【魔改Mamba系列】HC-Mamba：用于医学图像分割的混合卷积技术视觉Mamba

科技 2024-11-22 09:03 中国香港

关注下方“PaperAccepted”卡片，每天获取前沿论文解读
论文信息

题目：HC-MAMBA: VISION MAMBA WITH HYBRID CONVOLUTIONAL TECHNIQUES FOR MEDICAL IMAGE SEGMENTATION

HC-MAMBA：用于医学图像分割的混合卷积技术视觉MAMBA

作者：Jiashu Xu

论文创新点

混合卷积技术：作者提出了一个基于现代状态空间模型Mamba的新型医学图像分割模型HC-Mamba，该模型引入了扩张卷积技术来捕获更广泛的上下文信息，同时不增加计算成本。这种技术通过扩展卷积核的感知场，增强了模型对图像不同尺度结构的感知能力，特别适合于医学图像。
深度可分离卷积的应用：HC-Mamba模型采用了深度可分离卷积，这种卷积方法将传统的卷积操作分解为深度卷积和点卷积两部分，显著减少了模型的参数数量和计算需求。
HC-SSM模块的提出：作者提出了HC-SSM模块以增强模型提取特征的能力。该模块利用状态转移能力来增强特征之间的空间相关性，从而补偿由于扩张卷积引入的不连续性。
综合损失函数的设计：为了全面优化分割模型的性能，作者设计了一个综合加权损失函数，结合了mIoU损失、Dice损失和边界损失。这种损失函数的组合允许模型同时优化分割区域的重叠、相似性和边界准确性。

摘要

自动医学图像分割技术有潜力加快病理诊断，从而提高病人护理的效率。然而，医学图像通常具有复杂的纹理和结构，模型在处理时常常面临由于下采样导致的图像分辨率降低和信息丢失问题。为了解决这一问题，作者提出了HC-MAMBA，这是一种基于现代状态空间模型Mamba的新型医学图像分割模型。具体来说，作者在HC-MAMBA模型中引入了扩张卷积技术，以在不增加计算成本的情况下通过扩展卷积核的感知场来捕获更广泛的上下文信息。此外，HC-MAMBA模型采用了深度可分离卷积，显著减少了模型的参数数量和计算能力。通过结合扩张卷积和深度可分离卷积，HC-MAMBA能够在保持高性能的同时，以更低的计算成本处理大规模医学图像数据。作者在包括器官分割和皮肤病变在内的分割任务上进行了全面的实验，并在Synapse、ISIC17和ISIC18上进行了广泛的实验，以展示HC-MAMBA模型在医学图像分割中的潜力。实验结果表明，HC-MAMBA在所有这些数据集上都展现出了竞争性的表现，从而证明了其在医学图像分割中的有效性和实用性。

关键字

医学图像分割，扩张卷积，深度可分离卷积，状态空间模型，HC-MAMBA

2 方法

2.2 模型结构

HC-Mamba的结构可以描述为块嵌入层、HC-SSM块和块合并层。模型架构如图2(a)所示。

在HC-Mamba中，块嵌入层首先将输入图像x ∈ RH×W×3划分为4x4的不重叠块。这个操作将图像的维度映射到C维度（通常C = 96），得到嵌入图像x' ∈ RH/4 × W/4 ×C。随后，x'经过层归一化以标准化嵌入图像，然后进入HC-Mamba的主干。主干由四个阶段组成。特别是，在前三个阶段的输出之后，使用合并层来减少输入特征的高度和宽度，同时增加通道数。我们在四个阶段中分别使用了[2, 4, 2, 2] HC-SSM块，每个阶段分别有[C, 2C, 4C, 8C]通道。

2.2.1 SS2D模块

SS2D模块是HC-SSM块的核心，包括三个关键组件：扫描扩展、S6块和扫描合并。扫描扩展将输入图像分解为沿四个方向（上、下、左、右）的独立序列，这一步骤确保了信息的广泛空间覆盖并实现了多方向特征捕获。接下来，S6块使用选择性机制对状态空间模型的参数施加选择，以准确识别和提取有用信息同时过滤掉无关部分。具体来说，该块以[B, L, D]格式的特征作为输入，其中B是批量大小，L是序列长度，D是特征维度。首先通过一个线性层对特征进行转换，然后应用状态空间模型的更新和输出方程来产生最终的输出特征。最后，扫描和合并操作重新配置这些转换后的序列，产生与原始输入图像尺寸相匹配的输出图像。通过这一系列微妙的操作，SS2D模块为HC-SSM块提供了强大的特征提取和处理能力。

2.2.2 HC-SSM块

HC-SSM块是HC-Mamba的核心模块，如图2(b)所示。作者提出了一个基于SS2D的双分支特征提取模块。首先，模块输入被通道分割操作分成两个等大小的子输入。然后，这两个子输入分别输入到两个分支模块中，即SSM分支和HC-Conv分支。在SSM分支中，输入经过层归一化后进入SS2D模块，其中输入特征首先通过线性映射进行维度增强，紧接着是一个深度可分离卷积的卷积层，这保持了维度的同时也改善了特征的局部处理，通过分组来实现。然后应用SiLU激活函数，引入非线性变换来丰富模型的表达能力，最后处理后的特征被重新映射到原始特征空间以获得SSM分支的输出。在HC-Conv分支中，作者引入扩张卷积来扩展卷积核的接受场，以捕获更广泛的上下文信息。这种技术特别适合医学图像，因为它提高了模型对图像不同尺度结构的感知能力，同时不丢失图像细节。同时，作者使用了一个扩张率为1,2,3,1的扩展策略来避免不连续数据出现的网格效应。与此同时，与2,2,2的扩张率相比，1,2,3策略可以确保感觉场的连续性，示例如图3所示。

同时，使用类似锯歯状的扩张率策略（即，扩张率为1,2,3,1）允许在多尺度特征提取后重新聚焦局部特征，并有助于保持特征的空间连续性，而序列末尾使用较小的扩张率允许模型重新聚焦可能包含重要信息的较小区域。

最后，我们沿着特征图的通道维度合并两个分支的输出，并使用一个无参数的轻量级操作，通道混洗操作，以促进两个子输入通道之间的信息交互。

2.2.3 损失函数

在医学图像分割领域，最关键的评估指标是分割结果与真实值之间的重叠、边界的准确性以及相似性。因此，作者设计了一个综合加权损失函数，结合了mIoU损失、Dice损失和边界损失。选择这三种损失函数的原因是每个都优化分割任务的不同方面。mIoU损失函数评估分割区域的重叠，Dice损失函数测量分割区域的相似性，边界损失函数关注分割边界的准确性。这三种损失的组合允许全面优化分割模型的性能。

具体来说，损失函数表示如下：

其中Lmo、LDc和LBudr分别代表mIoU损失、Dice损失和边界损失。术语w_{mIoU}、w_{Dice}和w_{Boundary}是相应的权重系数。术语BP和BG分别代表预测分割和真实分割的边界点集，d(p, q)代表点p和点q之间的欧几里得距离。

综合损失函数，通过对三种损失函数进行加权和组合，能够同时优化分割区域的重叠、相似性和边界准确性，从而提高整体分割性能。

3 实验

声明

本文内容为论文学习收获分享，受限于知识能力，本文对原文的理解可能存在偏差，最终内容以原论文为准。本文信息旨在传播和学术交流，其内容由作者负责，不代表本号观点。文中作品文字、图片等如涉及内容、版权和其他问题，请及时与我们联系，我们将在第一时间回复并处理。

http://mp.weixin.qq.com/s?__biz=MzU0NjgzMDIxMQ==&mid=2247626752&idx=2&sn=48b0cc0610ded626c8501e9c6326792e

小白学视觉

哈工大在读博士的公众号，《OpenCV 4快速入门》的作者，面向初学者介绍计算机视觉基础知识、OpenCV使用、SLAM技术，深度学习等内容。

最新文章

博士招生 | 约翰霍普金斯大学PENSA实验室Sijia Geng 博士招生

【魔改Mamba系列】UU-Mamba：用于图像分割的不确定性感知U-Mamba

利用 YOLO11做停车管理

BT-Unet:医学图像分割的自监督学习框架

【魔改Mamba系列】HC-Mamba：用于医学图像分割的混合卷积技术视觉Mamba

详解机器学习中的7种交叉验证方法！

一文搞懂梯度下降

快速学会登上nature的热门算法，LSTM！

招生信息 | 墨尔本大学计算与信息系统学院 Dr. Ting Dang 诚招博士生

手把手教你用YOLOv8训练自己的数据集以及YOLOv8的多任务使用

手撕自动驾驶算法—无迹卡尔曼滤波

博士招生 | 南京大学智能科学与技术学院，范琦老师招收2025年入学的博士生，以及实习生、科研助理

【魔改UNet系列】IAUNet：实例感知的U-Net

收藏 | 10种顶级聚类算法实现

详解基于深度学习的伪装目标检测

年薪80w，我入局了

【Mamba应用前沿】CAMS: 基于Mamba的无卷积和无注意力的图像分割

数字图像基本处理算法小结

收藏 | 卷积神经网络压缩方法总结

招生信息 | 香港科技大学（广州）丁宁宁教授实验室博士招生

十个python图像处理工具

实践教程｜扩散模型代码复现

使用PyTorch进行知识蒸馏的代码示例

中文版的TPAMI，你听说过么！

招生信息 | 新泽西理工学院计算学院信息学系Dr. Chenxi Yuan 招募博士

如何消除摄影中的运动模糊?

漂亮，LSTM模型结构的可视化

目标检测和感受野的总结和想法

目标检测中的框位置优化总结

如何看待神经网络的黑箱？

如何使用深度学习进行缺陷检测

深度学习的图原理

饶毅：中国存在大量粗制滥造研究生的问题，很多博士不合格

路面语义分割

招生信息 | Emory大学计算机科学系Dr. Guo Zhichun实验室博士生招生

深度学习中的Normalization你懂了多少？

神经网络与傅立叶变换到底有没有关系？

从零开始构建DINO模型与PyTorch：自监督视觉transformer

涨点神器！100个即插即用缝合模块【合集下载】

深度学习最常用的10个激活函数！（数学原理+优缺点）

招生信息 | 香港城市大学计算机科学系Dr. Luo Yuhan诚邀加入BiWell实验室

实操教程｜PyTorch实现断点继续训练

又一本开源免费的大模型书来了，449页pdf！

有哪些东西是你读博士以后才懂的？

图像处理常用算法(基础)

少样本学习综述：技术、算法和模型

学术 | 热议：寒门硕士要不要继续读博士？

怎么才能优雅地向博士导师表达「这周科研没什么进展」？

医学影像相关开源数据集资源汇总

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉

【魔改Mamba系列】HC-Mamba：用于医学图像分割的混合卷积技术视觉Mamba

关注下方“PaperAccepted”卡片，每天获取前沿论文解读论文信息

关注下方“PaperAccepted”卡片，每天获取前沿论文解读

论文信息

题目：HC-MAMBA: VISION MAMBA WITH HYBRID CONVOLUTIONAL TECHNIQUES FOR MEDICAL IMAGE SEGMENTATION

HC-MAMBA：用于医学图像分割的混合卷积技术视觉MAMBA

作者：Jiashu Xu

论文创新点

摘要

关键字

2 方法

2.2 模型结构

2.2.1 SS2D模块

2.2.2 HC-SSM块

2.2.3 损失函数

3 实验

声明

关注下方“PaperAccepted”卡片，每天获取前沿论文解读
论文信息