首页 时事 民生 政务 教育 文化 科技 财富 体娱 健康 情感
更多
旅行 百科 职场 楼市 企业 乐活 学术 汽车 时尚 创业 美食 幽默 美体 文摘

EMF-former：一种用于医学图像分割的高效且内存友好的Transformer

科技   2024-11-08 10:06   中国香港  

点击下方“ReadingPapers”卡片，每天获取顶刊论文解读

论文信息

题目：EMF-former: An Efficient and Memory-Friendly Transformer for Medical Image Segmentation

EMF-former：一种用于医学图像分割的高效且内存友好的Transformer

作者：Zhaoquan Hao, Hongyan Quan, and Yinbin Lu

论文创新点

  1. 深度可分离混洗卷积模块（DSPConv）：作者提出了一个新颖的卷积模块，称为DSPConv，它通过结合深度可分离卷积（DWConv）、通道混洗和逐点卷积（PWConv）来减少卷积操作中的参数数量。这种设计不仅降低了模型的计算复杂度，还保证了不同通道间信息的交互，从而在减少参数的同时保持了特征提取的准确性。
  2. 向量聚合注意力（VAA）：为了降低自注意力机制中的计算复杂度，作者引入了一种高效的向量聚合注意力机制。VAA通过将两个向量广播后的元素级乘法替代传统的矩阵乘法，再通过一个全连接层来计算注意力分数，显著降低了计算复杂度，同时保持了全局依赖性的捕捉能力。
  3. 串行多头注意力模块（S-MHA）：针对多头注意力中存在的特征冗余问题，作者设计了一种串行多头注意力模块。S-MHA通过串行计算注意力，并且在计算过程中忽略某些头部，从而减少了内存使用量和计算冗余。这种方法不仅节省了计算资源，还鼓励了模型在不同头部之间学习更丰富的特征表示。

摘要

医学图像分割对于计算机辅助诊断具有重要意义。在这项任务中，基于卷积神经网络（CNNs）的方法在提取局部特征方面表现出色。然而，它们无法捕获全局依赖性，这对于医学图像至关重要。另一方面，基于Transformer的方法可以通过自注意力建立全局依赖性，为局部卷积提供补充。然而，普通Transformer中的自注意力的昂贵矩阵乘法和内存使用量仍然是一个瓶颈。在这项工作中，我们提出了一个名为EMF-former的分割模型。通过结合DWConv、通道混洗和PWConv，我们设计了一个深度可分离混洗卷积模块（DSPConv），以减少卷积的参数数量。此外，我们采用了一种高效的向量聚合注意力（VAA），用元素级乘法替换了两个向量广播后的键值交互，以降低计算复杂性。此外，我们用串行多头注意力模块（S-MHA）替换了并行多头注意力模块，以减少多头注意力中的内存使用量和特征冗余。结合上述模块，EMF-former能够在保持分割精度的同时，以更少的参数数量、更低的计算复杂性和更低的内存使用量高效执行医学图像分割。我们在ACDC和Hippocampus数据集上进行了实验评估，分别达到了80.5%和78.8%的mIOU值。

关键词

Transformer · 轻量级 · 医学图像分割

2 方法

EMF-former的整体架构如图2(a)所示。

2.1 DSPConv模块

在这项工作中，我们提出了一个名为DSPConv的卷积模块，通过结合DWConv、通道混洗和PWConv。这个卷积模块旨在减少卷积操作中的参数数量和特征冗余，同时确保准确的特征提取。受到Chen等人[6]的启发，我们将自然图像领域的方法应用于医学图像领域，并尝试改进这种方法，选择性地仅对特征图中的一部分通道应用DWConv。与常规Conv相比，DSPConv的参数更少，并且可以通过通道混洗和PWConv确保不同通道之间的信息交换。具体来说，所提出的DSPConv模块如图2(b3)所示。在获得输出O ∈ RH×W ×C1的过程中，首先，我们的DSPConv模块使用核大小为K的DWConv对第一个1/4的通道C1进行操作。此外，为了确保不同通道之间的信息交互，我们采用了通道混洗，在DWConv卷积操作后混洗通道，并在剩余的3/4通道C1上执行PWConv以促进信息交换。因此，我们的DSPConv所需的参数数量为
这比常规Conv的要少。而FLOPs为
这比常规Conv的要少。此外，随着输入通道大小c的增加，总数的差异变得更加明显。通过实施这种方法，我们可以在实现轻量级结果的同时减少特征冗余。图2(b2)中所示的DSPConv模块用于DSPConv Stem，该模块可以将特征图下采样4倍。另一个是在DSPConv Merge中使用的模块，如图2(b1)所示，其中特征图可以下采样2倍。

2.2 向量聚合注意力

对于注意力计算，Q、K、V∈ RN×d分别表示查询、键和值矩阵（N = H × W，其中H和W分别是特征图的高度和宽度）。注意力函数将每个查询转换为值的加权和，然后乘以V矩阵以获得注意力分数。这个过程需要在Q、K、V之间进行矩阵乘法，它们都有维度RN×d，并且结果的复杂度为O(N^2d)，如下所示：
为了降低计算复杂度，在这项工作中，我们引入了一种高效的向量聚合注意力（VAA），受到Shaker等人[23]和Lin等人[16]提出的方法的启发，如图2(c)所示。我们用两个广播向量的元素级乘法替换了Q和K的矩阵乘法。此外，我们用全连接层替换了键值交互。这种方法不仅能够计算全局注意力，而且与自注意力相比，还降低了计算复杂度。具体来说，在单个头内使用线性层生成Q和K，其中Q和K都是∈ RN×d，N代表令牌的数量，d可以被解释为每个令牌的长度。我们使用两个可学习的向量，Wq ∈ Rd×1和Wk ∈ R1×N，分别与Q和K相乘。这生成了两个全局注意力向量，Qα ∈ RN×1和Kα ∈ R1×d，如下所示：
其中，Qα可以被理解为聚合了每个令牌的所有维度的特征，而Kα可以被理解为将所有令牌聚合成一个单一的令牌。随后，我们执行广播操作以获得两个具有相同维度RN×d的矩阵。然后这些矩阵逐元素相乘，并通过线性层计算全局注意力，如下所示：
因此，我们提出的VAA避免了直接在Q矩阵和K矩阵上执行矩阵乘法，并降低了计算复杂度到O(N)。L是线性层，它替换了V矩阵。

2.3 串行多头注意力模块

同时，多头注意力在不同头部之间存在特征冗余[12]、[10]。这导致了多头注意力不仅占用了任何内存和计算资源，而且它的许多组件被用来提取冗余的全局特征，这限制了整体效率。为了解决这个问题，我们设计了串行多头注意力模块（S-MHA），如图2(d)所示，并且每个头部的两个不同头部被组合成一个头部组。然后不同头部组的计算结果被连接到下一个头部组进行求和，并且再次执行注意力计算。此外，我们尝试将Chen等人[6]的工作引入Transformer。具体来说，而不是在每个头部组中对第二个头部执行注意力计算，我们直接将第一个头部的计算结果求和。原因是我们假设由于多头注意力中存在特征冗余，我们可以避免对某些头部执行注意力计算。随后的实验证明了我们的概念是正确的。我们设置多头注意力最多有8个头（n=8），正式地，这种注意力可以被表述为：
其中Xi表示第i个头的注意力输出（i是奇数）。HGi表示第i个头部组的输出。值得注意的是，由于对Headi（i是偶数）没有执行注意力计算，输出可以被认为是Headi本身，因此Yi表示第i个头的输出（i是偶数）。为了减少头部之间的冗余并鼓励Q、K层在具有更丰富信息的特征上学习投影。我们将头部组的输出添加到后续头部：
Head_{2i+1}将被用作第(2i+1)个头的新输入特征。最终，我们连接头部组的输出以获得输出：
总的来说，通过上述操作，可以节省内存和计算资源，因为串行多头注意力模块不需要同时在多头上进行计算。也有可能在不同头部之间学习更丰富的特征，以提高模型性能。

3 实验

声明

本文内容为论文学习收获分享，受限于知识能力，本文对原文的理解可能存在偏差，最终内容以原论文为准。本文信息旨在传播和学术交流，其内容由作者负责，不代表本号观点。文中作品文字、图片等如涉及内容、版权和其他问题，请及时与我们联系，我们将在第一时间回复并处理。

 http://mp.weixin.qq.com/s?__biz=MzU0NjgzMDIxMQ==&mid=2247626225&idx=2&sn=883a4b1e5eac0938ecac3f9a25a54aa6
小白学视觉
哈工大在读博士的公众号，《OpenCV 4快速入门》的作者，面向初学者介绍计算机视觉基础知识、OpenCV使用、SLAM技术，深度学习等内容。
 最新文章
招生信息 | 香港科技大学（广州）丁宁宁教授实验室博士招生
十个python图像处理工具
​实践教程｜扩散模型代码复现
使用PyTorch进行知识蒸馏的代码示例
中文版的TPAMI，你听说过么！
招生信息 | 新泽西理工学院计算学院信息学系Dr. Chenxi Yuan 招募博士
如何消除摄影中的运动模糊?
漂亮，LSTM模型结构的可视化
目标检测和感受野的总结和想法
目标检测中的框位置优化总结
如何看待神经网络的黑箱？
如何使用深度学习进行缺陷检测
深度学习的图原理
饶毅：中国存在大量粗制滥造研究生的问题，很多博士不合格
路面语义分割
招生信息 | Emory大学计算机科学系Dr. Guo Zhichun实验室博士生招生
深度学习中的Normalization你懂了多少？
神经网络与傅立叶变换到底有没有关系？
从零开始构建DINO模型与PyTorch：自监督视觉transformer
涨点神器！100个即插即用缝合模块【合集下载】
深度学习最常用的10个激活函数！（数学原理+优缺点）
招生信息 | 香港城市大学计算机科学系Dr. Luo Yuhan诚邀加入BiWell实验室
实操教程｜PyTorch实现断点继续训练
又一本开源免费的大模型书来了，449页pdf！
有哪些东西是你读博士以后才懂的？
图像处理常用算法(基础)
少样本学习综述：技术、算法和模型
学术 | 热议：寒门硕士要不要继续读博士？
怎么才能优雅地向博士导师表达「这周科研没什么进展」？
医学影像相关开源数据集资源汇总
顶刊解读 TRGS | 位置-时间感知Transformer用于遥感变化检测
去他的顶会顶刊！我就想发个论文毕个业！
五年之内，博士会像今天的硕士一样井喷吗？
Gemini 可以进行目标检测了！
形象理解二维傅里叶变换
Halcon和Opencv 的区别
PyTorch常用代码段合集
cuda编程：我的第一份cuda代码
系统性总结了 Numpy 所有关键知识点！
图像特征提取与匹配技术
EMF-former：一种用于医学图像分割的高效且内存友好的Transformer
一位上海交大教授的深度学习五年研究总结
软包装锂离子电池的表面凸点缺陷检测
长远看算法岗真的比开发岗香吗？
GASA-UNet：用于医学图像分割的全局轴向自注意力U-Net
招生信息 | 香港大学杜泓阳教授团队博士招生
Python特征重要性分析的9个常用方法
245个目标检测开源项目合集，建议收藏！
用Windows电脑训练深度学习模型？超详细配置教程来了
为什么建议大家使用 Linux 开发？真的很很很优雅！
 分类
时事
民生
政务
教育
文化
科技
财富
体娱
健康
情感
旅行
百科
职场
楼市
企业
乐活
学术
汽车
时尚
创业
美食
幽默
美体
文摘
 原创标签
时事 社会 财经 军事 教育 体育 科技 汽车 科学 房产 搞笑 综艺 明星 音乐 动漫 游戏 时尚 健康 旅游 美食 生活 摄影 宠物 职场 育儿 情感 小说 曲艺 文化 历史 三农 文学 娱乐 电影 视频 图片 新闻 宗教 电视剧 纪录片 广告创意 壁纸头像 心灵鸡汤 星座命理 教育培训 艺术文化 金融财经 健康医疗 美妆时尚 餐饮美食 母婴育儿 社会新闻 工业农业 时事政治 星座占卜 幽默笑话 独立短篇 连载作品 文化历史 科技互联网
 发布位置
广东 北京 山东 江苏 河南 浙江 山西 福建 河北 上海 四川 陕西 湖南 安徽 湖北 内蒙古 江西 云南 广西 甘肃 辽宁 黑龙江 贵州 新疆 重庆 吉林 天津 海南 青海 宁夏 西藏 香港 澳门 台湾 美国 加拿大 澳大利亚 日本 新加坡 英国 西班牙 新西兰 韩国 泰国 法国 德国 意大利 缅甸 菲律宾 马来西亚 越南 荷兰 柬埔寨 俄罗斯 巴西 智利 卢森堡 芬兰 瑞典 比利时 瑞士 土耳其 斐济 挪威 朝鲜 尼日利亚 阿根廷 匈牙利 爱尔兰 印度 老挝 葡萄牙 乌克兰 印度尼西亚 哈萨克斯坦 塔吉克斯坦 希腊 南非 蒙古 奥地利 肯尼亚 加纳 丹麦 津巴布韦 埃及 坦桑尼亚 捷克 阿联酋 安哥拉