点击下方“深度学习爱好者”,选择加p"星标"或“置顶”
论文信息
题目:Sigma: Siamese Mamba Network for Multi-Modal Semantic Segmentation
Sigma: 用于多模态语义分割的孪生Mamba网络
作者:Zifu Wan, Pingping Zhang, Yuhao Wang, Silong Yong, Simon Stepputtis, Katia Sycara, Yaqi Xie
源码:https://github.com/zifuwan/Sigma
论文创新点
首次成功应用状态空间模型于多模态语义分割:作者提出的方法Sigma是第一个成功应用状态空间模型(SSMs),特别是Mamba模型,在多模态语义分割领域的案例。 基于Mamba的融合机制和通道感知解码器的引入:作者引入了一种基于Mamba的融合机制和通道感知解码器,以高效地从不同模态中提取信息并无缝集成它们,这在多模态学习领域是一个创新的尝试。 全局感受野与线性复杂度的结合:与依赖于CNNs的方法相比,Sigma实现了全局感受野并且保持了线性复杂度,这在以往的研究中是难以两全的。
摘要
关键字
3. Sigma: 孪生Mamba网络
3.2. 总体架构
3.3. 孪生Mamba编码器
3.4. 融合模块
3.5. 通道感知Mamba解码器
4. 实验
声明
下载1:Pytoch常用函数手册 在「深度学习爱好者」公众号后台回复:Pytorch常用函数手册,即可下载全网第一份Pytorch常用函数手册,涵盖Tensors介绍、基础函数介绍、数据处理函数、优化函数、CUDA编程、多线程处理等十四章章内容。 下载2:Python视觉实战项目52讲 在「小白学视觉」公众号后台回复:Python视觉实战项目,即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。 交流群 欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~