论文介绍
题目：A Novel Scene Coupling Semantic Mask Network for Remote Sensing Image Segmentation
会议：International Conference on Computer Vision, ICCV
论文：https://openaccess.thecvf.com/content/ICCV2023/html/Qi_Dynamic_Snake_Convolution_Based_on_Topological_Geometric_Constraints_for_Tubular_ICCV_2023_paper.html
代码：https://github.com/YaoleiQi/DSCNet
单位：东南大学，中法生物医学信息研究中心（CRIBs）新年快乐，蛇年大吉！本篇将介绍以蛇命名的卷积Dynamic Snake Convolution，发表于2023年ICCV顶会，在遥感道路等管状、线状地物提取中有很好的效果！另外，我们还介绍了5篇2024年的基于动态蛇形卷积的遥感方向的论文。![]()
创新点
- 动态蛇形卷积（DSConv）：提出了一种适应细长和扭曲管状结构的卷积核，通过几何约束增强模型对局部特征的感知。
- 多视角特征融合：设计了一种多视角特征融合策略，生成多个形态卷积模板，融合重要特征，改善模型的整体性能。
- 拓扑连续性约束损失函数（TCLoss）：基于持续同调理论设计损失函数，以约束分割的拓扑连续性，关注异常断裂区域。
![]()
数据
本文使用了多个数据集，包括2D数据集（DRIVE视网膜数据集、Massachusetts道路数据集）和3D数据集（Cardiac CCTA数据）。- 背景复杂，可能存在与目标混淆的其他地物，如建筑物和植被。
https://github.com/rsdler/Remote-Sensing-Semantic-Segmentation-Dataset方法
本文提出了一种用于管状结构分割的新方法 DSCNet，通过对特定特征的感知和约束提升分割精度和拓扑连续性。1. 动态蛇形卷积（Dynamic Snake Convolution, DSConv）
核心思想
动态蛇形卷积的设计灵感来源于蛇形路径，能够通过动态调整卷积核的位置和感知范围，适应管状结构的形态特性：
- 在传统卷积核基础上，动态蛇形卷积加入了几何约束，以确保感知范围不偏离目标。
- 这种约束使卷积核的感知范围沿着管状结构的路径动态调整，保持对细长区域的敏感性。
![]()
2. 多视角特征融合策略
- 生成多个形态模板，分别从不同角度捕捉目标的关键特征。
- 在特征融合过程中引入随机丢弃策略，减少冗余信息的干扰，同时防止过拟合。
- 优势：通过从多视角观察目标形态，模型能够有效结合局部与全局信息。
![]()
3. 拓扑连续性约束损失函数（Topological Continuity Constraint Loss, TCLoss）
- 目的：提升分割结果的拓扑一致性，减少断裂和形态错误。
- 基于拓扑学中的持续同调理论，分析管状结构的连续性特征。
- 强调对断裂区域的关注，确保分割结果在形态上保持一致性。
结果与分析
本文方法在2D和3D数据集上的实验结果表明，DSCNet能够显著提升管状结构分割的精度和拓扑连续性，与其他方法相比表现更优。进一步的消融实验和可视化分析验证了动态蛇形卷积和拓扑连续性约束损失在捕捉细长特征和减少断裂方面的关键作用。
![]()
![]()
![]()
更多图表分析可见原文
相关遥感研究
1. DSU-Net: Dynamic Snake U-Net for 2-D Seismic First Break Picking链接：https://ieeexplore.ieee.org/document/10672532介绍：本研究针对地震勘探中初至拾取(First Break Picking)的准确性和鲁棒性问题，提出了一种将动态蛇形卷积（DSConv）引入U-Net的动态蛇形U-Net（DSU-Net）模型。该模型通过提取浅层特征中的水平连续纹理，有效解决了水平不连续性和首波跳跃问题，在多项实验中表现出领先的精度和鲁棒性。动态蛇形卷积的使用，大幅提升了模型对首波跳跃的检测能力及水平连续性的保持效果。![]()
2. Casdenet: Cascade Automatic Road Detection Network Based on Dynamic Snake Convolution and Edge Branch
链接：https://ieeexplore.ieee.org/document/10642645介绍：本研究聚焦于高分辨率遥感影像中自动道路检测的难题，针对树木、阴影遮挡和道路边缘不平滑等问题提出了基于动态蛇形卷积（DSConv）和边缘分支的级联检测方法CasDeNet。CasDeNet利用DSConv进行低层特征提取，捕捉道路复杂形状，同时通过边缘分支的道路边缘信息提升边缘平滑度。实验表明，CasDeNet在Ottawa数据集上实现了比其他先进方法更连贯和准确的道路提取效果。![]()
3. Road Extraction Based on Deep Learning Using Sdgsat-1 Nighttime Light Data链接：https://ieeexplore.ieee.org/document/10640732介绍：本研究针对传统光学遥感影像中因建筑阴影和光谱相似性导致的道路提取精度下降问题，探讨了SDGSAT-1提供的高分辨率夜光数据（NTL）在道路提取中的潜力。研究提出结合ResUnet和动态蛇形卷积（DSC）模块的深度学习框架，实验结果表明该方法能够有效提取道路，并支持道路数据集的更新。动态蛇形卷积的应用显著增强了模型对复杂道路特征的捕捉能力，提高了道路提取的准确性。![]()
4. StripUnet: A Method for Dense Road Extraction from Remote Sensing Images链接：https://ieeexplore.ieee.org/document/10508493期刊：IEEE Transactions on Intelligent Vehicles
介绍：本研究针对遥感影像中道路信息比例低、背景复杂导致道路网络提取完整性和连通性受损的问题，提出了用于密集道路提取的方法StripUnet。模型通过SALM聚焦条状道路，MSFF提取全局与上下文信息，SFEM强化条状特征，MSSD结合动态蛇形卷积提升道路重构能力。动态蛇形卷积在MSSD中的应用显著增强了道路结构的重构效果。![]()
5. LCMorph: Exploiting Frequency Cues and Morphological Perception for Low-Contrast Road Extraction in Remote Sensing Images链接：https://www.mdpi.com/2072-4292/17/2/257介绍：本研究针对遥感影像中道路颜色与背景相似及传统卷积矩形感受野无法适应道路细长和弯曲形态的问题，提出了一种名为LCMorph的端到端低对比度道路提取网络。模型在编码器中引入频率感知模块（FAM）提取频率特征，以区分低对比度道路与背景；在解码器中采用形态感知模块（MPBlock）利用蛇形卷积适应道路的细长和弯曲特性，从而实现精准提取。![]()
蛇年祝福
蛇形卷岁图
金蛇盘岁启新章，曲影游光卷积藏
梅萼先衔三寸瑞，云纹暗绣九回祥
千维锦绣行中辨，万象玲珑隙里彰
灵躯婉转筛福运，慧目逡巡避祸殃
但使玄机随律动，春风岁岁报安康
公众号升级版AI回复功能已启用，如需加群、投稿或合作，请微信联系小助手（备注：咨询/投稿/合作/加群，加群需姓名/昵称、单位和研究方向）。我们目前有交流群、作者群(已发表成果的作者)、竞赛群和语义分割、变化检测等具体方向的交流群，详见：交流群说明公众号欢迎优秀作者投稿！投稿说明请查看：投稿说明
![]()
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
