RS DL
论文介绍
题目：SAM-Assisted Remote Sensing Imagery Semantic Segmentation with Object and Boundary Constraints
期刊：IEEE Transactions on Geoscience and Remote Sensing
论文：https://ieeexplore.ieee.org/document/10636322
代码：https://github.com/sstary/SSRS
年份：2024
注：本篇由论文原作者审核
创新点
提出SGO和SGB： 文章提出了两个新概念——SAM生成的目标（SGO）和SAM生成的边界（SGB）。这些概念用于解决SAM在遥感影像语义分割中通常缺乏语义信息和边界不准确的问题，从而提高分割的精度。 新的损失函数： 目标一致性损失：该损失函数旨在增强SAM识别的目标区域内预测结果的一致性，确保模型在分割区域内的预测更加均匀。 边界保留损失：该损失函数侧重于提高分割输出中目标边界的精度，这对于遥感影像中特征的精确划分至关重要。 无需额外模块：与其他方法不同，提出的框架不需要额外添加特定模块或进行微调机制，因此具有更广泛的通用性和更容易实施的优点，可以适用于各种分割模型。
数据
本文数据集已收录于 https://github.com/rsdler/Remote-Sensing-Semantic-Segmentation-Dataset
1. ISPRS Vaihingen 数据集
分辨率：9厘米
波段：近红外、红色和绿色
类别：包含5个前景类别（如不透水表面、建筑物、低矮植被等）和1个背景类别
数据量：16幅正射影像，划分为12幅训练图像和4幅测试图像
用途：主要用于城市场景的高精度语义分割任务
2. LoveDA Urban 数据集
分辨率：30厘米
波段：红色、绿色和蓝色
类别：包含7个类别（如建筑物、道路、水体、农业用地等）
数据量：1833幅影像，分为1156幅训练图像和677幅测试图像
用途：涵盖中国多个城市的复杂城市场景，用于多类别语义分割任务。
方法
基于SAM的遥感应用：
1. 框架概述
SAM和本文方法的对比
传统语义分割和本文方法的对比
SAM生成SGO和SGB：输入遥感影像后，使用SAM自动生成SGO和SGB，其中SGO代表影像中的目标区域，SGB代表这些目标的边界信息。 损失函数设计： 目标一致性损失：该损失函数旨在提高模型在SGO内预测结果的一致性，确保同一目标区域内的像素预测更加统一。 边界保留损失：该损失函数用于增强模型对目标边界的精确识别，确保分割结果的边界更接近真实情况。 总体损失：
2. 训练与推理
模型训练：在训练过程中，模型不仅使用传统的语义分割损失，还结合了目标一致性损失和边界保留损失，这两者都基于SAM生成的SGO和SGB。通过优化这三种损失函数的组合，模型能够更好地适应遥感影像的特性。 推理阶段：在推理过程中，模型只需要使用训练好的参数进行预测，不需要再进行SGO和SGB的生成或额外计算，因此推理速度与普通的分割模型相同。
3. 实验设置
结果和精度
精度对比
可视对比
敏感性分析
消融实验
计算复杂度分析
欢迎关注CVPR 2024系列
因配置了AI回复功能，除关键词自动回复外，号内信息主要由AI大模型回复。如需资源、投稿、合作等，请直接联系小助手微信（添加请备注：咨询、投稿、合作、加群，加群需备注姓名/昵称，单位和研究方向）。
关于AI回复功能：
公众号新增AI回复功能，已接入大模型，集成查找ArXiv论文、CSDN博文等功能
问题及讨论可直接在文章下方留言
论文赏读 | CVPRW24 | SAM用于遥感影像中提取向量化的道路网络
论文赏读 | ECCV24 | 两阶段高光谱遥感图像分类(语义分割) 模型DSTC
论文赏读 | ISPRS | 语义分割2代: 将时间维度引入静态图像语义分割
论文赏读 | CM-UNet: 结合CNN和Mamba的遥感语义分割网络
汇总 | Mamba+遥感论文汇总，涉及分类、分割、变化检测、全色锐化等, 代码均已开源
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
