RS DL
论文介绍
题目：PointSAM: Pointly-Supervised Segment Anything Model for Remote Sensing Images
期刊：IEEE Transactions on Geoscience and Remote Sensing
论文：https://ieeexplore.ieee.org/document/10839471
代码：https://github.com/Lans1ng/PointSAM
创新点
Prototype-based Regularization (PBR): 通过非参数聚类和匈牙利匹配算法对原型进行约束，避免模型学习错误模式，提高泛化能力。 Negative Prompt Calibration (NPC): 自适应调整训练中的负提示，通过利用重叠实例的正提示作为负提示，改进密集场景中的分割精度。 Point-based Fine-tuning for SAM: 第一次探索用点标注对SAM进行微调以适应遥感图像（RSI），显著降低了标注成本。 PointSAM作为有向框检测的生成器: 在旋转目标检测等任务中表现出色，验证了其在弱监督条件下的潜在应用价值。
数据
NWPU VHR-10: 包含10类地理对象检测的遥感数据集，使用520张正样本图像训练，130张图像测试。 WHU: 包含新西兰建筑物的遥感图像数据集，使用4736张图像训练，1036张图像测试。 HRSID: 用于高分辨率SAR船只检测，使用459张近岸场景图像训练，250张测试。
方法
从目标数据集中提取特征，通过聚类生成离线的原型。 使用教师-学生网络架构在强弱数据增强的图像上进行训练，动态更新预测特征并对其进行对齐。
原型约束（Prototype-based Regularization, PBR）
目标：通过对实例级特征进行约束，减少自训练过程中因伪标签错误引入的偏差。
方法：
在训练开始前，从目标数据中提取实例特征，并对这些特征进行聚类生成目标原型。
在训练过程中，教师网络从图像中动态提取实例特征，并存储到内存池中，随后通过聚类生成预测原型。
目标原型与预测原型通过匈牙利匹配进行对齐，确保特征分布的一致性。
负提示校正（Negative Prompt Calibration, NPC）
挑战：在遥感图像中，点标注容易引起语义歧义（例如多个目标被错误地分为一个实例）。 方法：
动态调整负提示位置，以便更准确地划分对象边界。 在训练过程中，利用交集区域较大的实例，将它们的正提示用作目标实例的负提示，从而优化分割结果。
自训练策略
使用强/弱数据增强生成两种视图，分别输入到教师和学生网络中。 教师网络生成的伪标签用于监督学生网络的学习，伪标签通过NPC和PBR优化。
提示生成与微调
在训练和测试阶段，从目标数据的实例中生成正负提示。 微调过程中，冻结SAM的部分结构，通过轻量化的LoRA模块进行调整，从而减少计算开销并提升适应能力。
损失设计
结果与分析
更多图表分析可见原文
公众号欢迎优秀作者投稿！投稿说明请查看：投稿说明
2024-09-05
2024-08-17
2024-04-24
2025-01-24
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
