RS DL
论文介绍
题目：Co-Training Transformer for Remote Sensing Image Classification, Segmentation, and Detection
期刊：IEEE Transactions on Geoscience and Remote Sensing
论文：https://ieeexplore.ieee.org/document/10401246
代码：https://github.com/Li-Qingyun/RSCoTr
创新点
多任务学习框架：文章提出了一个统一的 Transformer 模型，能够同时处理遥感影像的场景分类、语义分割和目标检测任务。 共享编码器：通过共享的多尺度特征提取编码器，支持多任务学习，同时减少计算资源消耗。 联合训练方法：提出了一个灵活的协同训练（Co-training）流程，使得可以使用单一任务数据集进行联合训练，适应多种需求。
数据
RESISC：用于场景分类，包含45类共31,500张图像，分辨率从30米到2米不等。 Potsdam：用于语义分割，覆盖Potsdam城市区域，包含6个类别，图像分辨率为0.5米。 DIOR：用于目标检测，包含23,463张图像，标注了20类物体，分辨率为0.5至30米不等。
方法
1. 模型架构
RSCoTr模型包含一个共享的编码器和三个任务特定的解码器
共享编码器：基于Swin Transformer设计，用于多尺度特征提取。该编码器将输入影像的特征分解为多个尺度，满足各个任务对特征层级的不同需求（如分类需要全局特征，分割和检测则需要较高分辨率的局部特征）。 任务特定解码器：
分类解码器：负责场景分类，通过提取全局特征生成图像级别的分类结果。
分割解码器：用于语义分割任务，生成像素级的分类结果。通过一组可学习的查询，逐像素分类，将特征映射为像素分类图。
检测解码器：用于目标检测，生成目标的类别和位置。每个目标由一组查询表示，包括内容和位置，逐层优化以提升定位准确性。
2. 协同训练流程
为了有效训练RSCoTr，作者提出了一种新的协同训练（Co-training）方法，能够在单任务数据集上进行多任务学习：
批次任务分配：每次训练中使用只包含单一任务的批次，这样可以分别利用任务特定的解码器，避免不同任务之间的不必要干扰。 任务选择策略：设计了多种任务选择策略，以平衡不同任务的训练频率和顺序，使模型能够在多任务之间均衡表现，或根据需求优先优化某个任务。
Round Robin（轮转策略）：按照固定顺序轮流训练各个任务，保持平衡且稳定的训练过程。
Repeated Sequence（重复序列策略）：按照预设顺序重复训练任务，可以设定某个任务的训练频率更高，适合优先优化某个特定任务。
Uniform Random（均匀随机策略）：随机选择任务，每个任务的频率相等，避免对特定任务的优先偏向。
Weighted Random（加权随机策略）：为每个任务设置不同的权重，通过随机顺序训练任务，但任务频率可控。
损失函数设计：每个任务的损失函数可以单独定制，并通过调整损失权重，使模型在多任务上达到最佳性能。
结果与分析
实验结果表明，RSCoTr在多任务学习中具有出色的泛化能力和数据利用效率，能够有效处理分类、分割和检测任务，并在数据不平衡和任务多样性方面展现出良好的鲁棒性。
不同学习策略精度
同一样本多任务可视化
RESISC 分类数据集
Potsdam 语义分割数据集
DIOR 目标检测数据集
更多图表分析可见原文
公众号欢迎优秀作者投稿！可加入优秀论文作者群：欢迎加入AI遥感优秀论文作者群！
问题及讨论可直接在文章下方留言
ECCV24 | KAN 和 U-Net结合用于遥感农田分割, KAN You See It?
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
