RS DL
论文介绍
题目：Refining Pseudo Labeling via Multi-Granularity Confidence Alignment for Unsupervised Cross Domain Object Detection
期刊：IEEE Transactions on Image Processing
论文：DOI: 10.1109/TIP.2024.3522807
注：本篇由论文原作者审阅
创新点
一种新的通用无监督跨域目标检测框架：本文提出采用多粒度置信度对齐精炼伪标签以提升无监督跨域目标检测性能，以及一种通用的无监督跨域目标检测框架（Multi-Granularity Confidence Alignment Mean Teacher，MGCAMT）。无需目标域标注，显著提升检测器泛化能力，极大促进目标检测的现实应用。 多粒度置信度对齐方法：本文提出类别级、实例级和图像级的多粒度置信度对齐方法，使分类置信度分别与类别准确性、实例定位质量和图像空间布局对齐，由分类置信度筛选出类别正确、位置精确和完备的伪标签，促进教师-学生相互学习。不同粒度的置信度对齐方法以协同学习的方式相互促进，共同提升检测器最终性能。 优异的跨域表现：MGCAMT在4种广泛使用的跨域场景中（Cityscapes到Foggy Cityscapes、Cityscapes到BDD100K、KITTI到Cityscapes、Sim10K到Cityscapes）取得了优异的性能，超越了包括基础模型在内的其他现有方法。
背景
图 1 多粒度置信度对齐精炼伪标签
数据
Cityscapes：包含2,975张训练图片和500张验证图片，涉及城市街景中的8个类别。 Foggy Cityscapes：从Cityscapes生成，模拟不同雾浓度场景，用于测试天气条件下的域适应。 BDD100K：包含36,278张训练图片和5,258张验证图片，设置为白天场景，与Cityscapes共享7个类别。 KITTI：用于自动驾驶，包含7,481张标注图片，仅针对车辆类别的实验。 Sim10K：由Grand Theft Auto游戏引擎渲染的合成数据集，包含10,000张图片，仅标注了车辆类别。
方法
本文提一种通用的无监督跨域目标检测框架（Multi-Granularity Confidence Alignment Mean Teacher，MGCAMT）。该框架使分类置信度分别与类别准确性、实例定位质量和图像空间布局对齐，由分类置信度筛选出类别正确、位置精确和完备的伪标签，促进教师-学生相互学习。不同粒度的置信度对齐方法以协同学习的方式相互促进，共同提升检测器性能。
图 4 多粒度置信度对齐均值教师（MGCAMT）
图像级聚焦置信度对齐（Focusing Confidence Alignment，FCA）
置信度误聚焦将导致不完备的伪标签，当采用基于anchor的单阶段检测器（RetinaNet）作为基础检测器时，出现伪标签负反馈现象。本文通过分析发现，标签分配（Label Assignment）加剧了置信度误聚焦的影响。因此，本文采用了一种不使用标签分配的伪标签学习方式，即直接使用Mean Teacher网络的输出进行监督学习，不需要进行标签分配。这样，不仅避免了前景-背景类别不平衡，同时保留了来自教师检测器的丰富上下文信息，使检测器能够实现对图像空间布局的均衡感知。
其中等式右侧第一项为源域检测损失函数，第二项为目标域伪标签学习损失函数，第三项为EDL学习的正则化损失。
结果与分析
与SOTA的比较。MGCAMT在4种广泛使用的跨域场景中（Cityscapes到Foggy Cityscapes、Cityscapes到BDD100K、KITTI到Cityscapes、Sim10K到Cityscapes）取得了优异的性能，超越了包括基础模型在内的其他现有方法。其中，在Cityscapes到BDD100K和KITTI到Cityscapes上，分别达到了62.2和67.5mAP。
表 1 Cityscapes迁移到Foggy Cityscapes，VGG 16作为骨干网
表 2 Cityscapes迁移到BDD100K，VGG 16作为骨干网
表 3 KITTI迁移到Cityscapes，VGG 16作为骨干网
表 4 Sim10K迁移到Cityscapes，VGG 16作为骨干网
本文可视化检测结果如图5所示，图上、中、下分别展示了类别级、实例级和图像级置信度对齐的效果。从图中可以看出，高分类得分对应着准确的类别和实例定位，同时对整张图像的空间布局有均衡的感知。
EDL超参数的影响。
当超参数
表 6 EDL超参数敏感性实验
计算复杂性
图 5 检测结果可视化
图 6 热力图可视化
图7 误差分析可视化
更多图表分析、理论推导可见原文
公众号欢迎优秀作者投稿！投稿说明请查看：投稿说明
2024-12-29
2024-11-06
2025-01-08
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
