点击上方 “小白学视觉 ”，选择加" 星标 "或“ 置顶 ”
重磅干货，第一时间送达 Exploiting Inter-Sample Affinity for Knowability-Aware Universal Domain Adaptation 利用样本间亲和性实现可知晓性感知的通用领域自适应 Yifan Wang Lin Zhang Ran Song Hongliang Li Paul L. Rosin Wei Zhang 通用领域自适应的目标是在没有任何标签集先验知识的情况下，将源领域中常见类别的知识转移到目标领域，这要求在目标领域中区分已知样本和未知样本。最近的方法通常侧重于将目标样本归类为源类别之一，而不是区分已知和未知样本，这忽略了已知和未知样本之间的样本间亲和性，可能导致次优性能。针对这个问题，我们提出了一个新的UniDA框架，利用这种样本间亲和性。具体来说，我们引入了一个基于可知晓性的标记方案，可以分为两个步骤：(1) 基于可知晓性的已知和未知样本的引导检测，利用样本邻域的内在结构，通过亲和力矩阵的第一奇异向量获得每个目标样本的可知晓性。(2) 基于邻域一致性的标签细化，根据预测标签的邻域一致性重新标记目标样本。然后，基于这两个步骤的辅助损失用于减少未知和已知目标样本之间的样本间亲和性。最后，我们在四个公共数据集上的实验表明，我们的方法显著优于现有的最先进方法。 关键词：领域自适应 · 表示学习 · 迁移学习 · 分布外检测 1 引言 无监督领域自适应（UDA）的目标是将从标记的源领域学到的知识转移到未标记的目标领域，以便可以正确测量后者的样本间亲和性。传统UDA的假设，即闭集DA，是源领域与目标领域共享相同的标签集，这在现实世界的应用场景中大大限制了其应用。因此，已经研究了对这个假设的几种放松。部分集DA（PDA）假设目标领域与源领域不完全相同，但是源领域的一个子集。相反，开放集DA（ODA）假设目标领域包含源领域未知的类别，即源领域是目标领域的一个子集。开放-部分集DA（OPDA）在两个领域中引入了私有类别，其中目标领域中的私有类别是未知的，并假设两个领域共享的公共类别已经被识别。通用DA（UniDA）在最一般的情况下处理无监督DA，即在领域间不需要任何关于标签集关系的先验知识。 一种流行的UniDA方法是使用一个分类器，为每个样本产生一个置信度，以确定它是否属于在源领域中看到的特定已知类别或未知类别。这些方法大多依赖于分类器的后验概率，可能在已知样本上获得令人满意的性能。然而，一旦识别出已知样本，简单地忽略未知样本很容易导致未知样本的次优分类性能，因为这些样本仍然包含可以利用的有意义信息，以改进学习到的表示。此外，基于分类器的方法可能会为已知类别生成过度自信的预测，导致对已知样本的偏见和未能识别未知样本。 为了解决这个问题，一些最近的方法旨在通过增加已知类别内的样本间亲和性来提高分类的可靠性。例如，斋藤等人提出了通过熵优化将每个目标样本分配给目标邻居或源类别的原型。李等人用基于聚类的框架替换了基于分类器的框架，以增加已知类别内的样本间亲和性。它利用邻居的内在结构直接匹配源域和目标域中的聚类，以发现公共和私有类别。因此，它们都增加了已知类别中的样本间亲和性。然而，由于未知样本之间的样本间亲和性可能大于未知样本和已知样本之间的亲和性，因为它们的区分性特征较少，这可能导致未知样本与源域原型的不对齐或未知聚类与源域聚类的不匹配。
为了缓解这些问题，我们提出了一个新的UniDA框架，利用未知和已知样本之间的样本间亲和性。我们提出了一个基于可知晓性的标记方案，通过可知晓性引导的检测和基于预测标签邻域一致性的样本标签细化来区分已知和未知样本。具体来说，该方案可以分为两个步骤：1）基于可知晓性的已知和未知样本的引导检测，我们基于每个目标样本的k最近邻分解亲和力矩阵，以获得作为局部邻域结构的稳健表示的第一奇异向量，然后计算每个目标样本的每个域的第一奇异向量之间的相似性以获得可知晓性；2）基于邻域一致性的标签细化以重新标记目标样本，每个目标样本通过基于其邻居的预测的可信度分数进行标记。然后，通过自动阈值方案为目标样本标记为已知、未知或不确定，以即时产生可信度分数的阈值，避免了像许多现有工作那样手动设置阈值。 接下来，我们设计了三种损失，基于上述方案对目标样本施加限制。这个限制的目的是1）减少目标领域中未知和已知样本之间的样本间亲和性2）增加目标领域中已知样本和通过k-NN算法找到的一些特定样本之间的样本间亲和性，这些目标和源样本应该属于同一个已知类别。 我们提出了一种新的方法来利用UniDA中未知和已知样本之间的样本间亲和性。 我们提出了基于可知晓性的已知和未知样本的引导检测和基于每个样本的邻域一致性的标签细化。 我们在四个广泛使用的UniDA基准测试上评估了我们的方法，即Office-31、OfficeHome、VisDA和DomainNet，结果表明我们的方法大大优于现有的UniDA方法。 2 相关工作 在这一部分，我们简要回顾了最近的无监督领域自适应（UDA）方法。根据对不同领域标签集关系的假设，我们将这些方法分为三类，即PDA、ODA和UniDA。我们还简要回顾了一个相关问题，即分布外检测，因为它与我们的工作密切相关。 2.1 部分集领域自适应 PDA要求源标签集大于并包含目标标签集。已经开发了许多PDA方法。例如，Cao等人提出了选择性对抗网络（SAN），该网络同时避免了由私有源类别引起的负迁移，并促进了两个领域中公共类别之间的正迁移，以细粒度的方式对样本分布进行对齐。Zhang等人提出了一种方法，通过从领域鉴别器中识别与领域相似性相关的共同样本，并基于这些相似性进行加权操作，以进行对抗性训练。Cao等人提出了一种渐进加权方案来估计源样本的可迁移性。Liang等人引入了平衡对抗对齐和自适应不确定性抑制，以避免负迁移和不确定性传播。 2.2 开放集领域自适应 ODA首先由Panareda Busto和Gall提出，假设源和目标领域都有私有和公共类别，并且公共类别的标签作为先验知识是已知的。他们引入了Assign-and-Transform-Iteratively（ATI）算法来解决这一具有挑战性的问题。最近，ODA最受欢迎的策略之一是从领域鉴别器中获取知识，以识别跨域的共同样本。Saito等人（2018b）提出了一个对抗性学习框架，训练一个分类器以获得源和目标样本之间的边界，而特征生成器被训练以使目标样本远离边界。Bucci等人利用自监督学习技术实现已知/未知分离和领域对齐。 2.3 通用领域自适应 UniDA首先由You等人提出，是无监督DA中最一般设置的主题，涉及两个领域之间对象类别差异的先验知识。You等人还提出了一个通用适应网络（UAN），以基于不确定性和领域相似性评估样本的可迁移性，以解决UniDA问题。然而，不确定性和领域相似性测量有时是不可靠的，也不足以区分。因此，Fu等人提出了另一种可迁移性度量，称为校准多重不确定性（CMU），通过混合不确定性准确量化目标样本对公共类别的倾向。李等人引入了领域共识聚类（DCC），利用领域共识知识发现样本中的区分性聚类，这区分了未知类别和公共类别。最新的工作OVANet，由Saito等人提出，使用标记的源样本训练每个类的一对多分类器，并将开放集分类器适应到目标领域。 2.4 分布外检测 分布外（OOD）检测的目标是在推理过程中检测OOD样本，这对UniDA问题检测未知样本具有启发性。Hendrycks和Gimpel首先提出了一种使用分类置信度检测OOD样本的基线方法。最近，一些方法以事后方式构建了先进的检测器。例如，Lee等人利用测试和训练样本特征之间的马氏距离来获得与最近类条件分布相关的置信度分数。然而，这些方法需要大量标记样本进行训练。为了更好地利用未标记数据进行OOD检测，Hendrycks等人强制模型在纯未标记OOD数据上产生低置信度输出。其他一些工作利用纯未标记数据上的自监督学习来提高性能。例如，Sehwag等人结合对比学习和马氏距离进行OOD检测。还存在一些使用纯未标记数据上的深度生成模型的工作。然而，所有这些方法都要求未标记数据必须是纯净的或OOD的，这在现实应用中很难满足。最近，一些方法考虑了标记和未标记数据之间的类别分布不匹配，其中未标记数据中的不匹配样本可以被视为OOD样本。例如，Chen等人使用置信度阈值过滤掉未标记数据中的OOD样本，并仅使用剩余数据进行训练。Yu等人提出了一个联合优化框架，同时对识别样本进行分类并过滤掉OOD样本。Guo等人采用双层优化来削弱OOD样本的权重。但这些方法都是为分类识别样本而开发的，在推理过程中没有涉及OOD样本。Yu和Aizawa尝试利用混合未标记数据进行OOD检测，这鼓励两个分类器在混合未标记数据上最大程度地不一致。然而，由于每个未标记样本都被平等对待，模型仍然需要大量标记样本来区分识别和OOD样本。 3 方法 在本节中，我们详细阐述了所提出的可知晓性感知UniDA框架的主要组成部分，该框架充分利用了如引言中所述的样本间亲和性。假设我们有标记的源样本集合
3.1 总体工作流程 如图2所示，我们首先通过特征提取器 其中 3.2 基于可知晓性的标记方案 在本节中，我们介绍了基于可知晓性的标记方案（KLS），它由两个步骤组成，根据样本间亲和性探索目标样本的标签。 3.2.1 基于可知晓性的已知/未知样本的引导检测 为了识别已知和未知样本，我们探索了由源和目标样本组成的邻域的内在结构的相似性。假设已知目标样本与源样本共享相似的语义，来自目标域的已知样本的邻居分布可能与来自源域的已知样本的分布相似。为此，我们基于两个域搜索的邻居之间的内在结构的一致性来制定基于可知晓性的引导检测。为了捕捉邻居的内在结构，我们提出基于从两个域分别搜索的k最近邻来分解亲和矩阵，以获得第一奇异向量，这些向量强有力地表示了邻居的内在结构。事实上，第一奇异向量已经被证明用于选择类的代表。它还用于获得表示与所有类别的亲和矩阵的特征向量的对齐程度，使用表示和亲和矩阵的特征向量之间的内积值的平方来检测可信和不可信的实例。具体来说，给定目标样本 和 接下来，我们通过SVD分解计算 其中
我们可以观察到 3.2.2 基于邻域一致性的标签细化 由于已知目标样本的分布可能由于领域偏差而与源样本的分布相比不够区分性，我们提出了一种基于邻居预测标签一致性的标签细化方法。在这个阶段，我们进一步细化了 其中 3.3 训练目标 一旦我们从上述两个步骤中得出已知和未知样本，我们提出了辅助损失，以减少未知和已知样本之间的样本间亲和性，并增加已知类别内的亲和性。具体来说，对于一个未知样本，我们希望将所有已知类别的样本从它推开，以减少未知和已知样本之间的样本间亲和性。因此，我们为未知样本设计了目标域损失 由于属于同一对象类别的源样本和目标样本之间存在差异，由于领域差距，它们之间的样本间亲和性不能像源域中属于同一对象类别的样本之间那样高。因此，为了增加目标域中已知类别内的样本间亲和性，我们通过设计目标域损失 此外，由于不确定样本很难被区分为已知或未知，因此我们应用自监督学习来最小化 3.3.2 基于样本间亲和性的源域损失 对于源域中的样本 其中 norm 表示 L1 归一化， 3.4 两个领域的总体损失 总体而言，我们使用四个损失和一个超参数 值得一提的是，与许多现有的UniDA方法不同，我们的方法中只有一个超参数。 4 实验结果 我们在几个基准测试上进行了实验，如Office31、OfficeHome、VisDA和DomainNet。在本节中，我们首先介绍我们的实验设置，包括数据集、评估协议和训练细节。然后，我们将我们的方法与一组最先进的（SOTA）UniDA方法进行比较。我们还进行了广泛的消融研究，以证明所提出方法的每个组件的有效性。所有实验都在配备PyTorch 1.7.1的单个RTX2080Ti 11GB GPU上实现。 4.1 实验设置 4.1.1 数据集和评估协议 我们在四个数据集上进行实验。Office-31由来自三个领域的4652个图像组成：DSLR（D）、Amazon（A）和Webcam（W）。OfficeHome是一个更具挑战性的数据集，由65个类别的15,500个图像组成。它由4个领域组成：艺术图像（Ar）、剪贴艺术图像（CI）、产品图像（Pr）和现实世界图像（Rw）。VisDA是一个大规模数据集，源域包含15,000个合成图像，目标域由来自现实世界的5000个图像组成。DomainNet是一个更大的DA数据集，包含约600万图像。在本文中，我们使用与最近的UniDA方法一致的H分数。H分数，由Fu等人提出，是准确率在公共类别 4.1.2 训练细节 我们使用在ImageNet上预训练的ResNet-50骨干网络，并使用Nesterov动量SGD优化模型，动量为0.9，权重衰减为5 × 10^-4。所有数据集的批量大小设置为36。新层的初始学习率设置为0.01，骨干层为0.001。学习率随着逆学习率衰减调度而衰减。更新系数 α 设置为0.9。对于不同的数据集，检索的邻居数量设置不同。对于Office-31和OfficeHome，检索的邻居数量都设置为10。对于VisDA和DomainNet，我们分别将它们设置为100。τ
4.2 与SOTA方法的比较 4.2.1 基线 我们在四个数据集上，在相同设置下将我们的方法与几种SOTA方法进行了比较，如UAN、CMU和DCC。我们旨在展示基于可知晓性的标记方案（KLS）对UniDA是有效的，它使用分类器产生每个样本的置信度，以确定它是否属于未知类别。我们还与OVANet和DANCE进行了比较，以展示减少未知样本和已知样本之间的样本间亲和性的重要性。
4.2.2 主要数据集上的结果 表1和表2分别列出了Office-31和OfficeHome上的结果。在Office-31上，我们的方法在H分数方面平均比SOTA方法提高了2.0%。对于更具挑战性的数据集OfficeHome，它包含比常见类别更多的私有类别，我们的方法在H分数方面也取得了2.8%的显著改进。我们的方法还在VisDA和DomainNet上实现了SOTA性能，如表3所示。总的来说，根据定量比较的结果，我们的方法在每个数据集和大多数子任务中都实现了SOTA性能，这证明了我们方法的主要思想，即减少未知样本和已知样本之间的样本间亲和性，是有效的。
4.3 消融研究 在本节中，我们对几个重要问题进行了具体分析，并进行了消融研究，以了解我们方法的行为。 拒绝得分分布的定量比较。 为了展示在拒绝得分分布上的改进，即在第3.1节中介绍的将未知样本分类为未知类别的信心，我们在Office-31(A2D)上进行了实验。首先，我们在图5a中绘制了目标域中所有样本的拒绝得分的分布。然后，我们将该图与仅在源域上训练的分布进行了比较，如图5b所示。我们可以观察到，我们方法的完整版本更好地区分了已知样本和未知样本。此外，在图5c中，我们展示了OVANet产生的相应图进行比较。值得注意的是，我们的方法在区分已知样本和未知样本方面比OVANet表现更好。然而，从图5中可以看出，负迁移也发生了，对应于蓝色和绿色条形图之间的重叠区域。这种重叠表明已知样本被错误地分类为未知样本，或者反之亦然。领域差距是观察到的负迁移的主要原因，它阻碍了已知和未知样本的准确分类。
检测完全新的未知样本的能力。 为了进一步展示我们的模型检测训练数据集中未包含的完全新的未知样本的能力，我们使用完全新的测试数据集进行实验，并在表4中显示了结果。具体来说，模型在Office-31上训练，并在OfficeHome的“Art”和“Clipart”子集上进行测试。这两个子集都包含不属于任何已知类别的样本。可以看出，我们的方法在检测完全新的未知样本方面表现良好，与最近的基线OVANet相比，展示了更优越的性能。
可知晓性引导检测的合理性。 为了证明可知晓性引导检测的合理性，我们在Office-31 (A2D)上可视化了样本的可知晓性分布。如图6所示，已知样本和未知样本的可知晓性分布几乎没有重叠，这表明未知样本可以通过可知晓性引导检测可靠地区分出已知样本。我们还对Office-31上的子任务A2W和D2W进行了实验，以监控训练过程中可知晓性得分的变化，并在图7中显示了结果。我们可以观察到，已知样本的平均可知晓性得分在整个训练过程中持续增加。这表明目标样本的固有分布正逐步变得与同一类别的源样本的分布越来越相似。此外，增加的相似性还表明源类别和已知目标类别之间的样本间亲和性变得更高。
邻居数量的影响。 我们进行了实验，探讨了k值在k最近邻计算中的不同值的影响。如图5所示，每个数据集都有一个与源域大小相关的最优k值。当k大于最优值时，性能趋于下降。虽然适度增加k值可以增强第一奇异向量的可靠性，但将k设置为较大值会导致邻域中的噪声显著增加，这受到两个领域中每个类别的大小的影响。通过t-SNE可视化的定性比较。 然后，我们使用t-SNE可视化了在Office-31上仅使用源样本训练的模型、OVANet和所提出方法的特征提取器提取的特征。如图8所示，在适应目标域之前，存在显著的不对齐。通过OVANet和我们方法的训练适应后，特征变得更具区分性。我们观察到由我们方法产生的目标类别分离和领域对齐更好。
自动阈值方案的效果。 为了展示所提出的阈值 KLS的准确性。 我们在Office-31的所有子任务上进行了实验，记录了KLS在不同训练步骤中检测已知/未知样本的准确性。如图10所示，直方图中的每个条形图表示在特定准确性下检测已知或未知样本的步骤数。超参数 λ 的敏感性。 我们的模型中只有一个超参数 λ。为了展示 λ 在总损失中的敏感性，我们在Office-31上进行了实验。图11a显示，我们的方法在不同的 λ 值上具有高度稳定的性能。为了进一步证明每个损失函数的效果，我们将 λ 替换为 λunk、λk 和 λunc，如下所示：我们进行了实验，其中超参数 λunk、λk 和 λunc 分别设置，并在图11b–d中显示了结果。可以看出，我们的方法对超参数 λunk、λk 和 λunc 的变化不敏感。因此，我们只将它们全部设置为相同。
所提出损失的效果。 我们提供了消融研究，以调查我们UniDA框架中每个损失的效果，并在表6中显示了结果。我们可以看到，所有损失都有助于结果的改进。特别是，在三个目标域损失中，
对 比例的敏感性。 我们没有使用自动方案，而是经验性地将参数 使用Grad-CAM的可视化解释。 在本节中，我们使用可视化技术Grad-CAM可视化预测，并比较了不同方法在图13中的Grad-CAM可视化。为了验证我们方法的有效性，我们还可视化了源模型和DANCE以及OVANet对它们预测的Grad-CAM可视化。显然，我们可以观察到，我们方法的语义能力明显强于OVANet和DANCE。我们还可以注意到，我们的方法专注于更多相关区域，主要区域的特征被强调，这验证了我们方法确实在分类中的关键部分实现了改进。主要原因是我们的模型从每个部分学习区分信息，并捕获多样化的相关区域，而DANCE和OVANet通常被分散注意力，甚至专注于一些不相关区域。使用VGGNet作为骨干的性能。 表8显示了使用VGGNet而不是ResNet50作为特征提取的骨干，在Office-31上使用ODA设置的定量比较。根据结果，我们证明了我们的方法在不更改任何超参数的情况下，使用另一个骨干也是有效的。5 结论 在本文中，我们提出了一个新的框架来探索UniDA中的样本间亲和性。其核心思想是通过估计每个样本的可知晓性来减少未知样本和已知样本之间的样本间亲和性，同时增加已知样本内的亲和性。广泛的实验表明，我们的方法在四个公共数据集上的各个子任务中实现了最先进的性能。我们方法的一个局限性是它没有充分利用未知样本集中的样本间关系。因此，在未来的工作中，我们计划扩展我们的方法，利用这种关系来进一步提升UniDA设置中的性能。此外，由于所提出的方法假设源样本和目标样本在相同类别中的局部亲和性分布是相似的，我们将探索未来工作中已知类别的样本分布是异构的，并且在源域和目标域之间存在差异的场景。 声明 本文内容为论文学习收获分享，受限于知识能力，本文对原文的理解可能存在偏差，最终内容以原论文为准。本文信息旨在传播和学术交流，其内容由作者负责，不代表本号观点。文中作品文字、图片等如涉及内容、版权和其他问题，请及时与我们联系，我们将在第一时间回复并处理。 下载1：OpenCV-Contrib扩展模块中文版教程 在「小白学视觉 扩展模块中文教程 ， 即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理 等二十多章内容。在「小白学视觉 公众号后台回复：Python视觉实战项目 ， 即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别 等31个视觉实战项目，助力快速学校计算机视觉。 在「小白学视觉 公众号后台回复：OpenCV实战项目20讲 ， 即可下载含有20 个基于OpenCV 实现20个实战项目 ，实现OpenCV学习进阶。 交流群
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉 、传感器、自动驾驶、 计算摄影 、检测、分割、识别、医学影像、GAN、算法竞赛 等微信群（以后会逐渐细分）， 请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过 。添加成功后会根据研究方向邀请进入相关微信群。请勿 在群内发送广告 ，否则会请出群，谢谢理解~
