![]()
![]()
研究团队
张洪广，刘錞，王建栋，马琳茹，杨林：军事科学院系统工程研究院
Piotr Koniusz：澳大利亚国立大学
Philip H. S. Torr：英国牛津大学
文章下载
Hongguang ZHANG, Chun LIU, Jiandong WANG, Linru MA, Piotr KONIUSZ, Philip H. S. TORR & Lin YANG. Saliency-guided Meta-Hallucinator for Few-shot Learning. Sci China Inf Sci, 2024, doi: 10.1007/s11432-023-4113-1
![]()
在深度学习领域，如何从有限的样本中学习新的对象概念一直是一个巨大的挑战。这项研究的意义在于提出了一种新颖的方法，通过显著性检测和特征空间的样本生成，显著提升了小样本学习模型的性能，这对于计算机视觉和机器学习领域具有重要的理论和应用价值。本研究聚焦于小样本学习问题，特别是如何通过增强模型的泛化能力来提高对新概念的学习效率。研究者们提出了一种基于显著性的元幻觉策略，通过显著性检测器分离图像的前景和背景，并在特征空间中混合这些特征来生成新的样本。(1) 显著性引导的元学习：首次提出利用显著性检测来指导小样本学习中的样本生成。(2) 双流数据分割混合网络结构：采用双流网络直接在特征空间中混合前景和背景特征样本，生成高质量的幻觉特征样本。(3) 多样数据混合策略：提出了多种新颖的混合策略，提高了生成样本的质量和多样性。 (4) 元数据生成控制器：引入了控制器来决定哪些前景特征样本参与混合，以确保生成的样本具有实际意义。![]()
图1：显著性引导的元幻觉流程图，展示了从显著性检测到特征混合的全过程
本文所提出的网络在公开可用的小样本图像分类和异常检测基准测试中取得了最先进的结果，超越了现有的样本混合策略，如流形混合（Manifold Mixup）。使用了包括mini-ImageNet、tiered-ImageNet、CUB-200-2011、Flower102、Food-101和CIFAR-10等在内的多个数据集进行实验验证。在5-way 1-shot和5-shot协议上，与现有技术相比，显著提升了分类准确率。![]()
图2：实验结果对比图，展示了所提出方法与现有技术在小样本学习任务上的性能对比
本研究提出的基于显著性引导的元幻觉策略，为小样本学习提供了一种有效的解决方案，通过显著性检测和特征空间的创新混合，显著提升了模型对新概念的学习能力，为计算机视觉领域的进一步研究和应用开辟了新的道路。![]()
