引用格式
引用格式：李天俊, 杨信廷, 陈晓, 胡焕, 周子洁, 李文勇. 基于生成对抗网络和视觉-语义对齐的零样本害虫识别方法[J]. 智慧农业(中英文), 2024, 6(2): 72-84.
DOI：10.12133/j.smartag.SA202312014
LI Tianjun, YANG Xinting, CHEN Xiao, HU Huan, ZHOU Zijie, LI Wenyong. Zero-Shot Pest Identification Based on Generative Adversarial Networks and Visual-Semantic Alignment[J]. Smart Agriculture, 2024, 6(2): 72-84.
DOI：10.12133/j.smartag.SA202312014
官网全文免费阅读
知网阅读
基于生成对抗网络和视觉-语义对齐
的零样本害虫识别方法
李天俊1，2， 杨信廷2， 陈晓1，2， 胡焕1，2， 周子洁2，3， 李文勇2*
（1.上海海洋大学 信息学院，上海 201306，中国；2.北京市农林科学院信息技术研究中心，北京 100097，中国；
3.吉林农业大学 信息技术学院，吉林长春 130118，中国）
摘要：
［目的/意义］害虫的精准识别对农作物虫害有效防治具有重大意义。然而，当前的害虫图像识别模型都是针对闭集数据构建的模型，难以对训练集中没有出现过的害虫种类（不可见害虫）进行推理，导致在实际应用过程中遇见不可见类别昆虫时误判现象尤为严重。
［方法］针对这一问题，提出了一种适用零样本学习（Zero-Shot Learning, ZSL）和广义零样本学习 （Generalized Zero-Shot Learning, GZSL）范式的害虫图像识别方法VSA-WGAN，可以实现对可见（训练集中包含的类别）与不可见害虫种类的辨识。该方法基于生成对抗网络（Generative Adversarial Network, GAN）生成伪视觉特征，将零样本害虫识别问题转化为传统监督学习任务，且通过引入对比学习来优化生成器的生成质量，添加视觉-语义对齐模块进一步约束生成器，使其能生成更具判别性的特征。
［结果与讨论］在自建的一个适用于零样本学习研究的害虫数据集和几个公开数据集对提出方法进行了评估。其中，在多个公开数据上取得了目前最优结果，相比之前方法最大提升达到2.8%；在自建20类害虫数据集上取得了零样本设置下77.4%的识别精度和广义零样本设置下78.3%的调和精度，相比之前方法分别提升了2.1%和1.2%。
［结论］所提方法能有效地将害虫的视觉特征泛化到不可见类，实现害虫的零样本识别，有助于提升害虫识别模型的泛化能力，为农作物新虫害的发现与防治提供帮助。
关键词： 害虫识别；语义知识；图像特征；生成对抗网络；对比学习；广义零样本学习
文章图片
图1 20类自建害虫数据集
Fig. 1 The proposed pest dataset of 20 classes
图2 害虫语义标注
Fig. 2 Pest semantic annotation
图3 20类害虫语义矩阵
Fig. 3 Pest semantic matrix of 20 classes
图4 VSA-WGAN模型结构示意图
Fig. 4 Illustration of the architecture of VSA-WGAN
图5 害虫对比学习模块
Fig 5 Contrasive learning module of pest
图6 害虫视觉-语义对齐模块
Fig. 6 Pest visual-semantic alignment module
图7 VSA-WGAN在公共数据集上为不可见类合成视觉特征的T-SNE可视化结果
Fig. 7 T-SNE visualization of VSA-WGAN synthesizing visual features for unseen classes on public datasets
图8 VSA-WGAN在害虫数据集上的超参数分析
Fig.8 Hyper-parameters analysis of VSA-WGAN on the proposed pest dataset
图8 VSA-WGAN在害虫数据集上的超参数分析
Fig.8 Hyper-parameters analysis of VSA-WGAN on the proposed pest dataset
图10 VSA-WGAN在害虫数据集上的小样本表现
Fig.10 Few-shot learning performance of VSA-WGAN on the proposed pest dataset
作者简介
李文勇 副研究员
来源：《智慧农业（中英文）》2024年第2期
转载请联系编辑部授权
推荐阅读
智慧农业微信交流服务群
发布征集
欢迎在我公众号发布科研团队介绍、创新科研成果及相关活动等信息。
