农业病虫害图像数据标注方法与构建建议

本文节选自：

管博伦, 张立平, 朱静波, 李闰枚, 孔娟娟, 汪焱, 董伟. 农业病虫害图像数据集构建关键问题及评价方法综述[J]. 智慧农业(中英文), 2023, 5(3): 17-34. DOI: 10.12133/j.smartag.SA202306012

GUAN Bolun, ZHANG Liping, ZHU Jingbo, LI Runmei, KONG Juanjuan, WANG Yan, DONG Wei. The Key Issues and Evaluation Methods for Constructing Agricultural Pest and Disease Image Datasets: A Review[J]. Smart Agriculture, 2023, 5(3): 17-34. DOI: 10.12133/j.smartag.SA202306012

除了图像采集的环境和方法，图像标注质量也是影响数据集质量的重要因素。图像识别的前提是要通过训练数据来告诉计算机一幅图像中真实的样本对象，再通过算法从这些大量的样本对象中提取出属于某一种类别的特征。

1.1　图像标注任务

数据标注的目的就是要将算法要识别的图像提前打上标签，计算机在这些打上标签的目标对象中提取目标特征，最终实现计算机自动识别目标对象。数据标注尚无统一的定义，Zhu等将数据标注定义为对未处理的原始数据进行加工处理转换为计算机可以识别的过程，标注对象可以是图像、视频、文本、语音等。对于图像类型的数据，常见的标注格式主要有矩形框标注、多边形框标注、描点标注和分类标注等，在农业病虫害图像识别领域中，最常用的标注格式是矩形框标注和多边形框标注。矩形框标注常用的标注工具是LabelImg，该工具操作便捷，会生成包含矩形框位置信息的XML格式文件，用户只需要拖动鼠标将待选中的目标用矩形框框出即可，如图1（a）所示，这种标注方法一般在进行分类或者检测识别时使用的较多；多边形框标注常用的标注工具是LabelMe，该工具可以标注图像和视频，可以导出VOC和COCO数据格式，用户需要将待选目标的轮廓用多边形勾勒出来，如图1（b）所示，这种标注方法一般在进行图像语义分割或者实例分割时使用较多。

图1 不同目标标注方式

Fig. 1 Different target annotation methods

1.2　图像标注流程

农业病虫害图像的标注需要较强的专业背景，目前大多以人工标注为主。在标注过程中可以将标注者分为3种不同的角色。

（1）标注员。负责具体图像的标注工作，需要具备一定的农业病虫害相关背景知识，大多数团队为了提高标注效率，多让具有农业背景的高校学生进行标注。

（2）审核员。负责对标注员已经标注好的数据进行审核和校验，对已经标注好的图像数据进行标注质量检验，分别判断其标注是否完整、标注对象与标签是否吻合，对于标注有误的图像进行修改或者打回重标，审核员需要具备较强的农业病虫害背景，能够识别辨别各种病虫害图像，因此审核员往往是农业植保领域的专家来担任。

（3）管理员。负责对原始图像以及标注后的图像进行分类管理和统计，最终形成可使用的农业病虫害图像专业数据集。

不同角色的标注工作缺一不可，他们之间的有机结合，可以在一定程度上保证图像标注质量。随着需要标注的数据不断增加，为了提高标注效率，在人工智能领域中，大多数的数据标注采用众包方式完成，流程如图2所示。

图2 农业害虫图像数据标注流程

Fig. 2 Annotation process of image data

图像数据标注流程从数据采集开始，采集的方式可以为室内实验环境或者室外自然环境，采集的工具有单反相机、智能手机、固定采集装置和无人机平台等，通过这些设备采集到的图像数据为原始数据，可能存在缺失、噪声、异常等问题，需要进行第二步清洗。清洗后的数据将交给数据管理员，由管理员对这些原始数据进行统计分类和任务分配，将待标注的数据按照一定规则进行切片分发给不同的标注者单独标注。当数据按照标准规范被标注好后，再对这些数据按照规则进行合并处理，分发给审核员进行审核，负责将符合满足标注质量的图像数据转发给数据管理员，由数据管理员对这些图像数据进行归纳统计，形成可直接使用的数据集。

图像的鉴别和标注会影响模型的准确性，鉴别错误的图像会被打上错误的标签，在训练后也会得到错误的结果，降低算法的准确性。同样，不准确标注的图像也会使算法降低准确性。在标注过程中经常会出现一些难以标注的目标，如图3所示，这类图像经常存在于自然界中。对这些图像的标注比较困难，标注不当会引入较多噪声，会对模型识别结果产生较大影响。

                        （a）重叠                                               （b）遮挡                 

图3 难以标注的复杂图像样例

Fig. 3 Complex images that are difficult to annotate

本文系统地综述了构建农业病虫害数据集的现状及存在问题的原因，目前病虫害识别领域中缺乏大规模、高质量的数据集。本文从农业病虫害图像数据本身存在的问题入手，总结了构建农业病虫害数据集主要面临的挑战，从图像数据集的采集和标注两个关键环节分析了形成这些挑战的原因，总结了相关数据集质量的评价方法，提出以下3点数据集构建建议。

（1）结合实际使用场景构建农业病虫害数据集。在构建数据集时，应当充分考虑算法的使用场景。在实际生产环境中。使用者往往给出的将要识别的图像更多来自于田间地头随手拍摄的农业病虫害照片，由于病虫害的个体小，拍摄出图像中的目标往往更小，显著性更低。在拍摄图像时，应当将目标显著性图像与目标非显著性图像置于同等地位，同时增加模糊无语义的图像和不同角度、不同光线下的图像。合理划分数据集中的类别，多视角、多环境下拍摄图像，可从算法提取特征进行分类的角度，满足较大的类间距离和较小的类间距离，保证各类别中的数据和特征分布尽可能保证均匀。数据集图像数据中心中的目标对象不应存在选择偏差，应当包含多种目标对象位置，多种简单、复杂的背景，中小型目标对象的图像样本尽可能多，为农业病虫害识别提供高质量的数据支持。

（2）平衡数据集与算法间的关系。数据集的规模、单张图像标注的准确性以及数据采集方法都会影响到模型的性能。应当结合使用场景，探究农业病虫害图像数据的规模与模型性能之间的关系，挖掘数据规模与算法性能的平衡点，为构建病虫害数据集提供规模依据。规范图像标注的方法，在遮挡、模糊、密集等场景下，探究不同目标对象标注方法与模型性能之间的关系，尽可能减少标注过程带来的噪声，提高模型的性能。

（3）增强数据集的使用价值。农业病虫害数据集建设是一项长期坚持的工作。为了扩大数据集的价值、丰富其使用场景，大规模基础病虫害数据集不应当只有图像数据，应该还包含文字、视频、图像周围环境信息等多模态数据。为了适应较快的业务创新速度，应构建与整合多模态农业病虫害数据资源，建设农业病虫害大数据中台，将业务逻辑中的数据存储和计算力抽离，由数据中台对海量数据进行计算、存储、加工和统一标准，为各业务系统和具体的落地项目提供高效服务，简化业务系统的复杂性，让研究者更专注于应用模型研发。