An improved binocular localization method for apple based on fruit detection using deep learning
aCollege of Mechanical and Electronic Engineering, Northwest A&F University 西北农林科技大学机械与电子工程学院 bKey Laboratory of Agricultural Internet of Things, Ministry of Agriculture and Rural Affairs 农业农村部农业物联网重点实验室 cShaanxi Key Laboratory of Agricultural Information Perception and Intelligent Service 陕西省农业信息感知与智能服务重点实验室 dDepartment of Mechanical Engineering, The University of Auckland 奥克兰大学机械工程系 |
https://doi.org/10.1016/j.inpa.2021.12.003
由于苹果收获季节对劳动力的需求量很大，目前正在开发苹果采摘机器人作为手工采摘的替代品，然而目标水果的准确检测和定位对于机器人苹果采摘是必要的，检测精度对定位结果有很大影响。虽然目前利用传统图像算法对苹果进行检测和定位的研究在实验室条件下可以获得良好的结果，但在复杂环境的自然场中很难准确检测和定位物体。随着人工智能的快速发展，基于深度学习的苹果检测精度显著提高，因此，本研究开发了一种基于深度学习的方法来准确检测和定位水果的位置。
1.应用深度学习来改善苹果双目定位的果实检测；
2.开发了三种分割方法，用于在检测到的果实的边界框中分割果实；
3.使用具有平行极线约束的模板匹配来匹配左右图像中的苹果；
4.苹果的平均标准差和平均定位精度分别为0.51cm和99.64%。
模板匹配的目标通常是整个图像，但由于野外可能存在颜色和轮廓相似的水果，因此会浪费大量的时间并导致不匹配。本研究采用平行极点约束减小模板匹配范围，以减少匹配时间成本，提高匹配精度，苹果在左右图像中的匹配只能在相同的高度范围内进行。如图1所示，匹配模板在原始图像中的坐标范围为([X1, X2]， [Y1, Y2])，目标图像的坐标范围为([0,X]， [0, Y])，采用平行极坐标约束的模板匹配只需要在([0,X2]， [Y1, Y2])范围内进行，大大减小了匹配范围和匹配时间。
深度学习模型的训练性能受迭代次数的影响很大。Faster R-CNN的训练损失曲线收敛，如图2所示。随着迭代次数的增加，损失值逐渐减小，经过大约10000次epoch后，Faster R-CNN开始达到0.30左右的稳定损耗值。收敛的损失曲线表明，Faster R-CNN可以有效地识别目标并进行苹果图像检测，更快的R-CNN在检测1280 ×960像素的图像时达到了88.12%的AP，平均检测速度为0.32 s，检测结果不存在将背景识别错误为苹果的情况，如图3所示。
比较了三种阈值分割方法，基于色差和色差比的分割方法的性能优于其他两种分割方法。它们的分割性能如图4所示。基于色差和色差比的分割方法的结果如图4（e）所示。手动比较多张图像后，该方法对苹果的分割效果最好。即使由于光线的影响，苹果图像的颜色发生了很大变化，这种方法也可以正确地分割苹果像素。与其他方法相比，该分割方法更适合复杂环境，满足拣选机器人的定位需求。因此，它被用于通过Faster R-CNN在检测到的边界框中分割苹果。
在这项研究中，使用Faster R-CNN网络检测苹果的双目图像，采用色差和色差比分割方法，利用Faster R-CNN对检测边界框内的苹果进行分割。同时，采用平行极线约束的模板匹配来匹配苹果示例。最后，计算特征点的三维坐标，获得图像中双目相机镜头与苹果之间的距离，同时，76组数据集的定位结果平均标准差和平均定位精度分别为0.51cm和99.64%。该实验表明，基于Faster R-CNN果实检测的苹果双目定位改进方法的结果可以反映相机图像中苹果的实际定位，因此，这种方法将进一步帮助采摘机器人更好地定位水果。
引用格式：
编辑：胡琪鸣
校对：鲁娜
审核：付学谦
日期：2024年9月4日
《农业信息处理(英文)》，创刊于2014年，由中国农业大学主办，李道亮教授主编，已被ESCI、EI、Scopus、DOAJ、中国科学引文数据库(CSCD)等数据库检索。2019年入选《中国科技期刊卓越行动计划》之高起点新刊项目，2020年入选中国农林核心期刊（A类）目录，2023年正式被ESCI(Emerging Sources Citation Index)收录，2023年度首个影响因子7.7，Q1区。《WJCI报告》学科排名位居全球TOP5%或学科排名TOP3，影响因子7.908。2023年Citescore为21.1，在林学领域排名第2，在水生科学领域排名第3，在农学作物科学领域排名第3，在动物科学与动物学领域排名第4，在计算机科学及应用领域排名第15。主要刊载最新信息技术在农业的应用，包括：农业物联网、农业人工智能和大数据、农业机器人、农业能源与控制、农业供应链与管理、空间信息技术、信息技术在现代农业工程的应用和其他农信息化技术。
