农业环境感知技术发展现状

陈睿韵, 田文斌, 鲍海波, 李端, 谢鑫浩, 郑永军, 谭彧. 农业轮式机器人三维环境感知技术研究进展[J]. 智慧农业(中英文), 2023, 5(4): 16-32. DOI: 10.12133/j.smartag.SA202308006

CHEN Ruiyun, TIAN Wenbin, BAO Haibo, LI Duan, XIE Xinhao, ZHENG Yongjun, TAN Yu. Three-Dimensional Environment Perception Technology for Agricultural Wheeled Robots: A Review[J]. Smart Agriculture, 2023, 5(4): 16-32. DOI: 10.12133/j.smartag.SA202308006

常见的农业环境感知要素包括目标位置、三维尺寸、类别、环境温湿度和光照强度等，不同的工作场景和作业特点使得农业轮式机器人对环境信息的感知要求不尽相同。在众多感知要素中，以实现无人化作业为目标的农业轮式机器人都需要获得目标位置、尺寸和类别等属性信息作为理解环境的基础。因此，获得这些环境和物体信息并提升智能化程度的关键就在于农业轮式机器人所使用的环境感知技术。

环境感知技术可以分为二维环境感知技术与三维环境感知技术。二维环境感知关注的是在平面上呈现的信息，而三维环境感知是指以采集并解析周围环境三维信息的方式来获取目标的三维属性和状态。在农业领域，三维环境感知的对象主要为农作物、障碍物、道路以及建筑设施等静态目标，少部分情况下也包括作业人员、野生动物等动态目标。感知内容主要是静态和动态目标对象的三维空间位置、三维尺寸和形状范围等物理信息。

二维环境感知所获取的平面信息无法提供高度和深度等额外维度的信息，因此在某些场景下其无法满足精确和全面的环境感知需求。此外，传感器的工作原理使得二维环境感知在应对环境变化时也存在一定的不足。例如光线不足和雨雪天气会使得RGB相机所获取的图像信息质量下降，甚至无法正常工作。而单线激光雷达在复杂场景下所获取的有限的距离信息会使得其对重叠目标物无法进行有效分辨。与之相比，三维环境感知技术所使用的飞行时间（Time of Flight，TOF）型和结构光类型的深度相机受光照强度的影响较小，在夜晚无光照时也能够正常工作。多线激光雷达能够提供物体在三维空间中的精确位置、形状和尺寸等信息，在不断变化的复杂场景下依然能实现对周围环境的感知与理解。因此，三维环境感知技术可以在帮助农业机器人系统更好地理解和适应复杂的三维环境的同时，更好地应对不同光照条件、天气条件和场景变化带来的挑战。三维环境感知技术的发展水平直接影响到农业机器人自主作业的效率与精度。

虽然近年来对农业环境下的三维环境感知技术的研究不断取得突破，但在实际应用时仍面临一些问题。例如现有的农业环境三维感知技术在感知效果上已逐渐趋于瓶颈，除了传感器的性能和种类，感知方式与感知信息的处理方法也成为了其发展的限制。目前三维环境感知技术对环境信息的获取和处理还无法达到与人类感知系统一样或者接近的水准。同时，在将现有的三维环境感知技术研究成果部署在实际农业生产环境下时，缺乏使用与评判标准。从传感器接口到通信方式，同一感知方案在不同设备上的部署需要进行大量的适应性调整，不利于大规模推广应用。此外，应用成本也是限制农业环境三维环境感知技术的因素之一。

在作业环境为没有先验环境信息的、未知的和随机的非结构化环境的情况下，农业轮式机器人通过感知设备采集真实世界的环境信息并将其转变成自身能够处理和理解的数字信号。根据农业轮式机器人自主感知周围的三维环境信息时主要使用的设备方案，可以将农业轮式机器人三维环境感知技术分为基于激光雷达的三维环境感知技术、基于视觉传感器的三维环境感知技术和基于多传感器融合的三维环境感知技术。在其他领域（如汽车领域），毫米波雷达等传感器也被用来感知三维环境信息，但这些传感器目前在农业中的应用较少。

2.1　激光雷达主要感知设备与关键技术

激光雷达通过主动发射激光并接收返回的激光来实现感知周围环境的功能，根据扫描结构的类型可以分为固态式、机械旋转式和混合式三种；而根据载荷平台的不同，又可以分为机载激光雷达、地面激光雷达和车载（移动）激光雷达三种，农业机器人主要使用的是车载类型。此外，根据雷达线束数目可以将激光雷达分为单线与多线激光雷达。一般情况下单线激光雷达只能实现平面式扫描，虽然通过多个单线激光雷达的组合或者加装旋转云台的方式也能实现对三维环境的感知，但目前还无法获得与多线激光雷达一样的检测效果。

对于目标空间形状、竖直方向上的环境信息不敏感的结构化程度较高的场合，通常只考虑一个平面上的环境信息，此时单线激光雷达由于具有成本较低、数据结构简单的特点成为了很多研究人员的选择。但很多时候农业轮式机器人工作时需要考虑树干被遮挡、作业环境的空间干涉以及作业特征提取等问题，此时只使用单线激光雷达无法满足作业要求。

随着自动驾驶行业的不断发展，国内外对多线激光雷达的研究取得了显著进步。随着技术的成熟和价格的逐渐下降，多线激光雷达在农业领域的应用也越来越常见，例如使用多线激光雷达获取标准化枸杞种植园的作物信息，图1（a）为枸杞园实景，图1（b）为与实景对应的三维点云信息。比较有代表性的激光雷达产品有Velodyne公司的VLP-16型和VLP-32型激光雷达传感器、SICK公司的LMS系列激光扫描仪传感器以及中国大疆Livox公司的Mid-40型和Mid-100型激光雷达传感器等。在使用多线激光雷达感知三维环境信息时，涉及到的关键技术包括传感器的标定和校准、三维点云数据的预处理、特征提取和目标检测与识别等。其中为提高点云数据的质量和准确性，三维点云数据的预处理技术包括对所获取点云数据的滤波、降噪、移动物体去除和地面点云分割等。

图1 多线激光雷达田间工作效果

Fig. 1 Field work effect of multi line LiDAR

2.2　视觉传感器主要感知设备与关键技术

机器视觉技术是智能机器人实时感知并理解周围环境的另一重要途径，机器视觉系统使用视觉传感器获得被测物体的特征图像，通过对特征图像进行分析处理提取所需信息。

根据所获得的图像信息类型，视觉传感器可以分为普通RGB相机和深度相机两种。后者将距离信息加入到前者所获取的二维图像中，得到了三维图像。目前，国内外在使用RGB相机进行环境感知方面做了很多研究，已经应用于农作物和杂草识别、农产品品质检测等方面。但仅依靠单目相机无法满足某些场景对深度（距离）信息的需求，还需要与其他能够获取距离信息的传感器（如超声波位置传感器等）进行组合。因此，基于单个深度相机的三维环境感知技术成为了当前的研究热点。

常见的深度相机可以分为双目相机、结构光相机和TOF相机。其中双目相机是通过不同位置的两个摄像头拍摄同一幅场景，通过算法立体匹配出相应像点，从而计算出视差，然后基于三角测量原理恢复深度（距离）信息，因此双目相机也可称为立体相机。现有的立体匹配技术主要包括基于区域的立体匹配和基于全局的立体匹配，但随着深度学习的不断发展，深度学习也已经在立体匹配中取得了一定的进展，卷积神经网络已被用于解决立体匹配的问题。在不断取得发展进步的同时，立体匹配技术也存在一定的局限性，例如依赖于图像中的纹理或特征来找到对应点的立体匹配技术在纹理缺乏或存在重复纹理的区域，可能会面临匹配失败或产生错误的深度估计。与此同时，在处理高分辨率图像时，立体匹配算法在计算上非常复杂。此外，物体之间的遮挡也会导致立体匹配失败或深度估计不准确。与双目相机不同，结构光相机和TOF相机则是使用调制光直接获得深度（距离）信息。

在传感器工作原理方面，单个RGB相机与双目深度相机的成像与最终工作效果受到光照、角度等因素的影响。而TOF与结构光类型的深度相机的工作原理与激光雷达具有一定的共通性，支持全天连续作业，但该类型的深度相机反射率受到灰尘、雨雪等因素的影响。

使用视觉传感器感知三维环境时，不同类型的设备所涉及到的关键技术也有所不同。使用双目相机时，左右图像的匹配和校准直接影响到深度信息的准确性。而使用TOF型和结构光类型的深度相机时，对三维点云数据的处理则是影响感知效果的关键。目前国内外对于深度相机在农业领域应用进行了大量研究，所使用的几种具有代表性的深度相机包括：Microsoft公司的Kinect系列相机、Intel公司的RealSense系列相机、Orbbec公司的Astra系列相机，以及ZED/ZED Mini相机等。

欢迎在我公众号发布科研团队介绍、创新科研成果及相关活动等信息。