罗陆锋教授团队:采摘机器人全果园视觉感知及自主作业综述(《智慧农业(中英文)2024年第5期》)

学术   2024-11-13 21:29   北京  

引用格式:

陈明猷, 罗陆锋, 刘威, 韦慧玲, 王金海, 卢清华, 骆少明. 采摘机器人全果园视觉感知及自主作业综述[J]. 智慧农业(中英文), 2024, 6(5): 20-39.

Citation:CHEN Mingyou, LUO Lufeng, LIU Wei, WEI Huiling, WANG Jinhai, LU Qinghua, LUO Shaoming. Orchard-Wide Visual Perception and Autonomous Operation of Fruit Picking Robots: A Review[J]. Smart Agriculture, 2024, 6(5): 20-39.

官网全文在线阅读

知网阅读

采摘机器人全果园视觉感知及自主作业综述

陈明猷, 罗陆锋*, 刘威, 韦慧玲, 王金海, 卢清华, 骆少明

(佛山大学机电工程与自动化学院,广东佛山 528231,中国)


摘要: 

[目的/意义]采摘机器人是智慧农业的重要组成部分,其感知、规划、控制相关基础方法理论目前已有系统化研究。然而,构建具备全果园“感知-移动-采摘”一体化作业能力的实用型采摘系统仍面临诸多挑战。针对该问题,本文调研并报道了本领域近期案例,将全果园自主作业的关键技术划分为局部目标感知、全局地图构建和自主作业行为规划三个子问题并进行综述。

[进展]首先回顾了近距离、局部范围内水果目标的精细视觉感知方法,包括基于低级特征融合、高级特征学习、RGB-D信息融合,以及多视角信息融合的4种方法;介绍与分析了全局尺度下的果园地图构建与大规模场景视觉感知案例;在感知的基础上,调研分析采摘机器人自主作业行为规划方法,包括底盘移动路径规划、机械臂视点规划与避障路径规划等方面的最新研究;最后对采摘机器人自主作业系统构建案例进行报道与分析。

[结论/展望]感知、移动、采摘模块的高效协同是实现采摘机器人从基础功能样机进一步迈向实用型机器的关键,已有的视觉感知、规划与控制算法的鲁棒性与稳定性均需增强,协同程度需进一步提高。此外,提及了采摘机器人应用的几个开放性研究问题,并描述了其未来发展趋势。

关键词: 采摘机器人;自主作业;局部感知;全局建图;行为规划

文章图片

图1 采摘机器人自主作业系统及其关键技术内容组织框架图

Fig. 1  Organizational framework of autonomous operation systems and key technologies for fruit picking robot

图2 基于低级特征融合方法的局部目标视觉感知效果示意图

Fig. 2  Schematic diagram of the effects of local target visual perception based on low-level feature fusion method

图3 基于高级特征学习方法的局部目标视觉感知效果示意图

Fig. 3  Schematic diagram of the effects of local target visual perception based on high-level feature learning method

图4 基于RGB-D信息融合方法的局部目标视觉感知效果示意图

Fig. 4  Schematic diagram of the effects of local target visual perception based on RGB-D information fusion method

图5 基于多视角信息融合方法的局部目标视觉感知效果示意图

Fig. 5  Schematic diagram of the effects of local target visual perception based on multi-view information fusion method

图6 基于视觉方法的果园建图效果示意图

Fig. 6  Schematic diagram of the effects of orchard mapping based on vision method

图7 基于多传感融合方法的果园建图效果示意图

Fig. 7  Schematic diagram of the effects of multi-sensor-based orchard mapping method

图8 全果园自主移动行为规划效果示意图

Fig. 8  Schematic diagram of the effects of autonomous movement behavior planning in an entire orchard

图9 局部场景下自主采摘行为规划效果示意图

Fig. 9  Schematic diagram of the effects of autonomous picking behavior planning in local scenes

图10 代表性采摘机器人系统示意图

Fig. 10  Schematic diagram of representative picking robot systems 

作者简介

罗陆锋   博士
通讯作者:罗陆锋,工学博士,佛山大学教授,博士生导师,佛山市教育系统优秀教师,《智能化农业装备学报》青年编委、中国农业机械学会基础技术分会委员、全国高等学校制造自动化研究会理事。主要从事农业机器人智能感知与控制、智能工厂关键技术研究,主持国家自然科学基金项目2(面上项目、青年基金),主持广东省基础与应用基础研究基金-区域联合重点项目1项,主持佛山市重点领域科技攻关项目子课题、广东省教育厅项目等7项,参与国家重点研发计划项目、广东省重点研发计划项目等国家级和省部级重大项目10余项。获广东省科技进步二等奖、广东省教育教学成果一等奖、广东省机械工程学会科技进步一等奖、中国仪器仪表学会科学技术三等奖等;在《IEEE Robotics and Automation Letters》《Computers in Industry》《Computers and Electronics in Agriculture》《Biosystems Engineering》等权威期刊发表SCIEI论文70余篇,获授权国家发明专利25件,软件著作权7件。

陈明猷  博士

第一作者:陈明猷,工学博士,硕士生导师,主要从事机器人智能感知与控制研究,主持国家自然科学基金项目1项(青年基金)、广东省自然科学基金项目1项(面上项目),参与国家重点研发计划、国家自然科学基金项目、广东省科技计划项目等5项。发表SCI/EI高水平论文十余篇,以第一作者发表ESI高被引论文2篇,中科院一区Top期刊年度优秀论文2篇。获授权国家发明专利十余件。获广东省科技进步二等奖。担任《Computers and Electronics in Agriculture》《系统仿真学报》等期刊审稿专家。


来源:《智慧农业(中英文)》2024年第5期

转载请联系编辑部授权


本期支持单位

潍柴雷沃智慧农业科技股份有限公司



推荐阅读


农业大模型:关键技术、应用分析与发展方向(《智慧农业(中英文)》2024年第2期)


专刊征稿:农业知识智能服务和智慧无人农场


《智慧农业(中英文)》2024年第5期目录


中国智慧冷链发展水平评价结果与分析





智慧农业微信交流服务群

为方便农业科学领域读者、作者和审稿专家学术交流,促进智慧农业发展,为更好地服务广大读者、作者和审稿人,编辑部建立了微信交流服务群,有关专业领域内的问题讨论、投稿相关的问题均可在群里咨询。入群方法:加小编微信331760296备注:姓名、单位、研究方向,小编拉您进群,机构营销广告人员勿扰。

发布征集







欢迎在我公众号发布科研团队介绍、创新科研成果及相关活动等信息。

智慧农业期刊
《智慧农业(中英文)》是国内外公开发行的农业科学类学术期刊。期刊聚焦农业信息技术发展前沿与热点,刊载和传播国内外最新研究成果,通过搭建高水平学术交流平台,引领学术研究方向,服务行业科学决策,培养高水平创新人才,促进学科发展。
 最新文章