《农业工程学报》2024年第40卷第16期刊载了仲恺农业工程学院林桂潮、徐垚、曾文勇、王明龙、殷瑞涵、丁力行与朱立学的论文——“融合语义分割和三维点云分析的果园障碍物实时重构方法”。该研究由国家自然科学基金资助项目(项目号:32101632)等资助。
引文信息:林桂潮,徐垚,曾文勇,等. 融合语义分割和三维点云分析的果园障碍物实时重构方法[J]. 农业工程学报,2024,40(16):180-187.
DOI: 10.11975/j.issn.1002-6819.202404129
研究目的:
针对果园障碍物识别和重构存在实时性差的问题,该研究以番石榴果园为例,提出了融合语义分割和三维点云分析的果园障碍物实时重构方法。首先,以DeepLabV3+为基础,使用MobileNetV3-large作为骨干网络以实时提取特征图,结合上下文Transformer注意力丰富特征图细节和语义信息,进一步提出基于Sobel算子的边缘辅助损失函数以提升障碍物分割精度;在此基础上,运用体素化法将枝干三维点云重构为大量立方体,构建基于欧式聚类的果实三维重构方法,设计一种融合逆投影变换和交并比的重构评价指标。
结果与结论:
试验结果表明:该方法对障碍物语义分割的平均交并比为77.2%,比Xception-DeepLabV3+提高7.0个百分点;平均帧速为78.8帧/s;该方法对枝干和果实的重构交并比分别为56.6%和65.7%,平均重构时间分别为0.84 s和0.34 s。该研究实时性和精度较高,满足水果采摘机器人实时避障作业需求。
本文由丨《农业工程学报》编辑部丨精编发布
欢迎留言、分享、点赞
转载、投稿、咨询
邮箱:tcsae@tcsae.org
发布征集
欢迎广大作者、读者投稿至我刊公众号,包括但不限于创新科研成果、科技写作技巧、书籍推介、优秀科技工作者介绍、科研团队招聘/招生、行业资讯以及相关活动等农业工程领域信息。
公众号文章投稿邮箱:abe-newmedia@tcsae.org
»» 点击 阅读原文 免费获取全文