引用格式
引用格式：何峰, 吴华瑞, 史扬明, 朱华吉. 基于改进SlowFast模型的设施黄瓜农事行为识别方法[J]. 智慧农业(中英文), 2024, 6(3): 118-127.
DOI：10.12133/j.smartag.SA202402001
Citation:HE Feng, WU Huarui, SHI Yangming, ZHU Huaji. Recognition Method of Facility Cucumber Farming Behaviours Based on Improved SlowFast Model[J]. Smart Agriculture, 2024, 6(3): 118-127.
DOI：10.12133/j.smartag.SA202402001
基于改进SlowFast模型的设施黄瓜农事行为识别方法
何峰1，2， 吴华瑞1，2，3，4， 史扬明1，2， 朱华吉1，2，3，4*
（1.江苏大学 计算机科学与通信工程学院，江苏镇江 212013，中国；2.国家农业信息化工程技术研究中心，北京 100097，中国；3.北京市农林科学院信息技术研究中心，北京 100097，中国；4.农业农村部数字乡村技术重点实验室，北京 100097，中国）
摘要： ［目的/意义］农事行为活动识别对设施蔬菜生产精准化调控有着重要意义，在一定程度上可以通过查看农事操作的时间、操作过程是否合理来减少因农事行为不当导致产量下降。为了解决农事行为识别方法中由于黄瓜叶片和设施遮挡导致识别准确率不高的问题，提出一种名为SlowFast-SMC-ECA（SlowFast-Spatio-Temporal Excitation、Channel Excitation、Motion Excitation-Efficient Channel Attention）的农事活动行为识别算法。
［方法］该算法主要基于SlowFast模型，通过改进Fast Pathway和Slow Pathway中的网络结构来提高对于农事活动中手部动作特征和关键特征的提取能力。在Fast Pathway中，引入多路径激励残差网络的概念，通过在信道之间插入卷积操作来增强它们在时域上的相互关联性，从而更好地捕捉快速运动信息的细微时间变化。在Slow Pathway中，将传统的Residual Block替换为ECA-Res结构，以提高对通道信息的捕获能力。这两项改进有效地加强了通道之间的联系，提升了特征之间的语义信息传递，进而显著提升了农事行为识别的准确率。此外，为了解决数据集中类别不均衡的问题，设计了平衡损失函数（Smoothing Loss），通过引入正则化系数，平衡损失函数可以有效地处理数据集中的类别不均衡情况，提高模型在各个类别上的表现。
［结果和讨论］改进的SlowFast-SMC-ECA模型在农事行为识别中表现出良好的性能，各类行为的平均识别精度达到80.47%，相较于原始的SlowFast模型有约3.5%的提升。
［结论］本研究在农事行为识别中展现出良好的性能。这对农业生产的智能化管理和决策具有重要意义。
关键词： 农事活动行为；SlowFast模型；多路径激励残差网络；ECA-Res；平衡损失函数
文章图片
图1 农事行为识别研究摄像头布置点位
Fig. 1 The arrangement of camera positions for agricultural activity recognition research
图2 设施黄瓜的农事行为视频截帧
Fig. 2 Video cut-off frames of agronomic behaviour of facility cucumbers
图3 SlowFast-SMC-ECA网络结构图
Fig. 3 SlowFast-SMC-ECA network structure diagram
图4 SMC-Res结构
Fig. 4 SMC-Res structure
图5 SMC模块组成
Fig. 5 Composition of SMC modules
图6 ECA-Res结构
Fig. 6 ECA-Res structure
图7 ECANet网络结构图
Fig. 7 ECANet network structure diagram
图8 不同黄瓜农事行为检测视频帧结果图
Fig. 8 Different cucumber farming activity detection frame results
图9 SlowFast-SMC-ECA和原SlowFast训练损失率变化
Fig. 9 SlowFast-SMC-ECA and original SlowFast training loss rate changes
作者简介
吴华瑞 研究员
吴华瑞，研究员，科技部“十四五”数字乡村技术预测专家组组长、国家“十四五”重点专项“乡村产业共性关键技术研发与集成应用”总体组专家、农业农村部数字乡村技术重点实验室主任，农业农村部特色经济作物全程机械化专家组成员，中国人工智能学会智能农业专委会主任，国家大宗蔬菜产业技术体系智能化管理岗位科学家，入选国家级人才。主要从事农业大数据、人工智能与蔬菜智慧无人农场相关研究工作。近年来获国家科技进步奖1项，省部级奖励5项，发表论文86篇（SCI25篇），授权发明专利37项，编制颁布标准8项，著作2部，软著34项。
来源：《智慧农业（中英文）》2024年第3期
转载请联系编辑部授权
本期支持单位
推荐阅读
智慧农业微信交流服务群
发布征集
欢迎在我公众号发布科研团队介绍、创新科研成果及相关活动等信息。
