姬江涛教授团队：基于改进DeepLabCut模型的奶牛滑蹄检测方法（《智慧农业（中英文）》2024年第5期）

// 引用格式：

年悦, 赵凯旋, 姬江涛. 基于改进DeepLabCut模型的奶牛滑蹄检测方法[J]. 智慧农业(中英文), 2024, 6(5): 153-163.

DOI：10.12133/j.smartag.SA202406014

Citation:NIAN Yue, ZHAO Kaixuan, JI Jiangtao. Cow Hoof Slippage Detecting Method Based on Enhanced DeepLabCut Model[J]. Smart Agriculture, 2024, 6(5): 153-163.

年悦， 赵凯旋， 姬江涛^*

（河南科技大学 农业装备工程学院，河南洛阳 471000，中国）

摘要：

 ［目的/意义］为解决奶牛在行走过程中出现滑蹄姿态无法自动识别检测的问题，基于深度学习的方法对奶牛身体关键点进行定位分析，实现对奶牛滑蹄姿态的自动检测。

［方法］选取奶牛四蹄及头部作为奶牛身体关键点，基于DeepLabCut（DLC）对奶牛四蹄及头部关键点进行定位，首先选取ResNet系列、MobileNet-V2系列、EfficientNet系列等10个网络模型替换DLC的主干网络，最终选取准确率最高的ResNet-50作为DLC的主干网络，随后选择轻量级的卷积块注意力模块（Convolutional Block Attention Module, CBAM）嵌入ResNet-50的网络结构中，完成对ResNet-50网络模型的改进。通过改进后的模型得到奶牛身体关键点坐标，绘制奶牛四蹄及头部运动曲线。利用奶牛身体关键点运动曲线进行分析，提取奶牛滑蹄姿态的特征参数Feature1、奶牛滑蹄距离的特征参数Feature2。基于决策树对提取的奶牛滑蹄姿态特征参数进行模型的训练和验证。利用提取的奶牛滑蹄特征参数对奶牛的滑蹄距离进行计算，同时人工对奶牛滑蹄距离进行标定，与预测的滑蹄距离进行比较。

［结果和讨论］改进后的ResNet-50网络相较于ResNet-50在验证集的定位准确率提高了9.7%，相较于YOLOv8s-pose的定位精准度提高了1.06 pixels，与手动标识的身体关键点之间的均方根误差（Root Mean Square Error, RMSE）仅为2.99 pixels。采用10折交叉验证对奶牛滑蹄检测模型的效果进行评估，结果表明，该模型的平均准确率、精确度、召回率和F1分数分别为90.42%，0.943，0.949和0.941。基于特征参数Feature2计算的奶牛滑蹄距离与人工标定奶牛滑蹄距离的RMSE仅为1.363 pixels。

［结论］融合CBAM模块改进的ResNet-50网络模型对奶牛身体关键点定位的准确率较高，基于滑蹄判断特征参数Feature1和滑蹄距离检测特征参数Feature2建立的奶牛滑蹄判断模型和奶牛滑蹄距离预测模型与人工检测的结果相比，都有较小的误差，这表明该方法有较好的准确性，可以为奶牛滑蹄自动检测工作提供技术支持。

关键词： 深度学习；奶牛滑蹄；ResNet-50；决策树；CBAM注意力机制；决策树

图1　奶牛侧视行走视频示例

Fig. 1  Example of a cow walking in a sideways view

图2　通道注意力机制模块

Fig. 2  Channel attention module 

图3　空间注意力机制模块

Fig. 3  Spatial attention module 

图4　CBAM注意力机制模块

Fig. 4  CBAM attention mechanism module

图5　融合CBAM模块改进后的ResNet50网络整体架构

Fig. 5  Overall architecture of the ResNet50 network improved by integrating the CBAM module

图6　奶牛身体关键点的标注界面及坐标轴

Fig. 6  Annotation interface and coordinate axes of cow body key points

a. 奶牛滑蹄蹄部曲线             b. 导函数曲线      c. 导函数局部峰值定位结果

图7　奶牛滑蹄蹄部曲线、导函数曲线和导函数局部峰值定位结果

Fig. 7  Curved hoof of cow， derivative function curves and local peak detection results of the derivative

图8　奶牛滑蹄距离D

Fig. 8  The distance of the cow's feet is D

图9　奶牛滑蹄蹄部曲线导函数

Fig. 9  The derivation of the curve of the hoof of the cow

图10　最佳主干网络确定研究中不同主干网络模型训练时损失值

Fig. 10  Loss values of different backbone models in optimal backbone network researchs

图11　改进ResNet-50网络的奶牛身体关键点定位结果

Fig. 11  Keypoint localization results for cow body using improved ResNet-50

a. 较暗光照                      b. 较强光照                     c. 一般光照

图12　奶牛滑蹄蹄部曲线及其导函数峰值定位结果

Fig. 12  Curves of cow hoof slippage and peak localization results of its derivative function

 a. 奶牛四蹄在x轴的运动曲线              b. 奶牛四蹄在y轴的运动曲线       c. 奶牛头部在x轴和y轴上的运动曲线

图13　奶牛四蹄及头部分别在x轴和y轴上的运动曲线

Fig. 13  The movement curves of the cow's four hooves and head on the x-axis and y-axis respectively

图14　人工标定奶牛滑蹄距离

Fig. 14  The manually labeled distance between a cow's hooves

姬江涛   教授

姬江涛， 二级教授， 博士生导师， 现任上海浦东智慧农业研究院院长。河南省高层次（B 类） 人才、 河南省科技创新杰出人才、 河南省创新型科技团队带头人， 享受国务院政府特殊津贴。长期从事现代农业装备与智能化信息化技术研究， 被聘为国家“十三五” 重点研发计划智能农机专项总体专家组专家、 国家中英农业领域科技创新合作联合工作组专家， 中国机械工业科学技术奖评委。兼任中国农业机械学会常务理事、 收获机械分会副主任委员、 基础技术分会副主任委员、 河南省农业机械学会副理事长等。任农业机械学报、 农业工程学报、 IJABE 等著名学术期刊编委。任智能农业动力装备全国重点实验室（重组） 副主任和战略指导委员会主任、 农业装备技术全国重点实验室（重组）学术委员会委员。兼任河南省智能农机装备工程技术研究中心主任、 河南省智能农业装备技术国际联合实验室主任、 河南省农业信息化工程技术研究中心主任等。主持完成“十三五” 国家重点研发计划项目和国家自然科学基金面上项目等， 主持完成省部级科研项目 10 余项；作为成果第一完成人获省部级科技奖 5 项，主要参加人获省部级科技成果奖 7 项；发明专利 46 件（第一权利人） ， 发表高水平学术论文 120余篇， 撰写著作（含教材） 6 部。作为首席专家， 目前主持“十四五” 国家重点研发计划“标准化果园智能化生产技术装备创制与应用” 、 河南省重大专项“主粮作物智慧化生产加工关键技术装备研发及应用” 、 河南省重大专项（龙门实验室重点项目） “智慧农场成套智能装备研发与应用” 、 国家自然科学基金等项目。