引用格式
代昕, 王军号, 张翼, 王鑫杰, 李晏兴, 戴百生, 沈维政. 基于时空流特征融合的俯视视角下奶牛跛行自动检测方法[J]. 智慧农业(中英文), 2024, 6(4): 18-28.
基于时空流特征融合的俯视视角下奶牛跛行自动检测方法
代昕1， 王军号1， 张翼1，2， 王鑫杰1， 李晏兴1，戴百生1*， 沈维政1*
（1.东北农业大学 电气与信息学院，黑龙江哈尔滨 150030，中国； 2.黑龙江东方学院 信息工程学院，黑龙江哈尔滨 150086，中国）
摘要：［目的/意义］奶牛跛行检测是规模化奶牛养殖过程中亟待解决的重要问题，现有方法的检测视角主要以侧视为主。然而，侧视视角存在着难以消除的遮挡问题。本研究主要解决侧视视角下存在的遮挡问题。
［方法］提出一种基于时空流特征融合的俯视视角下奶牛跛行检测方法。首先，通过分析深度视频流中跛行奶牛在运动过程中的位姿变化，构建空间流特征图像序列。通过分析跛行奶牛行走时躯体前进和左右摇摆的瞬时速度，利用光流捕获奶牛运动的瞬时速度，构建时间流特征图像序列。将空间流与时间流特征图像组合构建时空流融合特征图像序列。其次，利用卷积块注意力模块（Convolutional Block Attention Module, CBAM）改进PP-TSMv2（PaddlePaddle-Temporal Shift Module v2）视频动作分类网络，构建奶牛跛行检测模型Cow-TSM（Cow-Temporal Shift Module）。最后，分别在不同输入模态、不同注意力机制、不同视频动作分类网络和现有方法4个方面对比，进行奶牛跛行实验，以探究所提出方法的优劣性。
［结果和讨论］共采集处理了180段奶牛图像序列数据，跛行奶牛与非跛行奶牛视频段数比例为1∶1，所提出模型识别精度达到88.7%，模型大小为22 M，离线推理时间为0.046 s。与主流视频动作分类模型TSM、PP-TSM、PP-TSMv2、SlowFast和TimesFormer模型相比，综合表现最好。同时，以时空流融合特征图像作为输入时，识别精度分别比单时间模态与单空间模态分别提升12%与4.1%，证明本研究中模态融合的有效性。通过与通道注意力（Squeeze-and-Excitation, SE）、卷积核注意力（Selective Kernel, SK）、坐标注意力（Coordinate Attention, CA）与CBAM不同注意力机制进行消融实验，证明利用CBAM注意力机制构建奶牛跛行检测模型效果最佳。最后，与现有跛行检测方法进行对比，所提出的方法同时具有较好的性能和实用性。
［结论］本研究能够避免侧视视角下检测跛行奶牛时出现的遮挡问题，对于减少奶牛跛行发生率、提高牧场经济效益具有重要意义，符合牧场规模化建设的需求。
关键词： 奶牛跛行检测；时空融合；视频动作分类；深度图像；注意力机制；TSM
文章图片
a. 采集摄像头安装位置
b. 辅助摄像头安装位置
图1 挤奶厅通道采集图
Fig. 1 Collection diagram of milking parlor passage
a. 宽通道实际场景示意
b. 采集摄像头安装位置
图2 通往挤奶厅宽通道采集图
Fig. 2 Collection diagram of the wide passage leading to the milking parlor
a.跛行奶牛
b.非跛行奶牛
图3 跛行奶牛与非跛行奶牛深度图像序列
Fig. 3 Depth image sequences of lame dairy cows and non-lame dairy cows
图4 时空流特征融合方法技术路线
Fig. 4 Technical route of spatiotemporal flow feature fusion method
图5 FlowNet 2.0网络架构
Fig. 5 Network structure diagram of FlowNet 2.0
图6 融合时空流特征模式的奶牛俯视图像
Fig. 6 Top view images of dairy cows fused with
spatiotemporal flow feature patterns
图7 Cow-TSM网络结构
Fig. 7 Network structure of Cow-TSM
图8 LTDR模块
Fig. 8 LTDR module
图9 TSM结构
Fig. 9 The structure of TSM
图10 奶牛灰度图像提取光流可视化
Fig. 10 Optical flow visualization of grayscale image extraction of dairy cows
图11 奶牛跛行检测研究Cow-TSM模型训练损失曲线
Fig. 11 Cow-TSM model training loss curve for dairy cow lameness detection
图12 奶牛跛行检测模型Cow-TSM 5折交叉验证
Fig. 12 5 folders cross validation of Cow-TSM model for lameness detection in dairy cows
作者介绍
沈维政 教授
沈维政，教授，博士生导师。国家现代农业产业技术体系岗位科学家，农业农村部“神农青年英才”，国家重点研发计划项目负责人，东北农业大学计算机科学与技术学科带头人，中国畜牧兽医学会信息技术分委会副理事长。主要从事智慧畜牧研究工作，主持国家重点研发计划、国家自然科学基金等国家/省部级项目17项，获黑龙江省教学成果一等奖1项、黑龙江省科技进步二等奖1项，授权发明专利21项，制定标准6项，出版专著2部，发表学术论文107篇。
戴百生 副教授
戴百生，副教授，博士生导师。黑龙江省肉牛产业技术协同创新推广体系主任专家，国家奶牛产业技术体系智能化养殖岗位专家组成员，中国畜牧兽医学会信息技术分会理事，中国计算机学会哈尔滨分部委员，黑龙江省计算机学会青工委/计算机应用专委会委员；入选黑龙江省高层次人才、黑龙江省“高校青年创新人才”培养计划。主要从事畜禽健康智能化感知技术与装备研发等工作，先后主持国家自然科学基金、国家重点研发子课题、黑龙江省重点研发计划、黑龙江省自然科学基金等科研项目10余项；发表论文30余篇；申请/授权专利、软件著作权20余项；制定地方标准2项、团体标准2项；出版学术专著3部，副主编出版教材1部。
来源：《智慧农业（中英文）》2024年第4期
转载请联系编辑部授权
本期支持单位
推荐阅读
智慧农业微信交流服务群
发布征集
欢迎在我公众号发布科研团队介绍、创新科研成果及相关活动等信息。
