基于边缘计算和改进MobileNet v3的奶牛反刍行为实时监测方法

张宇 ¹ ,李相廷 ¹ ,孙雅琳 ² ,薛爱迪 ^{1, 3} ,张翼 ¹ ,姜海龙 ¹ ,沈维政¹

（1.东北农业大学 电气与信息学院，黑龙江 哈尔滨 150030，中国；2. 哈尔滨航天恒星数据系统科技有限公司，黑龙江 哈尔滨 150030，中国；3. 哈尔滨电机厂有限责任公司，黑龙江 哈尔滨 150030，中国)

（1）奶牛反刍行为监测意义：奶牛反刍活动的时间和强度是评估其日常行为模式的关键指标，持续实时监测有利于提升动物福利和农场生产力。

（2）现有监测方法及问题：目前主要采用基于传感器的非接触式监测方法，如声音、压力和速度传感器等。声音监测受检测范围和环境噪声限制；压力传感器使用的液压管可能影响奶牛舒适度且易损坏；速度传感器虽有优势，但传感器采集的原始数据需传输到后端系统处理，难以实现实时监测，且大量数据传输会增加能耗、缩短传感器电池寿命。

（3）边缘计算的作用：边缘计算将云服务靠近网络边缘、数据源和物联网设备，边缘智能能在网络边缘部署人工智能算法，在数据采集点附近进行分析和聚合，可减轻网络带宽和云数据中心负载，降低计算延迟和能耗，适合资源受限的牛场环境实时监测应用。

2.1  实验数据收集

2.1.1  实验设置

2022 年 5 月 20 日至 6 月 20 日在东北农业大学阿城实验基地进行，以 10 头非泌乳期健康荷斯坦奶牛为实验对象，使用六轴传感器采集六轴加速度数据，采样频率 5Hz，数据集总时长超180小时，终端设备安装在奶牛项圈上，奶牛分养在两个牛舍，每个牛舍配备红外夜视摄像头与终端设备时钟同步记录奶牛活动并存储在云端，通过监测视频手动观察奶牛反刍行为。

2.1.2  设备信息

终端设备感知模块为集成 3 轴 MEMS 陀螺仪和3轴 MEMS 加速度计的 MPU6050，无线传输模块采用NB - IoT技术，边缘服务器选用 Nvidia Jetson AGX Xavier，深度学习框架为Tensorflow 2.3，开发语言为Python 3.6，服务器需进行固件刷新、安装Miniforge并配置环境变量后安装Tensorflow 2.3。

2.2  数据处理

2.2.1  姿态分析与计算

（1）坐标系与姿态角定义：采用当地笛卡尔坐标系为导航坐标系，终端设备采集数计算在导航坐标系，需进行坐标变换，用四元数法更新奶牛姿态变换矩阵，可避免欧拉角法在处理奶牛姿态旋转时的问题，且计算复杂度低、能实时更新姿态角。

（2）基于卡尔曼滤波的融合姿态估计：单一传感器估计姿态角有误差，采用卡尔曼滤波算法融合数据，通过加速度计测量的三轴加速度计算姿态角信息建立观测更新方程，结合三轴角速度信息建立角速度更新方程作为卡尔曼滤波状态更新方程，迭代计算实现姿态检测系统数据融合，获得最优姿态角估计，经实验对比，卡尔曼滤波可减少姿态角估计波动，多传感器融合效果更好。

2.2.2  特征提取与选择

从六轴数据中提取时域和频域特征，包括96维特征集，如三轴加速度、角速度、SMV、姿态角的最值、分位数、均值、标准差等，以及SMV和姿态角经傅里叶变换后的频谱能量、频域熵和直流分量，将六轴数据分段，以288帧为最小处理单元，用16帧滑动窗口分组提取特征，提取后数据集输入维度为96×96×1。

2.3  联邦边缘智能模型

2.3.1  改进的 MobileNet v3与协同注意力机制

边缘设备资源有限，需选择轻量级神经网络，MobileNet v3通过深度可分离卷积构建轻量级网络，本研究在其 bneck 结构中的深度卷积后引入 CA 注意力机制形成CA - bneck，将位置信息嵌入通道注意力，减少计算成本，增强对关键特征的关注，构建的数据集作为CA - MobileNet v3网络输入，该网络通过卷积步长操作进行下采样，无池化操作。

2.3.2  基于 CA - MobileNet v3 的联邦边缘智能模型

联邦边缘智能模型由终端设备和边缘服务器组成，两者共享 CA - MobileNet v3 融合协同注意力机制并使用分布式数据样本协同训练。训练过程包括边缘服务器初始化参数、终端设备下载全局模型并使用本地数据训练上传参数、边缘服务器收集参数聚合更新全局模型，重复至模型收敛后部署更新参数到终端设备。训练目标是最小化全局损失函数，采用FedAvg算法平均参数，实验对比了MobileNet v3 和CA - MobileNet v3 模型，表明协同注意力模块可提高反刍识别精度，还分析了不同本地训练迭代次数 I 对模型性能的影响，确定 I = 6 时识别性能最佳。

2.4  分裂边缘智能模型

2.4.1  MobileNet - RNN 模型

基于卷积循环神经网络（CRNN）思想提出，由卷积神经网络（CNN）、循环神经网络（RNN）和全连接模块组成，CNN 模块采用轻量级的 CA - MobileNet v3 提取特征，RNN 模块采用双向长短期记忆（Bi - LSTM）网络捕捉奶牛行为数据的时间相关性，全连接模块包括全连接层和 Softmax 分类层，为避免过拟合在 Bi - LSTM 输出和全连接层后引入批量归一化（BN）层，Softmax 分类层用于识别奶牛反刍行为。

2.4.2  MobileNet - LSTM 模型与分裂边缘智能模型实现

MobileNet - LSTM 网络结构与 MobileNet - RNN 类似，为构建分布式边缘智能模型，用分裂学习技术将其分为两部分，在 CNN 和 RNN 模块间引入分裂层，浅层网络（CNN 模块）部署在终端设备进行特征提取，深层网络（RNN 和全连接模块）部署在边缘服务器进行特征融合学习，训练过程包括初始化、数据收集与前向传播、边缘服务器前向和反向传播、终端设备反向传播、迭代至模型收敛五个步骤。

2.5  性能评估指标

采用精确率（Precision）、召回率（Recall）、F1 分数（F1 - Score）、特异性（Specificity）和准确率（Accuracy）等指标评估分类器性能，根据预测类别和真实类别的关系计算，在实时奶牛反刍行为识别任务中，这些指标可清晰定义真阳性、假阳性、真阴性和假阴性。 

图1 奶牛反刍行为监测实验场及传感器佩戴位置

Fig. 1  Cow rumination behavior monitoring experimental field and sensor wearing position

注：X_n 指向东方；Y_n 指向北方；Z_n 垂直，相对于水平面向上指。体固定坐标系附在奶牛的颈部，其中 X_b 指向身体的右侧；Y_b 指向前方；Z_b 指向上方，垂直于由 X_b 和 Y_b 形成的平面。有三个姿态角，分别是俯仰角（θ）、横滚角（φ）和偏航角（ψ），它们表示奶牛相对于地面在奶牛坐标系中的方向。

图2 乳牛姿态转换的坐标示意图

Fig. 2  Coordinate schematic diagram of dairy cow posture transitions

图3 卡尔曼滤波算法解姿态角方框图

Fig. 3  Block diagram of attitude Angle solution using the Kalman filter algorithm

 a. 横滚角 (φ)

a. roll angle (φ) 

 b. 俯仰角 (θ)

b. pitch angle (θ)

图4 使用和不使用卡尔曼滤波的姿态估计实验比较图

Fig. 4  Comparison diagram of attitude estimation experiments with and without the Kalman filter 

图5 CA-bneck结构图

Fig. 5  Structure diagram of CA-bneck 

图6 联邦边缘智能模型训练流程图

Fig. 6  Flow chart of training of federated edge intelligent model

 图7 MobileNet-LSTM网络结构图

Fig. 7  Structure diagram of MobileNet-LSTM network

 图8 拆分边缘智能模型训练流程图

Fig. 8  Training flow chart of split edge intelligence model

3.1  联邦边缘智能模型测试结果

选择预处理后的数据集训练，按 6:2:2 比例划分训练集、验证集和测试集，用 CA - MobileNet v3 构建模型，在边缘服务器训练，验证集调整参数，测试集评估。对比 MobileNet v3 和 CA - MobileNet v3 模型，后者精度和准确率更高，联邦边缘智能模型利用数据互补增加有效数据量，通过设置不同 I 值实验，确定 I = 6 时识别性能最佳，联邦学习后的模型性能指标提升，表明基于联邦学习的 CA - MobileNet v3 模型可有效增强奶牛反刍行为识别能力。

3.2  分裂边缘智能模型测试结果

分裂边缘智能模型采用监督学习训练，对 CA - MobileNet v3 和 MobileNet - LSTM 进行消融实验，配置相同训练参数，结果表明 MobileNet - LSTM 最终识别准确率更高，因其融合了奶牛行为上下文信息，且收敛更快，因其引入了BN层。

3.3  实验对比分析

对比联邦边缘智能模型（基于 CA - MobileNet v3）和分裂边缘智能模型（基于 MobileNet - LSTM），前者性能指标更优，能提取更深层次的奶牛反刍行为特征，后者中间数据传输量大可能导致数据丢失和识别精度下降，通过箱线图展示实验结果，表明联邦边缘智能模型预测分布更稳定集中，可靠性和有效性更高，虽本研究方法性能指标略低于其他研究，但减少了数据传输和云计算量，可在低网络性能环境下实现实时奶牛反刍识别。 

图9 CA-MobileNet v3不同I值下训练模型的准确率曲线和损失曲线

Fig. 9  Accuracy curve and Loss curve of training models with different I values of CA-MobileNet v3

图10 拆分边缘智能模型中CA-MobileNet v3与MobileNet-LSTM训练曲线的比较

Fig. 10  Comparison of training curves between CA-MobileNet v3 and MobileNet-LSTM of split edge intelligence model

 图11 MobileNet v3、CA-MobileNet、联邦边缘智能模型和拆分边缘智能模型实验结果分布的箱线图

Fig. 11  Boxplot of experimental results distribution for MobileNet v3， CA-MobileNet， Federated edge intelligence model， and Split edge intelligence model

实验结果表明，基于CA-MobileNet v3的联邦式边缘智能模型在识别准确率上表现最佳，平均查准率、召回率、F1-Score、特异性以及准确率分别达到97.1%、97.9%、97.5%、98.3%和98.2%。这表明该研究提供了一种实时有效的奶牛反刍行为监测方法，且该方法具有实际应用的潜力。

总体而言，本研究不仅提供了一种新的技术手段来监测和管理奶牛健康，还展示了边缘计算在智能农业中的广阔应用前景。通过减少对中心化数据中心的依赖，该方法有助于降低成本、提高效率，并可能对农业的可持续发展产生积极影响。

发布征集