基于HigherHRNet的煤矿井下人体姿态估计快速网络研究
张延军, 陈博
作者简介
张延军（1982 —），河北省丰宁县人，太原科技大学创新创业学院副院长，工学博士，教授/博士导师。主要研究领域：机电液复合传动、智能控制技术及装备，机器人系统工程与控制技术。
扫码阅读全文
摘要
煤矿井下人体姿态的快速估计是井下作业智慧安全检测的重要前提。为解决煤矿井下多尘多雾、照明不足及颜色相融等问题，提高人体姿态估计关键点分配准确度及网络运行速度，研究新的Optimising HigherHRNet(OH-HRNet)快速网络模型：对HigherHRNet模型的轻量化设计、关键点分配进行深入研究，提出了基于注意力机制的记忆卷积模块及强化骨骼约束的关键点分配算法，并改进了算法的损失函数。在煤矿井下场景数据集和COCO公开数据集上的实验结果表明: OH-HRNet在GPU的速度上是LitePose的1.06倍，平均精度均值mAP提高了7.4%，平均召回率均值mAR提高了14.0%，可以实现更有效的智慧安全检测。
主要内容
设计了Optimising HigherHRNet(简称“OH-HRNet”)模型，设计一种基于注意力机制的记忆卷积模块，探索基于部件关联场的强化骨骼关键点分配算法，强化骨骼对人体姿态的约束。构建煤矿井下人体数据集，同时利用COCO数据集，对OH-HRNet模型在煤矿井下场景和开放场景中人体姿态估计进行性能评估。
1. OH-HRNet模型
图 1 HigherHRNet网络结构示意图
1.1 记忆卷积模块
图 2 各卷积通道特征图
图 3 网络识别结果对比图(利用记忆增强模块改进前后效果)
1.1.1 遗忘机制
图 4 遗忘机制结构图
1.1.2 记忆增强机制
图 5 记忆卷积模块结构图
1.2 关键点分配算法
图 6 关键点识别效果对比图
1.2.1 算法约束
1.2.2 定义损失函数
2. 实验验证与分析
2.1 数据集及评估标准
2.2 实验设置
2.3 消融实验
表 1 消融实验对比
2.4 煤矿井下实验
表 2 煤矿井下场景各网络准确率、推理延迟
图 7 煤矿井下人体姿态估计效果图
3. 结束语
1) 针对煤矿井下复杂环境下的人体姿态估计网络速度与精度的平衡问题及关键点分配问题，提出一种OH-HRNet模型。消融实验表明：在COCO数据集中，遗忘机制使网络速度提高为原来的21.3倍，记忆增强机制可以使mAP提高到54.6%，使用7×7卷积核可以使mAP提高到61.7%，强化骨骼约束分配算法可以使召回率提高到67.6%。
2) 在煤矿井下人体姿态方面，OH-HRNet模型在CPU和GPU运行速度上，分别是网络LitePose速度的1.04倍和1.06倍，mAP提高了7.4%，mAR提高了14.0%。
张延军, 陈博. 基于HigherHRNet的煤矿井下人体姿态估计快速网络研究[J]. 矿业安全与环保, 2024, 51(4): 35-40.
ZHANG Yanjun, CHEN Bo. Research on fast network of human pose estimation in underground coal mine based on HigherHRNet[J]. Mining Safety & Environmental Protection, 2024, 51(4): 35-40.
END
供稿：陈玉涛
审核：熊云威
声明：本平台发布的所有稿件，《矿业安全与环保》均享有稿件的信息网络传播权。未经授权，不得匿名转载。本平台所使用的图片属于相关权利人所有，因客观原因，部分作品如存在不当使用的情况，请相关权利人随时与我们联系。
