基于YOLOv8的关键点检测的仪表盘读数方案详解

2024-10-15 08:30   重庆  
点击下方卡片,关注“机器视觉与AI深度学习

视觉/图像重干货,第一时间送达!



整体流程:

2. 基于YOLOV8的表盘指针和刻度数标的目标检测和关键点检测

2.1 指标数据集的制作

我使用labelme进行yolov8数据集的制作。首先使用矩形框选指针的整体结构,然后使用控制点依次点选指标的尾部和头部。值得注意的是控制点的点选顺序应该保持一致。后续需要将labelme格式的标注文件转化成yolo格式。

2.2 刻度数标数据集的制作



2.3 模型训练


3. 基于Paddleocr的刻度OCR识别

3.1 使用Paddleocr的预训练模型

将上一步检测出的刻度数标进行OCR识别,这里我使用 Paddleocr,具体安装参考官方说明

3.2 剔除错误的OCR结果,以及选定最符合的表盘刻度


在需要检测的图片中,压力表的种类有很多,有的刻度范围在0-1.6,有的刻度范围在0-1。我们需要明确具体检测的压力表的正确刻度属于是哪一种。下面是我例举的在我的数据集中出现的4种情况。

以上是4种标准的压力表表盘的刻度分布。"1.6": 45 表示该表盘最大的刻度为1.6,极坐标的角度为45(以指针尾部关键点为原点,顺时针建立极坐标系)。可以看到,每种表盘的最大刻度都在图片的右下角45°,每种表盘的最小刻度0,都在图片的左下角45°。

将OCR检测的结果与标准刻度中的字符进行比较,只保留出现在标准刻度中的结果,并累计哪个表盘符合的刻度的数据最多,从而确定该表盘为最符合的表盘。

上图中错误检测出了MC这个框,需要去除。且正确检测出了0、0.8、1.2和1.6等4个刻度,与表盘一最为符合,从而确定该表盘为表盘一。

4. 图片透视变换

以指标尾部关键点为原点建立极坐标系,这里我假设每个仪表盘的最后一个刻度的角度为45°。

1、确定最后一个点的坐标:已知最后一个点在透视变换后的极坐标角度为45°,假设所有刻度点距离圆心距离为R,则最后一个点的坐标可以表示为(45°,R)可以根据该极坐标得出笛卡尔坐标系下的坐标。

2、确定其他三个点的坐标:这里一共有4个间隔平分整个270°量程,所以每个刻度夹角为270/4=67.5°,据此可以依次计算出其他三个点在变换后的坐标。

通过这种方式,可以确定四个刻度点在透视变换后图像中的坐标,并用这些坐标来进行透视变换。

使用opencv进行透视变换,具体使用了cv2.getPerspectiveTransform 函数,scr_point 是原始图片上的4点坐标,dst_point是变换后4点的坐标。

5. 读数计算

6. 算法优化

6.1 会有无法识别出刻度

如上图所示,只识别出了0.4这个刻度,而按照上面的读数算法需要要求指针位于两个刻度之间,然后根据夹角之间的比例进行计算。所以这种情况下,需要补全0刻度,让指针位于0-0.4之间。这里我默认指定0位于表盘中心右下方45°的位置。

本文仅做学术分享,如有侵权,请联系删文。

来源丨机器学习AI算法工程

—THE END—

觉得有用,麻烦给个赞和在看 

机器视觉与AI深度学习
专注于机器视觉、AI、深度学习等技术最新资讯、实战内容及应用案例的分享,交流!
 最新文章