视觉/图像重磅干货,第一时间送达!
整体流程:
2. 基于YOLOV8的表盘指针和刻度数标的目标检测和关键点检测
2.1 指标数据集的制作
2.2 刻度数标数据集的制作
2.3 模型训练
3. 基于Paddleocr的刻度OCR识别
3.1 使用Paddleocr的预训练模型
将上一步检测出的刻度数标进行OCR识别,这里我使用 Paddleocr,具体安装参考官方说明
3.2 剔除错误的OCR结果,以及选定最符合的表盘刻度
在需要检测的图片中,压力表的种类有很多,有的刻度范围在0-1.6,有的刻度范围在0-1。我们需要明确具体检测的压力表的正确刻度属于是哪一种。下面是我例举的在我的数据集中出现的4种情况。
以上是4种标准的压力表表盘的刻度分布。"1.6": 45 表示该表盘最大的刻度为1.6,极坐标的角度为45(以指针尾部关键点为原点,顺时针建立极坐标系)。可以看到,每种表盘的最大刻度都在图片的右下角45°,每种表盘的最小刻度0,都在图片的左下角45°。
将OCR检测的结果与标准刻度中的字符进行比较,只保留出现在标准刻度中的结果,并累计哪个表盘符合的刻度的数据最多,从而确定该表盘为最符合的表盘。
上图中错误检测出了MC这个框,需要去除。且正确检测出了0、0.8、1.2和1.6等4个刻度,与表盘一最为符合,从而确定该表盘为表盘一。
4. 图片透视变换
以指标尾部关键点为原点建立极坐标系,这里我假设每个仪表盘的最后一个刻度的角度为45°。
1、确定最后一个点的坐标:已知最后一个点在透视变换后的极坐标角度为45°,假设所有刻度点距离圆心距离为R,则最后一个点的坐标可以表示为(45°,R)可以根据该极坐标得出笛卡尔坐标系下的坐标。
2、确定其他三个点的坐标:这里一共有4个间隔平分整个270°量程,所以每个刻度夹角为270/4=67.5°,据此可以依次计算出其他三个点在变换后的坐标。
通过这种方式,可以确定四个刻度点在透视变换后图像中的坐标,并用这些坐标来进行透视变换。
使用opencv进行透视变换,具体使用了cv2.getPerspectiveTransform 函数,scr_point 是原始图片上的4点坐标,dst_point是变换后4点的坐标。
5. 读数计算
6. 算法优化
6.1 会有无法识别出刻度
如上图所示,只识别出了0.4这个刻度,而按照上面的读数算法需要要求指针位于两个刻度之间,然后根据夹角之间的比例进行计算。所以这种情况下,需要补全0刻度,让指针位于0-0.4之间。这里我默认指定0位于表盘中心右下方45°的位置。
本文仅做学术分享,如有侵权,请联系删文。
来源丨机器学习AI算法工程
—THE END—
觉得有用,麻烦给个赞和在看