CN115546794B 一种基于深度学习和ocr技术的圆形仪表表盘校正方法 （华南理工大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115546794B(45)授权公告日2025.07.04

(21)申请号202211144560.5

(22)申请日2022.09.20

(65)同一申请的已公布的文献号申请公布号CN115546794A

(43)申请公布日2022.12.30

(73)专利权人华南理工大学

地址510640广东省广州市天河区五山路

381号

(72)发明人曲烽瑞安毅杜启亮王昭霖

田联房

(74)专利代理机构广州市华学知识产权代理有限公司44245

专利代理师冯炳辉

(51)Int.CI.

GO6V30/148(2022.01)

G06T7/136(2017.01)

GO6V10/25(2022.01)

GO6V10/44(2022.01)

(56)对比文件

CN111401358A,2020.07.10

CN111488874A,2020.08.04

审查员董雪

权利要求书2页说明书6页附图4页

(54)发明名称

实例分割深度学习模型提取仪表的表盘ROI图像和掩膜ROI

实例分割深度学习模型

提取仪表的表盘ROI图

像和掩膜ROI图像

利用射影变换对仪表表盘进行倾斜校正

OCR文本检测深度学习模型对表盘ROI图像进行字符检测

利用字符区域的四边形边界框对仪表表盘进行旋转校正

(57)摘要

B本发明公开了一种基于深度学习和OCR技术的圆形仪表表盘校正方法，包括：利用实例分割深度学习模型获取仪表的表盘ROI图像和对应的图像掩膜，通过检测图像掩膜的中的表盘轮廓并进行椭圆拟合，按照将椭圆表盘映射为圆形的思路，利用射影变换实现仪表表盘的倾斜校正，再利用OCR文本检测深度学习模型获取仪表图像中的字符区域信息并进一步计算仪表表盘斜率，从而实现仪表图像的旋转校正。本发明具有不依赖模板、通用性强、充分利用仪表自动读数系统中的现有模型等优点，为解决仪表自动读数识别问题中的仪表表盘校正问题提供了一种通用、有效

B

CN115546794的解决方

CN115546794

CN115546794B权利要求书1/2页

2

1.一种基于深度学习和OCR技术的圆形仪表表盘校正方法，其特征在于，包括以下步

骤：

1)收集巡检场景图像，对其中的仪表表盘进行实例分割数据标注，制作数据集并训练用于提取仪表表盘的实例分割深度学习模型；收集仪表表盘图像，对表盘上的字符进行OCR数据标注，制作数据集并训练用于提取仪表图像字符区域的OCR文本检测深度学习模型；

2)输入巡检场景图像于实例分割深度学习模型，模型推理得到仪表表盘中字符区域的矩形边界框和图像掩膜，利用所述矩形边界框对巡检场景图像和图像掩膜进行裁剪，得到仅包括仪表表盘部分对应的子图，称为表盘ROI图像和掩膜ROI图像；

3)对所述掩膜ROI图像进行表盘轮廓提取，并对得到的表盘轮廓进行椭圆拟合；利用平面几何知识，基于椭圆拟合结果得到的参数计算该椭圆的长轴点和短轴点坐标；

4)沿短轴方向寻找距离椭圆圆心为半长轴距离的两点作为两短轴点校正后的期望特征点，求得射影变换矩阵；

5)利用上述射影变换矩阵对表盘ROI图像进行射影变换，以实现仪表表盘的倾斜校正；

6)将倾斜校正后的表盘ROI图像输入OCR文本检测深度学习模型，推理得到表盘ROI图像中字符区域的四边形边界框，依据所述四边形边界框的参数计算仪表表盘斜率；

7)将仪表表盘斜率转化为角度值，称为仪表表盘旋转角，以仪表表盘的圆心为旋转中心，对表盘ROI图像反向旋转仪表表盘旋转角的角度，即可得到旋转校正的表盘ROI图像，从而实现仪表表盘的旋转校正；

8)对旋转校正的表盘ROI图像进行后处理，得到最终校正后的表盘ROI图像。

2.根据权利要求1所述的一种基于深度学习和OCR技术的圆形仪表表盘校正方法，其特征在于，在步骤1)中，所述实例分割深度学习模型为卷积神经网络，输入一幅巡检场景图像，输出巡检场景图像中待检测仪表的仪表表盘区域矩形边界框和图像掩膜，所述图像掩膜指对仪表表盘能够进行覆盖和实现像素级分割的二值图像；所述矩形边界框指包含仪表表盘的最小外接矩形，用矩形边界框中心点坐标(x,y)和矩形边界框的宽W、高H来表示，描述了输入实例分割深度学习模型的巡检场景