(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211144560.5 (22)申请日 2022.09.20 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 曲烽瑞　安毅　杜启亮　王昭霖　 田联房　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 冯炳辉 (51)Int.Cl. G06V 30/148(2022.01) G06T 7/136(2017.01) G06V 10/25(2022.01) G06V 10/44(2022.01) (54)发明名称 一种基于深度学习和OCR技术的圆形仪表表 盘校正方法 (57)摘要 本发明公开了一种基于深度学习和OCR技术 的圆形仪表表盘校正方法， 包括： 利用实例分割 深度学习模型获取仪表的表盘ROI图像和对应的 图像掩膜， 通过检测图像掩膜的中的表盘轮廓并 进行椭圆拟合， 按照将椭圆表盘映射为圆形的思 路， 利用射影变换实现仪表表盘的倾斜校正， 再 利用OCR文本检测深度学习模型获取仪表图像中 的字符区域信息并进一步计算仪表表盘斜率， 从 而实现仪表图像的旋转校正。 本发 明具有不依赖 模板、 通用性强、 充分利用仪表自动读数系统中 的现有模型等优点， 为解决仪表自动读数识别问 题中的仪表表盘校正问题提供了一种通用、 有效 的解决方案 。 权利要求书2页 说明书6页 附图4页 CN 115546794 A 2022.12.30 CN 115546794 A 1.一种基于深度学习和OCR技术的圆形仪表表盘校正方法， 其特征在于， 包括以下步 骤： 1)收集巡检场景图像， 对其中的仪表表盘进行实例分割数据标注， 制作数据集并训练 用于提取仪表表盘的实例分割深度学习模型； 收集仪表表盘图像， 对表盘上的字 符进行OCR 数据标注， 制作数据集并训练用于提取仪表图像字符区域的OCR文本检测深度学习模型； 2)输入巡检场景图像于实例分割深度 学习模型， 模型推理得到仪表表盘 中字符区域的 矩形边界框和图像掩膜， 利用所述矩形边界框对巡检场景图像和图像掩膜进行裁剪， 得到 仅包括仪表 表盘部分对应的子图， 称为表盘ROI图像和掩膜ROI图像； 3)对所述掩膜ROI图像进行表盘轮廓提取， 并对得到的表盘轮廓进行椭圆拟合； 利用平 面几何知识， 基于椭圆拟合结果得到的参数计算该椭圆的长轴点和短轴点 坐标； 4)沿短轴方向寻找距离椭圆圆心为半长轴距离的两点作为两短轴点校正后的期望特 征点， 求得射影 变换矩阵； 5)利用上述 射影变换矩阵对表盘ROI图像进行射影 变换， 以实现仪表 表盘的倾 斜校正； 6)将倾斜校正后的表盘ROI图像输入OCR文本检测深度学习模型， 推理得到表盘ROI图 像中字符区域的四边形边界框， 依据所述四边形边界框的参数计算仪表 表盘斜率； 7)将仪表表盘斜率转化为角度值， 称为仪表表盘旋转角， 以仪表表盘的圆心为旋转中 心， 对表盘ROI图像反向旋转仪表表盘旋转角的角度， 即可得到旋转校正的表盘ROI图像， 从 而实现仪表 表盘的旋转校正； 8)对旋转校正的表盘ROI图像进行后处 理， 得到最终校正后的表盘ROI图像。 2.根据权利要求1所述的一种基于深度 学习和OCR技术的圆形仪表表盘校正方法， 其特 征在于， 在步骤1)中， 所述实例分割深度学习模型为卷积神经网络， 输入一幅巡检场景图 像， 输出巡检场景图像中待检测仪表的仪表表盘区域矩形边界框和图像掩膜， 所述图像掩 膜指对仪表表盘能够进行覆盖和实现像素级分割的二值图像； 所述矩形边界框指包含仪表 表盘的最小外接矩形， 用矩形边界框中心点坐标(x,y)和矩形边界框的宽W、 高H来表示， 描 述了输入实例分割深度学习模型的巡检场景图像中子图区域的边界； 在图像掩膜中获取所 述矩形边界框内的子图， 得到的图像定义为掩膜ROI图像； 在巡检场景图像中获取所述矩形 边界框内的子图， 并用掩膜ROI图像的与所述巡检场景图像的子图做图像按位与运算， 得到 的图像为表盘ROI图像。 3.根据权利要求2所述的一种基于深度 学习和OCR技术的圆形仪表表盘校正方法， 其特 征在于， 在步骤1)中， 所述OCR文本检测深度学习模 型为卷积神经网络， 输入一幅表盘ROI图 像， 输出表盘ROI图像中所有仪表图像字符区域的四边形边界框； 每一个四边形边界框表 示 一个仪表图像字符区域的最小外 接四边形， 用四边形边界框的四个顶点 坐标描述。 4.根据权利要求3所述的一种基于深度 学习和OCR技术的圆形仪表表盘校正方法， 其特 征在于， 在步骤2)中， 为了保证能够获得完整仪表表盘轮廓， 将巡检场景图像输入实例分割 深度学习模 型获取矩形边界框参数后， 在分割表盘ROI图像和掩膜ROI图像区域时需要向外 扩大剪切区域。 5.根据权利要求4所述的一种基于深度 学习和OCR技术的圆形仪表表盘校正方法， 其特 征在于， 在步骤3)中， 所述椭圆拟合的结果得到的参数包括椭圆中心 点、 椭圆的长轴长度和 短轴长度、 椭圆旋转角度， 所述椭圆旋转角度指椭圆长轴 与椭圆方向参考线的夹角， 所述椭权　利　要　求　书 1/2 页 2 CN 115546794 A 2圆方向参 考线指从椭圆 圆心出发竖直向上的射线。 6.根据权利要求5所述的一种基于深度 学习和OCR技术的圆形仪表表盘校正方法， 其特 征在于， 在步骤4)中， 寻找校正后的期望特 征点， 具体如下： 利用平面几何知识计算校正后原始特征点； 校正前特征点包括椭圆两长轴点和两短轴 点， 两长轴点的校正后原始特征点与校正前一致， 两短轴点的校正后原始特征点为短轴 所 在方向上到椭圆中心点的距离为半长轴长度的点； 在工程实践中还需要将校正后原始特征点整体向图像右下方平移一段距离， 目的是为 了保证校正后的表盘ROI图像完整， 得到的结果 为最终校正后的期望特 征点。 7.根据权利要求6所述的一种基于深度 学习和OCR技术的圆形仪表表盘校正方法， 其特 征在于， 在步骤4)中， 所述 射影变换矩阵的求 解公式如下： 式中， (x1,y1)表示一个校正前特征点的坐标、 (x2,y2)表示对应校正后的期望特征点坐 标， H11～H33所描述的矩阵为射影变换矩阵， 记为H； 利用上述校正前后的特征点能够构建方 程组， 并由方程组解得H11～H33这9个参数， 即得到射影 变换矩阵H 。 8.根据权利要求7所述的一种基于深度 学习和OCR技术的圆形仪表表盘校正方法， 其特 征在于， 在步骤6)中， 所述仪表表盘的斜率定义为表盘ROI图像内的所有字 符区域斜率的平 均值， 所述字符区域 斜率定义为字符区域的四边形边界框上 下两边斜率的平均值。 9.根据权利要求8所述的一种基于深度 学习和OCR技术的圆形仪表表盘校正方法， 其特 征在于， 在步骤8)中， 所述后处理是为了去除图像尺 寸扩张过程中造成的多余黑边， 具体步 骤包括： 8.1)将校正后表盘ROI 图像从彩色图像变为灰度图像， 然后设定分割阈值进行图像二 值化分割， 获得表盘ROI图像的输出图像掩膜； 8.2)检测上述输出图像掩膜的轮廓， 该轮廓代表表盘ROI图像的外部轮廓， 并对该轮廓 进行最小外接矩形拟合， 得到的最小外接矩形即为仪表表盘的矩形边界框， 矩形边界框参 数包括其中心点 坐标和宽度高度； 8.3)利用该矩形边界框参数对校正后的表盘ROI 图像进行分割， 获取矩形边界框内部 的子图， 该子图就是最终的校正后的表盘ROI图像。权　利　要　求　书 2/2 页 3 CN 115546794 A 3