(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211265949.5 (22)申请日 2022.10.17 (71)申请人 暨南大学 地址 510632 广东省广州市天河区黄埔大 道西601号 (72)发明人 张冰　孔锐　揭英达　 (74)专利代理 机构 广东金穗知识产权代理事务 所(普通合伙) 44852 专利代理师 何敏斌 (51)Int.Cl. G06V 10/26(2022.01) G06N 3/04(2006.01) G06V 10/24(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01)G06V 30/10(2022.01) (54)发明名称 一种基于机器视觉的指针仪表读数方法及 系统、 存储介质 (57)摘要 本发明公开了一种基于机器视觉的指针仪 表读数方法及系统、 存储介质， 所述方法包括： 获 取模板仪表正面的第一图像与待测仪表正面的 第二图像； 基于所述第一图像和所述第二图像， 计算仿射变换矩阵； 其中， 所述仿射变换矩阵表 征第二图像相对于第一图像的位置映射关系； 根 据所述仿射变换矩阵， 对第二图像进行校正， 得 到第三图像； 通过图像分割算法从所述第三图像 中分割出指针图像， 根据所述指针图像， 得到指 针图像中的特征直线； 根据所述特征直线， 得到 指针读数， 通过基于深度学习的算法对指针进行 读数。 本发 明通过利用深度学习领域来解决仪表 自动读数问题， 即使在恶劣环境， 仍能取得较准 确的读数， 而 且读数精准。 权利要求书2页 说明书10页 附图2页 CN 115331014 A 2022.11.11 CN 115331014 A 1.一种基于 机器视觉的指针仪表读数 方法， 其特 征在于， 包括以下步骤: 获取模板 仪表正面的第一图像与待测仪表正 面的第二图像； 基于所述第 一图像和所述第 二图像， 计算仿射变换矩阵； 其中， 所述仿射变换矩阵表征 第二图像相对于第一图像的位置映射关系； 根据所述仿射变换矩阵， 对第二图像进行 校正， 得到第三图像； 通过图像分割算法从所述第三图像中分割出指针图像， 根据所述指针图像， 得到指针 图像中的特 征直线； 根据所述特 征直线， 得到指针读数。 2.根据权利要求1所述的基于机器视觉的指针仪表读数方法， 其特征在于， 所述基于所 述第一图像和所述第二图像， 计算仿射变换矩阵， 包括： 通过superpoint算法分别提取出第一图像的第一特征点、 第一描述符、 第一分数， 以及 第二图像的第二特 征点、 第二描述符、 第二分数； 基于所述第一特征点、 第一描述符、 第一分数， 以及第二特征点、 第二描述符、 第二分 数， 通过superglue算法计算所述第一图像和所述第二图像的匹配点对； 基于所述匹配点对， 通过opencv函数计算得到 仿射变换矩阵。 3.根据权利要求1所述的基于机器视觉的指针仪表读数方法， 其特征在于， 所述根据 所 述仿射变换矩阵， 对第二图像进行 校正， 得到第三图像， 包括： 基于所述仿射变换矩阵， 通过warpAffine函数计算第二图像的映射图像， 并根据第一 图像的尺寸 参数截取 所述映射图像的尺寸 参数， 得到对第二图像进行 校正后的第三图像。 4.根据权利要求1所述的基于机器视觉的指针仪表读数方法， 其特征在于， 所述通过图 像分割算法从所述第三图像中分割 出指针图像， 根据所述指针图像， 得到指针图像中的特 征直线， 包括： 通过u2net网络从所述第三图像中分割出指针图像， 通过RANSAC算法计算出 所述指针图像中的特 征直线。 5.根据权利要求1所述的基于机器视觉的指针仪表读数方法， 其特征在于， 所述根据 所 述特征直线， 得到指针读数， 包括： 获取第一图像中第一指针圆心位置、 第一 最低刻度位置、 第一 最高刻度位置； 根据所述第一指针圆心位置、 第一最低刻度位置、 第一最高刻度位置以及仿射变换矩 阵， 得到第二图像的第二指针圆心位置、 第二 最低刻度位置、 第二 最高刻度位置； 根据指针图像中的特征直线、 待识别仪表图像的第二指针圆心位置、 第二最低刻度位 置和第二 最高刻度位置， 确定指针指向、 最低刻度指向和最大刻度指向； 根据所述指针指向、 最低刻度指向和最大刻度指向， 计算出指针读数。 6.根据权利要求5所述的基于机器视觉的指针仪表读数方法， 其特征在于， 所述指针读 数满足以下公式： 指针读数=  ;其中， θ为根据指针指向、 最低刻度指向和最 大刻度指向计算出的指针摆角； β 为指针量程； b为指针的最低刻度； ɑ为指针由最低刻度摆 向至最大刻度时的摆角。 7.根据权利要求2所述的基于 机器视觉的指针仪表读数 方法， 其特 征在于， 还 包括： 根据第一图像得到第 一掩码， 将所述第 一掩码中除模板仪表外的图像像素位置以及指 针图像像素位置均标记为0， 其他像素位置标记为1， 在通过superpoint算法提取第一图像权　利　要　求　书 1/2 页 2 CN 115331014 A 2的第一特 征点、 第一描述符、 第一分数时， 屏蔽第一掩码中标记为0对应的图像 像素。 8.一种基于 机器视觉的指针仪表读数系统， 其特 征在于， 包括： 图像获取 单元， 用于获取模板 仪表正面的第一图像与待测仪表正 面的第二图像； 检测匹配单元， 用于基于所述第一图像和所述第二图像， 计算仿射变换矩阵； 其中， 所 述仿射变换矩阵表征第二图像相对于第一图像的位置映射关系； 校正单元， 用于根据所述仿射变换矩阵， 对第二图像进行 校正， 得到第三图像； 分割检测单元， 用于通过图像分割算法从所述第三图像中分割出指针图像， 并根据所 述指针图像， 得到指针图像中的特 征直线； 读数单元， 用于根据所述特 征直线， 得到指针读数。 9.一种电子设备， 其特征在于， 包括： 至少一个处理器， 以及与所述至少一个处理器通 信连接的存储器， 其中， 所述存储器存储有 可被所述至少一个处理器执行的指 令， 所述指 令 被所述至少一个处理器执行， 以使所述至少一个处理器能够执行权利要求1 ‑7任一项所述 的基于机器视觉的指针仪表读数 方法。 10.一种计算机存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序在被 处理器执行时， 实现权利要求1 ‑7任一项所述的基于 机器视觉的指针仪表读数 方法。权　利　要　求　书 2/2 页 3 CN 115331014 A 3