(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221093424 4.1 (22)申请日 2022.08.04 (71)申请人 中国电力科 学研究院有限公司 地址 100192 北京市海淀区清河小营东路 15号 申请人 国家电网有限公司 　 国网山东省电力公司 (72)发明人 李佳　段祥骏　王庆杰　李运硕　 冯德志　许媛媛　张琳　段青　 沙广林　王素敏　史雪锋　 (74)专利代理 机构 北京安博达知识产权代理有 限公司 1 1271 专利代理师 徐国文 (51)Int.Cl. G06V 10/22(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/20(2022.01) G06V 10/44(2022.01) G06V 10/46(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种指针式仪表识别方法、 系统、 设备及存 储介质 (57)摘要 一种指针式仪表识别方法、 系统、 设备及存 储介质， 包括将待识别图像按设定比例缩放后输 入预先训练好的SSD网络中进行检测， 得到图像 中表盘区域和表 盘相对于水平方向的角度； 根据 表盘相对于水平方向的角度调整表盘区域， 并将 调整角度后的表盘区域输入到预先训练好的改 进Faster  R‑CNN网络识别指针转动角度； 基于指 针转动角度结合量程转换公式得到指针式仪表 的读数； 其中， SSD网络是基于标记了表盘区域的 图片和表盘相对于水平方向的角度对SSD网络进 行训练得到； 改进Faster  R‑CNN网络是基于表 盘 区域图片和指针转动角度对改进的Faster  R‑ CNN网络进行训练得到的。 根据表盘相对于水平 方向的角度调整表盘区域后采用训练好的改进 Faster R‑CNN网络识别指针旋转角度， 得到指针 式仪表的精确读数。 权利要求书3页 说明书10页 附图4页 CN 115424000 A 2022.12.02 CN 115424000 A 1.一种指针式仪表 识别方法， 其特 征在于， 包括： 将待识别图像按设定比例缩放后输入预先训练好的SSD网络中进行检测， 得到 图像中 表盘区域和所述表盘相对于水平方向的角度； 将所述表盘区域根据 所述表盘相对于水平方向的角度调整表盘区域， 并将调整角度后 的表盘区域输入到预 先训练好的改进Faster  R‑CNN网络识别指针转动角度； 基于所述指针转动角度结合 量程转换公式得到指针式仪表的读数； 其中， 所述SSD网络是基于标记了表盘区域的图片和表盘相对于水平方向的角度对SSD 网络进行训练得到； 所述改进Faster  R‑CNN网络是基于图片中的表盘区域和所述表盘区域中指针转动角 度对改进的Faster  R‑CNN网络进行训练得到的。 2.如权利要求1所述的方法， 其特 征在于， 所述S SD网络的训练包括： 将标记了表盘区域的图片和图片中表盘相对于水平方向的角度输入所述SSD网络中， 由所述SSD网络通过设置不同尺寸和数量的先验框对图片 中的表盘区域进行检测， 得到检 测表盘区域和表盘相对于水平方向的角度的检测框 。 3.如权利要求2所述的方法， 其特征在于， 所述将待识别图像按设定比例缩放后输入预 先训练好的SSD网络中进 行检测， 得到图像中表盘区域和所述表盘相对于水平方向的角度， 包括： 将待识别图像按设定比例缩放后输入预先训练好的SSD网络中， 由所述SSD网络的检测 框检测出 所述待识别图像中的表盘区域， 以及所述表盘相对于水平方向的角度。 4.如权利要求1所述的方法， 其特 征在于， 所述改进Faster  R‑CNN网络包括： 以进行特征提取的VGG16 网络为基础网络、 在提取的特征中引入注意力机制的SE模块， 以及对表盘区域中指针进行类别划分和坐标位置回归的区域建议网络 。 5.如权利要求 4所述的方法， 其特 征在于， 所述改进Faster  R‑CNN网络的训练包括： 获取表盘区域， 以及所述表盘区域中指针转动角度； 由所述表盘区域和所述表盘区域中指针转动角度构建样本集； 采用所述样本集中的表盘区域和所述表盘区域中指针转动角度对所述改进Fastee  R‑ CNN网络进行训练得到训练好的改进Faste e R‑CNN网络。 6.如权利要求4所述的方法， 其特征在于， 所述将调整角度后的表盘区域输入到预先训 练好的改进Faster  R‑CNN网络识别指针转动角度， 包括： 将所述调整角度后的表盘区域输入到VGG16网络中， 提取表盘区域中指针区域特征和 指针区域的背景 特征； 基于指针区域特征和指针区域的背景特征结合所述指针区域特征和指针区域的背景 特征的权重得到更新特 征图； 由所述区域建议网络对所述更新特征图中的指针进行类别划分和坐标位置回归， 得到 所述表盘区域中指针转动角度。 7.如权利要求5所述的方法， 其特 征在于， 所述改进Faster  R‑CNN网络的训练还 包括： 采用测试集计算训练好的改进Faster  R‑CNN网络的mAP值； 基于所述mAP值对所述训练好的改进Faster  R‑CNN网络进行评价。 8.如权利要求7 所述的方法， 其特 征在于， 所述改进Faster  R‑CNN网络的训练还 包括：权　利　要　求　书 1/3 页 2 CN 115424000 A 2基于测试集和验证集计算训练好的改进Faster  R‑CNN网络的测试损失和验证损失； 从所述测试损失中观测所述训练好的改进Faster  R‑CNN网络是否具有快速收敛的特 性； 当所述测试损失和所述验证损失重合且同为不断下降趋于稳定时， 所述训练好的改进 Faster R‑CNN网络没有过拟合。 9.如权利要求2所述的方法， 其特 征在于， 所述S SD网络的训练还 包括： 基于测试集和验证集计算训练好的S SD网络的测试损失和验证损失； 从所述测试损失中观测所述训练好的S SD网络是否具有快速收敛的特性； 当所述测试损失和所述验证损 失重合且 同为不断下降趋于稳定时， 所述训练好的SSD 网络没有过拟合。 10.一种指针式仪表 识别系统， 其特 征在于， 包括： 区域检测模块， 用于将待识别图像按设定比例缩放后输入预先训练好的SSD网络中进 行检测， 得到图像中表盘区域和所述表盘相对于水平方向的角度； 角度检测模块， 用于将所述表盘区域根据 所述表盘相对于水平方向的角度调整表盘区 域， 并将调整角度后的表盘区域输入到预先训练好的改进 Faster R‑CNN网络识别指针旋转 角度； 度数转换模块， 用于基于所述指针转动角度结合量程转换公式得到指针式仪表的读 数； 其中， 所述SSD网络是基于标记了表盘区域的图片和表盘相对于水平方向的角度对SSD 网络进行训练得到； 所述改进Faster  R‑CNN网络是基于图片中的表盘区域和所述表盘区域中指针转动角 度对改进的Faster  R‑CNN网络进行训练得到的。 11.如权利要求10所述的系统， 其特 征在于， 还 包括SSD网络训练模块， 用于： 将标记了表盘区域的图片和图片中表盘相对于水平方向的角度输入所述SSD网络中， 由所述SSD网络通过设置不同尺寸和数量的先验框对图片 中的表盘区域进行检测， 得到检 测表盘区域和表盘相对于水平方向的角度的检测框 。 12.如权利要求1 1所述的系统， 其特 征在于， 所述区域检测模块， 具体用于： 将待识别图像按设定比例缩放后输入预先训练好的SSD网络中， 由所述SSD网络的检测 框检测出 所述待识别图像中的表盘区域， 以及所述表盘相对于水平方向的角度。 13.如权利要求10所述的系统， 其特 征在于， 所述改进Faster  R‑CNN网络构包括： 以进行特征提取的VGG16 网络为基础网络、 在提取的特征中引入注意力机制的SE模块， 以及对表盘区域中指针进行类别划分和坐标位置回归的区域建议网络 。 14.如权利要求10所述的系统， 其特征在于， 还包括改进Faster  R‑CNN网络训练模块， 用于： 获取表盘区域， 以及所述表盘区域中指针转动角度； 由所述表盘区域和所述表盘区域中指针转动角度构建样本集； 采用所述样本集中的表盘区域和所述表盘区域中指针转动角度对所述改进Fastee  R‑ CNN网络进行训练得到训练好的改进Faste e R‑CNN网络。 15.如权利要求13所述的系统， 其特 征在于， 所述角度检测模块具体用于：权　利　要　求　书 2/3 页 3 CN 115424000 A 3