(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211142149.4 (22)申请日 2022.09.19 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市包河区屯溪路 193号 (72)发明人 朱敏　卞京　储昭碧　 (74)专利代理 机构 合肥和瑞知识产权代理事务 所(普通合伙) 34118 专利代理师 王挺 (51)Int.Cl. G06T 7/73(2017.01) G06V 10/44(2022.01) G06V 10/48(2022.01) G06V 10/56(2022.01) (54)发明名称 一种基于图像的电气柜带灯按钮状态识别 与定位方法 (57)摘要 本发明提供了一种基于图像的电气柜带灯 按钮状态识别与定位方法， 属于工业图像处理领 域。 主要解决在工业自动化生产过程中， 传统图 像处理方法对电气柜带灯按钮识别定位、 按钮颜 色及亮灭状态判断不准确的问题。 所用方法包 括： 首先拍摄图像并截图， 然后基于颜色通道提 取图像后进行图像相减、 滤波、 二值化处理和轮 廓提取， 再对图像轮廓的最小外接矩形筛选后得 到目标外接矩形， 并计算出按钮的像素坐标； 之 后利用所得目标外接矩形截取图像， 并依据该图 像的图像均值和图像标准差实现对按钮颜色及 亮灭状态的判断。 本发明能够基于相机的视觉信 息， 实现对电气柜带灯按钮的识别定位及其颜色 和亮灭状态的判断， 识别正确率高， 定位精准。 权利要求书3页 说明书7页 附图4页 CN 115526934 A 2022.12.27 CN 115526934 A 1.一种基于 图像的电气柜带灯按钮状态识别与定位方法， 其特征在于， 该识别与定位 方法涉及的系统包括机器人和电气柜； 所述电气柜的操作面板上装有四个开关的按钮， 分 别记为按钮1， 按钮2， 按钮3和按钮4； 每个按钮开关均有亮与灭两种状态， 按钮1颜色为绿 色， 按钮2颜色为红色， 按钮3颜色为绿色， 按钮4颜色为红色； 将按钮1， 按钮2， 按钮3和按钮4 的中心点分别记为点C1、 点C2、 点C3和C4， 其中， 点C1和C2连成的直线为 水平线1， 点C3和C4连成 的直线为水平线2， 且水平线2位于水平线1的右下 方； 所述机器人包括AGV小车、 6自由度机械臂、 末端执行器和深度相机， 所述6自由度机械 臂包括6个旋转关节和机械臂基座， 所述6个旋转关节由机械臂基座开始依次为旋转关节 一、 旋转关节二、 旋转关节三、 旋转关节 四、 旋转关节五和旋转关节六， 6个旋转关节依次分 别绕第一关节轴、 第二关节轴、 第三关节轴、 第四关节轴、 第五关节轴、 第六关节轴旋转， 其 中第四关节轴和第 五关节轴相互垂直， 第 五关节轴和第六关节轴相互垂直； 所述末端执行 器和深度相机均安装在6自由度机械臂的末端上， 且深度相机的光轴 与第六关节轴平行， 深 度相机跟随6自由度机 械臂运动； 所述识别与定位方法包括以下步骤： 步骤1， 定义像素坐标系： 所述像素坐标系为以图像左上角为原点建立的、 以像素为单 位的直角坐标系， 包括互相垂 直的像素U轴和像素V轴， 像素U轴上的横坐标为像素在其图像 中的列数， 像素V轴上的纵坐标为像素在其图像中的行 数； 步骤2， 机器人移动到电气柜的按钮区域前， 驱动6自由度机械臂， 且保持深度相机光轴 与电气柜正面垂直、 深度相 机平面与电气柜平面平行， 然后使用深度相 机对电气柜按钮区 域进行拍摄， 记拍摄获取到的图像为图像M， 图像M为宽度1280像素， 高度720像素的RGB三通 道图像， 像素深度24位； 记图像M左上角的像素点为像素点D0， 像素点D0在图像M的像素坐标 系下的像素坐标为(0， 0)； 对图像M进行截取， 使得有且只有一个完整按钮在被截取的图像中， 记图像M0中的按钮 为目标按钮， 记截取后的图像为图像M0， 图像M0左上角的像素点为像素点D1， 像素点D1在图 像M的像素坐标系下的像素坐标为(u1， v1)； 对图像M0进行RGB三通道分割， 分别得到代表R通道的图像L0， 代表G通道的图像L1和代 表B通道的图像L2； 步骤3， 令目标按钮的按钮颜色为红色， 对步骤2得到的图像L0和图像L2进行图像相减， 得到一个与图像M0像素坐标系相同、 像素坐标原点 也相同的图像M1， M1＝L0‑L2； 步骤4， 对图像M1进行均值滤波， 得到更加平滑的与图像M1像素坐标系相同、 像素坐标原 点也相同的图像M2； 设图像M2中包括H个像素点， 将图像M2中任意一个像素点记为像素点 D1η， η＝1， 2， ...H， 像素点D 1η在图像M2的像素坐标系下的像素坐标为(u1η， v1η)， 像素点D 1η 的灰度值 为I1η； 对图像M2进行二值化处理， 具体的， 首先给定第一 常量Imin＝0、 第二 常量Imax＝255、 二值 化阈值T， 然后对图像M2中的每一个 像素值I1η进行以下 赋值： 若I1η＜T， 令I1η＝Imin； 若I1η≥T， 令I1η＝Imax； 将重新赋值的图像M2记为图像M3； 步骤5， 设在图像M3中有n个边界不相交的像素区域， 对其中任意一个区域进行轮廓提权　利　要　求　书 1/3 页 2 CN 115526934 A 2取， 并记为轮廓Ok， k＝1， 2， ...n， n为正整数； 对每个Ok做最小外接矩形， 并记为该区域 的最小外接矩形Rk， 共得到n个区域 的最小外 接矩形Rk， 并生成集 合R， R＝{R1， R2， ...， Rk， ...， Rn}； 步骤6， 给定长宽比α， 并将集合R中所有满足长宽比O.8≤α ≤1.2的最小外接矩形 Rk提取 出来， 组成一个满足长宽比条件的最小外接矩形集合， 并记为集合R ′， R′＝{R1， R2， ...， Rm}， m为正整数， m≤n； 找出集 合R′中面积最大的最小外 接矩形， 并记为目标外 接矩形R′max； 步骤7， 设目标外接矩形R ′max的宽度为w像素、 高度为h像素， 记目标外接矩形R ′max左上 角像素点为像素点D2、 目标外接矩形R ′max的几何中心为像素点P， 则像素点D2在图像M3的像 素坐标系下的像素坐标为(u2， v2)， 像素点P在图像M3的像素坐标系下的像素坐标为 步骤8， 在图像M1中截取以像素点D2为起始点， 宽w像素和高h像素的新图像M c； 设图像Mc中包括Γ个像素点， 将图像Mc中任意一个像素点记为像素点D2δ， δ＝1， 2， ... Γ， 像素点D2δ在图像Mc的像素坐标系下的像素坐标为(u2δ， v2δ)， 像素点D2δ的灰度值 为I2δ； 求图像Mc的图像均值mean和图像标准差stdDev， 其计算式分别如下： 步骤9， 进行以下两种情况的选择： 第一种： 在步骤3中令目标按 钮颜色为红色， 并在其基础上进入步骤9的， 进入步骤10； 第二种， 经步骤10确认目标按钮颜色为绿色， 且执行步骤10中的规定操作后返回步骤 4， 并在其基础上进入步骤9的， 进入步骤1 1； 步骤10， 给定颜色判断阈值STD DEV， 并进行以下判断： 若stdDev≥STD DEV， 确认目标按 钮颜色为红色， 进入步骤1 1； 若stdDev＜STDDEV， 确认目标按钮颜色为绿色； 然后， 对步骤2得到的图像L0和图像L1进 行图像相减， 得到一个与图像M0像素坐标系相同、 像素坐标原点也相同的图像M1′， M1′＝L1‑ L0； 用图像M1′替代步骤4中的图像M1并进入步骤4； 步骤11， 给定亮灭状态判断阈值M EAN， 并进行以下判断： 若mean≥M EAN， 确认目标按 钮的亮灭状态为亮； 若mean＜M EAN， 确认目标按 钮的亮灭状态为灭； 步骤12， 记像 素点P在图像M的像 素坐标系下的像 素坐标为(uα， vα)， uα的值为像 素点D0的 横坐标沿着图像M的像素U轴平移 个单位后的值， vα的值为像素点D0的纵坐标 沿着图像M的像素V轴平 移 个单位后的值， 其计算式分别如下：权　利　要　求　书 2/3 页 3 CN 115526934 A 3