(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210434587.1 (22)申请日 2022.04.24 (65)同一申请的已公布的文献号 申请公布号 CN 114619429 A (43)申请公布日 2022.06.14 (73)专利权人 广东天太 机器人有限公司 地址 528322 广东省佛山市顺德区大良10 5 国道大墩段 （5-1号地块） 六号综合楼 三层 （广珠公路红岗路段23号之9） (72)发明人 詹友军　何志雄　尹以茳　李志滔　 (74)专利代理 机构 佛山市禾才知识产权代理有 限公司 4 4379 专利代理师 刘羽波　陈嘉琦 (51)Int.Cl. B25J 9/00(2006.01)B25J 9/16(2006.01) G06V 20/00(2022.01) G06V 10/40(2022.01) G06V 10/74(2022.01) G06K 9/62(2022.01) 审查员 梁磊 (54)发明名称 一种基于识别模板的机 械臂控制方法 (57)摘要 本发明的目的在于提出一种基于识别模板 的机械臂控制方法， 运用于搬运的机械臂， 包括 以下步骤： 步骤S1： 对输送带入口处进行周期性 拍摄， 获取第一图片， 判断第一图片是否存在物 体， 若存在， 则获取物体此时在输送带上的距离 识别标识； 步骤S2： 对距离识别标识进行跟踪拍 摄， 当跟踪拍摄到距离识别标识出现在第一规定 距离点时， 获取第二图片； 步骤S3： 对第二图片 进 行识别， 判断第二图片中的物体是否为待抓取目 标， 若是， 则根据识别结果生成抓取指令； 步骤 S4： 当跟踪拍摄到距离识别标识出现在第二规定 距离点时， 触发机械臂执行抓取指令， 对待抓取 目标进行抓取， 对运输带上的运输物体进行多次 识别， 增加识别的次数， 提高对待抓取目标的识 别效果。 权利要求书2页 说明书8页 附图3页 CN 114619429 B 2022.09.30 CN 114619429 B 1.一种基于识别模板的机械臂控制方法， 运用于搬运的机械臂， 其特征在于： 包括以下 步骤： 输送带的带体设置有距离识别标识， 所述距离识别标识随带体的传送而移动， 输送带 间距设置有 多个不随带体移动的规定距离点； 步骤S1： 对输送带入口处进行周期性拍摄， 获取第一图片， 判断第一图片是否存在物 体， 若存在， 则获取物体此时在输送带 上的距离识别标识； 步骤S2： 对所述距离识别标识进行跟踪拍摄， 当跟踪拍摄到所述距离识别标识出现在 第一规定距离点时， 获取 此时的跟踪拍摄视频的当前帧图片， 作为第二图片； 步骤S3： 对所述第二 图片进行识别， 判断第二 图片中的物体是否为待抓取目标， 若是， 则根据识别结果 生成抓取指令， 并对所述距离识别标识继续进行跟踪拍摄； 步骤S4： 当跟踪拍摄到所述距离识别标识出现在第二规定距离点时， 触发所述机械臂 执行抓取指令， 对所述待抓取目标进行抓取； 所述机械臂对所述图片进行识别前， 还 包括以下步骤： 步骤S31： 根据待抓取目标制作识别模板， 对识别 模板以及识别 模板对应的掩码图进行 边缘扩充， 设置识别模板的角度以及尺度范围属性， 得到360个旋转角度的识别模板； 对360 个识别模板进行 特征提取 ， 并保存在配置文件中； 步骤S32： 对识别模板进行训练， 获取得到识别模板中的识别特征， 并将识别特征写入 配置文件； 所述步骤S32中， 对识别模板进行训练的过程如下： 步骤S321： 对识别模板进行第一层金字塔方向梯度量化， 在第一层金字塔中对识别模 板的识别特 征进行提取； 步骤S322： 对识别模板进行第二层金字塔方向梯度量化， 在第二层金字塔中对识别模 板的识别特 征进行提取； 步骤S323： 保存当前角度下识别 模板在第一层金字塔与第二层金字塔所提取的识别特 征； 步骤S324： 获取下一张不同旋转角度的识别模板， 重复步骤S321～S323， 直到获取识别 模板所有角度的识别特 征； 所述对第二图片进行识别， 判断第二图片中是否存在有 待抓取目标的过程如下： 步骤S33： 采用One ‑Stage算法对第二图片中的物体进行识别框提取； 步骤S34： 调用所述配置文件中的360个模板的识别特征， 分别 使用360个识别 模板的所 述识别特 征与所述识别框的内容进行匹配， 获取最高匹配得分； 步骤S35： 判断所述最高匹配得分是否大于阈值， 若大于阈值， 则说明当前图片中存在 有待抓取目标， 若最高匹配得分小于阈值， 则对所述最高匹配得分进 行修正， 再次判断修正 后所述最高匹配得分是否大于阈值， 若大于则 说明当前图片 中存在有待抓取目标， 若否则 说明当前图片中不存在待抓取目标； 所述步骤S34中获取最高匹配得分的具体步骤如下： 通过360个识别模板中分别与所述识别框进行匹配， 其中获取匹配得分的具体公式如 下：权　利　要　求　书 1/2 页 2 CN 114619429 B 2其中 表示识别框与 第i个模板的匹配得分， i与n为自然整数， 表示识别框中第n识别点， yi(n)表示第i个识 别模板中的第n个识别特 征； 得出360个识别模板相对于识别框的匹配得分， 并按照所述匹配得分的大小进行顺序 排列。 2.根据权利要求1所述的一种基于识别模板的机 械臂控制方法， 其特 征在于： 所述第一 规定距离点设置有 多个； 当在某个第 一规定距离点获取的第 二图片中识别出存在有所述待抓取目标， 则不再后 续其他第一规定距离点获取第二图片。 3.根据权利要求2所述的一种基于识别模板的机械臂控制方法， 其特征在于： 判断第 一 图片中是否存在有物体的步骤如下： 采用One‑Stage算法对第一图片上输送带入口处进行识别框提取， 若存在识别框， 则说 明所述第一图片中存在有物体； 若不存在识别框， 则说明所述第一图片中不存在有物体。 4.根据权利要求2所述的一种基于识别模板的机械臂控制方法， 其特征在于： 所述距离 识别标识出现在第一 规定距离点的判断步骤如下： 获取跟踪拍摄视频的某一帧， 并获取距离识别标识在该帧中像素距离， 根据像素距离 与距离的线型关系获取得到摄像头与 距离识别标识的距离， 并判断摄像头与 距离识别标识 的之间的距离落入到距离阈值 点， 若是， 则所述距离识别标识到 达所述第一 规定距离点。 5.根据权利要求1所述的一种基于识别模板的机械臂控制方法， 其特征在于， 对所述最 高匹配得分进行修 正的具体公式如下： 其中 为修正后的最高匹配得分， 为最高匹配得分， λ为调整系数， 调整系数 λ 的获取公式如下； 其中b为识别模板在机械臂正下方时宽度的像素距离， c为识别框在所述第 二图片中长 度的像素距离， a为识别模板在机械臂正下方时长度的像素距离， d为识别框在所述第二图 片中宽度的像素距离 。 6.根据权利要求5所述的一种基于识别模板的机 械臂控制方法， 其特 征在于： 当最后一个规定距离点所拍摄的第二图片中未识别出所述待抓取目标， 则重复步骤 S1。权　利　要　求　书 2/2 页 3 CN 114619429 B 3