(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211050817.0 (22)申请日 2022.08.30 (71)申请人 常州铭赛机 器人科技股份有限公司 地址 213100 江苏省常州市武进区常武中 路18号常州科教城铭赛科技大厦 (72)发明人 曲东升　刘卓欣　陈辉　李长峰　 张继　 (74)专利代理 机构 常州至善至诚专利代理事务 所(普通合伙) 32409 专利代理师 朱丽莎 (51)Int.Cl. G06V 10/75(2022.01) G06V 10/44(2022.01) G06V 10/30(2022.01) G06V 10/26(2022.01)G06V 10/25(2022.01) G06V 10/20(2022.01) (54)发明名称 一种基于边缘轮廓 的梯度向量特征的模板 匹配方法 (57)摘要 本发明公开了一种基于边缘轮廓 的梯度向 量特征的模板匹配方法， 利用相机采集胶路及模 板工件的图像数据信息， 将图像数据信息转成灰 度图像， 对灰度图像进行预处理； 对胶路及模板 工件在平 面二维图像上进行阈值 分割， 选择需要 创建工件模板的区域， 去除非边缘轮廓区域， 创 建模板图像； 按需要进行对模板图像的尺度缩 放、 角度变化， 对模板图像进行填充创建测量矩 阵， 提取所有模板图像的特征； 获取在机器人基 坐标系下的Mark点机械坐标并输 出； Mark点机械 坐标结合点胶针头与机器人基坐标标定转换矩 阵实现胶路引导作业。 该方法可以满足部分用户 对在线点胶机的模板匹配算法的特殊需求， 同时 对边缘提取做出改良以减少涂色操作造成的特 征噪点影响。 权利要求书3页 说明书10页 附图12页 CN 115131587 A 2022.09.30 CN 115131587 A 1.一种基于边缘轮廓的梯度向量特征的模板匹配方法， 依赖于开源视觉库OpenCV， 其 特征在于， 包括以下步骤： 第1步骤、 利用相机采集胶 路及模板工件的图像数据信 息， 并将图像数据信息转成灰度 图像， 并对灰度图像进行 预处理； 第2步骤、 基于第1步骤， 对胶 路及模板工件在平面二维图像上进行阈值分割， 选择需要 创建工件模板的区域， 并去除非边缘轮廓区域， 即在创建模板图像时只需要工件的边缘轮 廓， 所以要先在原图像的坐标系下需要去除目标矩区域外的多于区域和目标区域内部的无 效边缘轮廓信息， 创建模板图像； 第3步骤、 根据第2步骤所创建的模板图像， 按需要进行对模板图像的尺度缩放、 角度变 化， 对尺度缩放和/或角度变化后的模板图像进行填充， 创建测量矩阵， 在使用填充方法创 建测量矩阵时， 对不存在的边缘特征点进 行特征点去噪， 提取所有模板图像的特征， 用图像 金字塔方法将金字塔 每层的图像数据保存在用于保存 对应特征的文件中； 第4步骤、 当需要对Mark点进行局部调整或全局调整时， 首先， 设定Mark点调整参数， 并 将调整后的Mark点参数保存； 然后， 搜索目标模板， 当目标模板与模板图像的匹配结果满足 要求时， 根据第3步骤创建的测量矩参数生成测量矩， 同时根据实例中胶路特征生成对应 Mark点序列； 接着， 获取调整后的Mark点参数， 根据设定的Mark点调整参数对对应序号的 Mark点进行调整后输出； 最后， 根据实例工件生成的Mark点序列 或调整后的Mark点序列结 合相机标定结果， 获取在机器人基坐标系下的Mark 点机械坐标并输出； 当不需要对Mark点进行局部调整或全局调整时， 则直接根据实例工件生成的Mark点序 列或调整后的Mar k点序列结合相机标定结果， 获取在机器人基坐标系下的Mar k点机械坐标 并输出； 即， 实际作业时， 首先得到待 匹配对象的图片数据流， 得到待 匹配对象图片后以改良相 似度计算搜索出最大得分对象返回对象的位置、 角度、 尺度偏倚结果， 根据相机标定结果返 回目标工件在作业设备的实际坐标； 其中， 作业设备的实际坐标就是Mark 点机械坐标； 第5步骤、 根据第4步骤输出的作业设备的实际坐标结合点胶针头与机器人基坐标标定 转换矩阵实现胶路引导作业。 2.根据权利要求1所述的一种基于边缘轮廓的梯度向量特征的模板匹配方法， 其特征 在于： 在所述第2步骤中， 模板图像的创建过程如下： 第21步骤、 输入图像： 创建模板时， 首先需要输入图像数据， 该图像数据为首先利用相 机采集产品胶路上模板工件的图像数据信息、 然后将图像数据转成灰度图像、 再对灰度图 像进行预处理后的图像数据； 第22步骤、 图像预处理： 在输入的图像中选择一个合理的ROI区域， 利用开源视觉库 OpenCV中的高斯滤波器四阶高斯 算法对ROI区域图像进行去噪； 第23步骤、 计算图像梯度方向： 根据图像梯度， 保存图像的边缘点像素的位置、 梯度方 向和梯度幅值； 第24步骤、 构建图像金字塔： 将图像的边缘点像素的位置、 梯度 方向和梯度幅值这些值 以确定的数据格式保存在图像金字塔中； 第25步骤、 判断是否满足角度、 角度步距需求： 按照 需要的角度和角度步距对ROI区域 的图像做旋转， 提取保存特 征点坐标和梯度幅值；权　利　要　求　书 1/3 页 2 CN 115131587 A 2第26步骤、 输出保存模板特征的文件： 把旋转后的图像数据计算所得按格式保存在特 征文件中， 当把所有所需的角度的图像的特 征数据保存在相应文件中， 则模板创建完成。 3.根据权利要求2所述的一种基于边缘轮廓的梯度向量特征的模板匹配方法， 其特征 在于： 在所述第22步骤中， 对ROI区域内部需要去除的区域进行多边形涂色， 将内部不显著 的形状特 征点去除。 4.根据权利要求2所述的一种基于边缘轮廓的梯度向量特征的模板匹配方法， 其特征 在于： 在所述第25步骤中， 当判断满足角度、 角度步距需求时， 则按角度、 角度步距自增， 随 后继续判断是否满足角度、 角度步距需求， 直至不满足角度、 角度步距需求后， 提取保存特 征点坐标和梯度幅值； 当判断不满足角度、 角度步距需求时， 则直接提取保存特 征点坐标和梯度幅值。 5.根据权利要求2所述的一种基于边缘轮廓的梯度向量特征的模板匹配方法， 其特征 在于： 在所述第4 步骤中， 目标模板的匹配过程如下： 第41步骤、 输入待匹配图像： 选择输入待匹配图像； 第42步骤、 图像预处 理： 对待匹配图像进行 预处理； 第43步骤、 计算图像梯度方向： 计算所 得图像各像素的梯度方向； 第44步骤、 构建图像金字塔： 依据计算所得图像各像素的梯度 方向构建图像金字塔， 对 不同金字塔层数的图像都要构建相应的梯度方向金字塔； 第45步骤、 计算相似度： 相似度从模板创建流 程的输出保存 模板特征的文件中获得； 第46步骤、 搜索出最优 匹配： 对八个方向构建相应的查找表， 根据查找表对待 匹配的图 像中的目标对象和模板图像的所得查找表进 行搜索最大相似度得分的像素区域， 根据在金 字塔最高层查找表搜索到的对应区域进行相应位置的图像还原， 找到在原图像上的像素的 相应位置， 层 层匹配最终找到模板目标在待匹配图像上的准确位置； 第47步骤、 模板匹配完成： 当模板匹配完成后， 则返回所需的结果。 6.根据权利要求5所述的一种基于边缘轮廓的梯度向量特征的模板匹配方法， 其特征 在于： 在所述第46步骤中， 所述八个方向是0度、 45度、 90度、 135度、 180度、 225度、 270度以及 315度。 7.根据权利要求5所述的一种基于边缘轮廓的梯度向量特征的模板匹配方法， 其特征 在于： 在所述第47步骤中， 当搜索不到匹配点时， 则会返回无目标相似度为0 。 8.根据权利要求1所述的一种基于边缘轮廓的梯度向量特征的模板匹配方法， 其特征 在于： 在所述第4 步骤中， 所述Mark 点调整参数包括调整方向和调整值。 9.根据权利要求3所述的一种基于边缘轮廓的梯度向量特征的模板匹配方法， 其特征 在于： 图像涂色后造成的边 缘噪点的处 理步骤具体如下： 第 步骤、 先使用5 *5的高斯滤波 核在边缘检测前进行去噪； 第 步骤、 计算图像的梯度幅值和梯度方向； 第 步骤、 对所有的像素点使用非极大值抑制， 来初步滤掉非边缘像素， 将边界清楚 化， 即只保留像素点 最大梯度强度， 否则置零； 第 步骤、 利用双阈值改良阈值滞后法， 即设定两个阈值， 大于阈值上界则认为一定是 边缘， 小于阈值下界则认为必然不是边 缘。权　利　要　求　书 2/3 页 3 CN 115131587 A 3