(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210556536.6 (22)申请日 2022.05.09 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 申请人 北京星航机电装备有限公司 (72)发明人 杜福洲　吕能斌　王瑶伟　 (51)Int.Cl. G06Q 10/06(2012.01) G06F 17/16(2006.01) G06T 7/13(2017.01) G06T 7/80(2017.01) G06V 10/44(2022.01) G06V 10/74(2022.01) (54)发明名称 一种基于虚实边缘匹配的机电产品漏装检 测方法 (57)摘要 本申请提供一种基于虚实边缘匹配的机电 产品漏装检测方法。 内容包括： 标定相机， 并基于 虚拟空间成像获取三维模型多视角虚拟视图， 通 过提取边缘梯度构建模板； 输入待检图像， 基于 虚实边缘匹配进行装配零件识别、 粗定位与定位 优化； 将匹配的模板轮廓映射至图像， 基于区域 与边缘搜索虚实对应点； 基于形状上下文匹配计 算虚实点集形状相似度与匹配率； 通过零件识别 得分、 相似度、 匹配率综合判别 漏装。 本发明通过 模型驱动与视觉的方法进行漏装检测， 降低了对 真实样本数据的依赖， 提高了 检测效率。 权利要求书2页 说明书6页 附图2页 CN 115034577 A 2022.09.09 CN 115034577 A 1.一种基于虚实边 缘匹配的机电产品漏装检测方法， 其特 征在于， 包括 一下步骤： 标定相机， 并基于虚拟空间成像获取三维模型多视角虚拟视 图， 通过提取边缘梯度构 建模板； 输入待检图像， 基于虚实边 缘匹配进行装配零件识别、 粗定位与定位优化； 将匹配的模板轮廓映射至图像， 基于区域与边 缘搜索虚实对应点； 基于形状上 下文匹配 计算相似度与匹配率； 通过零件识别得分、 相似度、 匹配率综合判别漏装。 2.根据权利要求1所述的基于虚实边缘匹配的机电产品漏装检测方法， 其特征在于： 进 行虚拟空间成像获取三维模型多视角虚拟视图图像时， 通过设置相机与三维模型的不同位 姿完成， 用经度 纬度 δ、 半径r以及虚拟相机绕自身zc轴转动的角度 θ 来表示。 模板构建时， 基于边缘梯度特 征， 其步骤为： 1)对图像进行高斯滤波， 利用Sobel算子提取RGB图像的三个通道的梯度， 并在梯度幅 值最大的通道计算梯度方向。 上式中， C表示图像某一 通道， ori( ·)表示梯度方向， x表示像素位置 。 2)提取候选特征点。 保留梯度 幅值大于一定阈值的像素作为特征点， 并对保留的特征 点集进行采样。 3)对过滤后的特征点集进行梯度方向量化， 梯度方向统一到0 ‑180°， 并划分为n个范 围， 用量化值分别进行表示。 4)特征点描述子保存。 每个特征点分别用x、 y坐标以及所属量化值表征。 通过对多视角 下的模板图像依次进行以上操作， 最终保存为模板文件。 3.根据权利要求1所述的基于虚实边缘匹配的机电产品漏装检测方法， 其特征在于： 进 行装配零件识别时， 对输入的待检图像进 行梯度方向量化， 并进 行梯度方向扩展， 用一定邻 域内的梯度方向共同表示。 在模板匹配过程时， 模板图像以滑动窗口的方式依 次计算与对 应输入图像区域的相似性， 并通过建立金字塔和线性存储优化进行加速。 构建的匹配相似 度评估函数如下： 式中， ε表示模板图像与检测区域的相似性， ori(O,r)表示在模板图像O位置r的梯度方 向， ori(I,t)表示输入图像I中点t的梯度方向， T＝(O,p)表示模板， p为模板特 征点集合。 上式表示以c+r为中心， τ 为半径的邻域区域。 匹配过程中计算每个区域的得分， 通过设置阈值提取目标潜在区域， 大于阈值的区域 则判定为存在目标， 否则定位 失败， 将存在目标的区域按照得分进 行排序， 取最大区域作为 定位结果。 在完成上述粗定位基础上， 基于点到平面的ICP算法进行定位优化， 依次进行待 检图像亚像素边 缘提取、 ICP目标函数建立以及两组点 集的转换矩阵求 解。权　利　要　求　书 1/2 页 2 CN 115034577 A 24.根据权利要求1所述的基于虚实边缘匹配的机电产品漏装检测方法， 其特征在于： 提 取匹配的模板零件外轮廓， 映射到图像上， 沿着轮廓法线建立搜索线， 通过搜索线构建前 景/背景颜色统计直方图， 搜索虚实边缘对应点对。 首先基于区域的方法查找对应点对， 定 义 和 为像素x在考虑Φ‑邻域时属于前景 与背景的概率， 其中， Pf(x)和Pb(x)为通过颜色直方图计算的前景与背景先验概率， Φ‑表示 像素点x沿搜索线向背景方向延伸的步长， 同理， 像素x在Φ+区域的前/背景概率分别为 和 Φ+为像素点x沿搜索线向前景方向延 伸的步长 。 进而计算像素x属于轮廓、 前 景、 背景的概 率如下： P(x|C)＝P(Φ‑|B)P(Φ+|F)                    (5) P(x|F)＝P(Φ‑|F)P(Φ+|F)                    (6) P(x|B)＝P(Φ‑|B)P(Φ+|B)                    (7) 若P(x|C)>P(x|F)且P(x|C)>P(x|B)， 则 认为该像素为对应轮廓点。 进一步， 通过边缘信 息过滤对应点对， 对图像进行Canny边缘检测， 计算像素点x处是否为边缘， 若为边缘则保 留， 否则， 不予以考虑， 建立虚实两组点 集。 5.根据权利要求1所述的基于虚实边缘匹配的机电产品漏装检测方法， 其特征在于： 将 虚实pi∈P、 qj∈Q两组点集在对数极坐标系下利用直方图进行表达， 建立如下匹配代价函 数： 其中， hi(k)， hj(k)分别为点pi， qj的直方图， k表示 建立的直方图索引， 通过计算所有点， 并建立一一匹配关系， 得到相似性得分， 该值基于代价矩阵建立， 越小表征越相似。 进一步 地， 将形状匹配点的欧式距离大于一定阈值的点对视为误匹配点， 进而计算成功匹配点与 全部匹配点的比值得到匹配率。 6.根据权利要求1所述的基于虚实边缘匹配的机电产品漏装检测方法， 其特征在于： 通 过基于边缘匹配计算图像中目标 的匹配得分， 大于阈值则认为存在潜在目标； 基于形状匹 配计算相似度是否小于阈值， 若小于阈值则认为满足相似性条件； 计算匹配率， 若匹配率大 于阈值， 则认为装配正确； 以上三个条件同时满足则装配正常， 否则检测为漏装。 将装配正 确表示1， 漏装表示0， 则判定条件如下式： Oth、 Sth、 Rth分别表示目标识别阈值、 形状相似度 阈值、 匹配率阈值。 利用三个指标的综 合约束， 判别零件漏装情况。权　利　要　求　书 2/2 页 3 CN 115034577 A 3