(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211039849.0 (22)申请日 2022.08.29 (71)申请人 上海大学 地址 200444 上海市宝山区上 大路99号 (72)发明人 王海宽　徐中平　周文举　侯维岩　 费子翔　 (74)专利代理 机构 上海上大专利事务所(普通 合伙) 3120 5 专利代理师 何文欣 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/10(2022.01) G06V 10/50(2022.01) G06V 10/75(2022.01) G06V 10/94(2022.01)G06M 1/27(2006.01) (54)发明名称 一种基于视觉的钢板堆 垛清点方法及系统 (57)摘要 本发明公开了一种基于视觉的钢板堆垛清 点方法及系统， 能够实现用户对钢板堆垛的扫描 清点。 本发 明所述钢板清点方法利用相机扫描钢 板堆垛截面， 根据相邻图像帧的四对最优匹配特 征点进行图像拼接得到钢板堆垛截面完整图像， 提高了钢板堆垛截面图像中钢板边界的可辨度。 采用对钢板区域进行粗提取缩小钢板所在范围， 再通过在粗提取区域内取计数列， 在每个计数列 上寻找钢板上下边界实现对每个计数列上钢板 区域的细提取。 然后对每个计数列进行钢板边界 标记并计数， 最终由所有计数列的计数结果得出 钢板数量。 本发 明所述钢板堆垛清 点系统通过 嵌 入式设备扫描钢板堆垛截面的方式， 提供了一种 便捷的基 于视觉的钢板堆 垛清点方式。 权利要求书4页 说明书8页 附图4页 CN 115471673 A 2022.12.13 CN 115471673 A 1.一种基于 视觉的钢板堆 垛清点方法， 其特 征在于， 包 含以下步骤： S1： 钢板堆垛截面图像获取； 使用手持式嵌入式设备对钢板堆垛截面从上往下扫描， 利 用相邻图像帧中的相似部分进行图像拼接， 得到 完整的钢板堆 垛截面图像； S2： 钢板区域粗提取； 获取了完整清晰钢板堆垛截面之后， 对钢板区域进行粗提取， 得 到钢板大致区域， 缩小钢板计数 范围， 减少外界环境对钢板计数的影响； S3： 钢板区域细提取； 在粗提取的钢板区域内， 在水平方向上取计数列， 在每个计数列 上寻找钢板上 下边界， 实现对每 个计数列上钢板区域的细提取， 进一 步缩小钢板的范围； S4： 钢板数量统计； 在每个计数列的上下边界范围内， 对钢板边界进行标记并计数， 得 到每一计数列钢板的数量， 然后 综合全部计数列的计数结果， 取计数结果次数最多的数作 为钢板的数量， 由此统计钢板数量。 2.根据权利要求1所述的基于视觉的钢板堆垛清点方法， 其特征在于， 所述步骤S1包括 以下几个步骤： S11： 对图像帧进行清晰度分析， 若清晰度小于阈值， 则去除这一帧， 继续捕捉下一图像 帧并进行清晰度分析， 完成对扫描过程中模糊图像帧的剔除； S12： 对于相邻 并且清晰度大于阈值的图像帧， 将其分别平均划分为上左， 上右， 下左， 下右四个部分； 将相邻图像 帧中相对应的部分进行特征点提取与匹配， 在四个部分分别对 匹配的特征点进行匹配度排序， 选出匹配度最好的四对点， 分别为第一张图的P11(x11， y11)， P12(x12， y12)， P13(x13， y13)， P14(x14， y14)和第二张图的P21(x21， y21)， P22(x22， y22)， P23(x23， y23)， P24(x24， y24)； S13： 根据四对点的平行度进一步验证是否匹配正确以及存在相似部分， 判断方法如 下： ||x2i‑x1i|‑|x21‑x11||＜th1， i＝2， 3， 4 ||y2i‑y1i|‑|y21‑y11||＜th2， i＝2， 3， 4 其中， th1， th2为四对匹配点平行度之间允许的偏差阈值； S14： 若四对点的平行度满足上述关系， 说明相邻帧存在相似部分， 则根据四对点求取 第二张图相对于第一张图的位置偏移， 即相邻图像 帧之间水平方向及垂直方向的移动， 计 算方法如下： S15： 根据计算得到的位置偏移剔除水平方向偏移过大及垂直方向向上偏移的图像帧， 剔除条件如下： |Δx|＞th3 or Δy＜0 其中， th3为相邻图像帧水平方向的偏差阈值； S16： 将第一帧图像帧拷贝至拼接图像S(x， y)上中位置， 后续图像帧都在此基础 上进行 拼接融合； 根据相邻图像 帧之间计算得到的位置偏移值， 将后一帧图像相对于前一帧图像权　利　要　求　书 1/4 页 2 CN 115471673 A 2下移新出现钢板部分及其往上10个像素的部分拷贝至与拼接图像等大的变换图像W(x， y) 中， W(x， y)中除拷贝部分其余像素值全为0， 然后将拼接图像与变换图像进行融合， 融合方 法如下： 其中， α， β 为 不同的权值； S17： 对于后续相邻图像帧都进行上述操作， 直至完成对整个钢板堆垛截面图像的拼 接， 得到完整清晰的钢板堆 垛截面图像。 3.根据权利要求1所述的基于视觉的钢板堆垛清点方法， 其特征在于， 所述步骤S2包括 以下几个步骤： S21： 利用Can ny算子进行边 缘检测； S22： 对进行了Canny算子边缘检测的图像进行形态学处理， 在形态学处理过后的图像 中寻找面积最大区域的最小外接矩形， 即得到了钢板的大致区域， 实现对钢板区域的粗提 取。 4.根据权利要求1所述的基于视觉的钢板堆垛清点方法， 其特征在于， 所述步骤S3包括 以下几个步骤： S31： 对图像进行灰度化处理， 在粗提取的钢板区域内， 按水平方向将区域平均分为n 块， 取每个块的中间一列像素值， 称为计数列， 共有n个 计数列； S32： 分别对每 个计数列的灰度值进行求 导， 计算方法如下： value＝D(i， j) ‑D(i+1， j) 其中， value为灰度求导值， D(i， j)为第j列上第i行的灰度值， D(i+1， j)为第j列上第i+ 1行的灰度值； S33： 根据 灰度求导值的极值获取钢板的边界； 钢板边界的地方其灰度求导值取得极值 并大于一定阈值， 根据这 一条件寻找可能的钢板边界； 灰度求导值value为极大值maximum时， 被视为可能的钢板边界的判断条件如下： value＞valueL& &value＞valueN& &value＞th4 其中， valueL， valueN为与value相邻的灰度求导值， th4为灰度求导值取得极大值 时被 视为钢板边界的灰度求 导值最小阈值； 灰度求导值value为极小值mi nimum时， 被视为可能的钢板边界的判断条件如下： value＜valueL& &value＜valueN& &value＜th5 其中， valueL， valueN为与value相邻的灰度求导值， th5为灰度求导值取得极小值 时被 视为钢板边界的灰度求 导值最大阈值； S34： 对每 个计数列上的灰度求 导值的极值 求取平均值， 计算方法如下： 权　利　要　求　书 2/4 页 3 CN 115471673 A 3