(19)国家知识产权局
(12)发明 专利
(10)授权公告 号
(45)授权公告日
(21)申请 号 202210924297.5
(22)申请日 2022.08.03
(65)同一申请的已公布的文献号
申请公布号 CN 114998337 A
(43)申请公布日 2022.09.02
(73)专利权人 联宝 (合肥) 电子科技有限公司
地址 230601 安徽省合肥市经济技 术开发
区云谷路318 8-1号 (综合保税区内)
(72)发明人 汪二虎 吴海涛 梅益 颜帅
赵玲玲
(74)专利代理 机构 北京乐知新创知识产权代理
事务所(普通 合伙) 11734
专利代理师 江宇
(51)Int.Cl.
G06T 7/00(2017.01)
G06V 10/44(2022.01)G06V 10/762(2022.01)
G06V 10/80(2022.01)
G06V 10/82(2022.01)
(56)对比文件
CN 114596273 A,202 2.06.07
CN 114170575 A,202 2.03.11
CN 114419693 A,202 2.04.29
CN 113971653 A,2022.01.25
US 20213709 93 A1,2021.12.02
Shu Liu,et al. .Path Ag gregation
Network for I nstance Segmentati on.
《https://arxiv.org/abs/180 3.01534v1》
.2018,
Alexey Boc hkovskiy, et al.YOLOv4:
Optimal Spe ed and Ac curacy of Object
Detection. 《arXiv:20 04.10934v1》 .2020,
审查员 冷凝
(54)发明名称
一种划痕检测方法、 装置、 设备及存 储介质
(57)摘要
本公开提供了一种划痕检测方法、 装置、 设
备及存储介质, 包括: 获取多张键帽图像, 键帽图
像对应一个具有至少一个划痕的键帽, 键帽图像
的标注数据包括: 划痕的第一边框、 置信度和类
型的概率; 对划痕自适应锚框, 确定划痕的第二
边框的尺 寸; 根据所有划痕的第二边框的尺寸确
定多个检测框; 对所有键帽图像进行数据增强,
得到一张标准键帽图像; 对 标准键帽图像进行特
征提取及融合, 得到与检测框对应的特征融合
图; 基于检测框, 通过检测模型对特征融合图进
行划痕预测得到预测结果; 根据所有键帽图像的
标注数据及所有检测框对应的预测结果对检测
模型进行优化, 得到优化后的目标检测模型; 通
过目标检测模型对待识别键帽图像进行划痕检
测, 得到检测结果。
权利要求书3页 说明书15页 附图4页
CN 114998337 B
2022.11.04
CN 114998337 B
1.一种划痕检测方法, 其特 征在于, 所述方法包括:
获取多张键帽图像, 所述键帽图像对应一个键帽, 所述键帽具有至少一个划痕, 所述键
帽图像的标注数据包括: 所述划痕的第一 边框、 置信度和类型的概 率;
对所述划痕进行自适应锚框, 确定所述划痕的第二 边框的尺寸;
根据所述第二边框的尺寸对所有划痕进行聚类, 得到多个分组, 每个分组对应一个检
测框, 所述检测框的尺寸 为该分组内尺寸 最大的第二 边框的尺寸;
对所有键帽图像进行 数据增强, 得到一张标准键帽图像, 包括:
对所述键帽图像进行随机缩放处理, 得到对应的第一增强键帽图像, 所述第一增强键
帽图像为所述键帽图像或经 过缩放处 理后的键帽图像;
对所述键帽图像的颜色空间的格式进行随机转换, 得到对应的第二增强键帽图像, 所
述第二增强键帽图像为所述键帽图像或经 过转换后的键帽图像;
对所述键帽图像进行随机旋转和翻转处理, 得到对应的第三增强键帽图像, 所述第三
增强键帽图像为所述键帽图像或经 过旋转和翻转处 理后的键帽图像;
从所有键帽图像中选取一张键帽图像, 从所有第 一增强键帽图像中选取一张第 一增强
键帽图像, 从所有第二增强键帽图像中选取一张第二增强键帽图像, 从所有第三增强键帽
图像中选取一张第三增强键帽图像, 进行拼接, 得到与所述键帽图像相同尺寸的所述标准
键帽图像;
对所述标准键帽图像进行多次提取特征得到多 张特征图, 对所述特征图按得到的先后
顺序进行排序, 将所述特征图与其排序之后的特征图进行第一次特征融合得到第一融合
图, 将所述第一融合图与其排序之前 的第一融合图进行第二次特征融合得到特征融合图,
所述特征融合图与所述检测框一 一对应;
基于所述检测框, 通过检测模型对相应的特征融合图进行划痕预测, 得到对应的预测
结果;
根据所有键帽图像的标注数据及所有检测框对应的预测结果, 对所述检测模型进行优
化, 得到优化后的目标检测模型;
通过所述目标检测模型对待识别键帽图像进行划痕检测, 得到检测结果。
2.根据权利要求1所述的方法, 其特征在于, 所述对所述标准键帽图像进行多次提取特
征得到多张特征图, 对所述特征图按得到的先后顺序进行排序, 将所述特征图与其排序之
后的特征图进 行第一次特征融合得到第一融合图, 将所述第一融合图与其排序之前的第一
融合图进行第二次特征融合得到特征融合图, 所述特征融合图与所述检测框一一对应, 包
括:
对所述标准键帽图像进行多次卷积操作, 每经过设定次数的卷积操作得到一个特征
图; 对上一个得到的特征图进 行设定次数的卷积操作, 得到当前的特征图, 将得到的多个特
征图按照得到的先后顺序进行排序; 所述特征图的个数和所述检测框的数量均为N, N个检
测框按照检测框的尺寸由小到大进行排序;
将第i个特征图与第i+1至第N个特征图进行融合, 得到第i个特征图对应的第一融合
图, 其中, 第N个特 征图对应的第一融合图为第N个特 征图;
第i个特征图对应的第一融合图与第1至第i ‑1个特征图对应的第一融合 图进行融合,
得到第i个特 征图对应的特 征融合图;权 利 要 求 书 1/3 页
2
CN 114998337 B
2第i个特征融合图对应第i个 检测框。
3.根据权利要求1所述的方法, 其特征在于, 所述对应的预测结果, 包括: 至少一个候选
预测框以及所述 候选预测框对应的预测置信度和预测类型的概 率;
该方法还包括:
若所述候选预测框 中含有所述标注数据中划痕的第 一边框的中心点, 确定所述候选预
测框中含有划痕, 所述 候选预测框为 正样本;
若所述候选预测框 中不含所述标注数据中划痕的第 一边框的中心点, 确定所述候选预
测框中不含划痕, 所述 候选预测框为负 样本。
4.根据权利要求3所述的方法, 其特征在于, 所述根据所有键帽图像的标注数据及所有
检测框对应的预测结果, 对所述检测模型进行优化, 包括:
根据所有标注数据中的置信度和所有候选预测框对应的预测置信度, 确定检测模型的
第一损失;
根据所有标注数据中第一边框的坐标和尺寸与所有正样本的候选预测框的坐标和尺
寸, 确定检测模型的第二损失;
根据所有标注数据中类型的概率与 所有正样本的候选预测框对应的预测类型的概率,
确定检测模型的第三损失;
对所述第一损失、 所述第二损失和所述第三损失进行加权求和, 得到总损失;
根据所述总损失对检测模型进行优化, 得到优化后的目标检测模型。
5.一种划痕检测装置, 其特 征在于, 所述装置包括:
数据获取模块, 用于获取多张键帽图像, 所述键帽图像对应一个键帽, 所述键帽具有至
少一个划痕, 所述键帽图像的标注数据包括: 所述划痕的第一 边框、 置信度和类型的概 率;
锚框模块, 用于对所述划痕进行自适应锚框, 确定所述划痕的第二边框的尺寸; 还用于
根据所述第二边框的尺寸对所有划痕进 行聚类, 得到多个分组, 每个分组对应一个检测框,
所述检测框的尺寸 为该分组内尺寸 最大的第二 边框的尺寸;
目标检测模型, 用于对所有键帽图像进行数据增强, 得到一张标准键帽 图像, 包括: 对
所述键帽图像进行随机缩放处理, 得到对应的第一增强键帽图像, 所述第一增强键帽图像
为所述键帽图像或经过缩放处理后的键帽图像; 对所述键帽图像的颜色空间的格式进 行随
机转换, 得到对应的第二增强键帽图像, 所述第二增强键帽图像为所述键帽图像或经过转
换后的键帽图像; 对所述键帽图像进行随机旋转和翻转处理, 得到对应的第三增强键帽图
像, 所述第三增强键帽图像为所述键帽图像或经过旋转和翻转处理后的键帽图像; 从所有
键帽图像中选取一张键帽图像, 从所有第一增强键帽图像中选取一张第一增强键帽图像,
从所有第二增强键帽图像中选取一张第二增强键帽图像, 从所有第三增强键帽图像中选取
一张第三增强键帽图像, 进行拼接, 得到与所述键帽图像相同尺寸的所述标准键帽图像;
对所述标准键帽图像进行多次提取特征得到多 张特征图, 对所述特征图按得到的先后
顺序进行排序, 将所述特征图与其排序之后的特征图进行第一次特征融合得到第一融合
图, 将所述第一融合图与其排序之前 的第一融合图进行第二次特征融合得到特征融合图,
所述特征融合图与所述检测框一 一对应;
基于所述检测框, 通过检测模型对所述特征融合图进行划痕预测, 得到对应的预测结
果;权 利 要 求 书 2/3 页
3
CN 114998337 B
3
专利 一种划痕检测方法、装置、设备及存储介质
文档预览
中文文档
23 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共23页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 04:37:04上传分享