(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211398444.6 (22)申请日 2022.11.09 (71)申请人 四川川锅环保工程有限公司 地址 610000 四川省成 都市自由贸易试验 区成都高新区天府二街269号26栋19 层1901号 (72)发明人 张晋秋　苟思鹏　叶维政　徐雨濛　 (74)专利代理 机构 成都君合集专利代理事务所 (普通合伙) 51228 专利代理师 尹玉 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06V 10/26(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种高质量的焊缝及焊缝缺陷识别系统、 方 法、 存储介质 (57)摘要 本发明公开了一种高质 量的焊缝及焊缝缺 陷识别系统、 方法、 存储介质， 网络模型为编码解 码结构， 编码部分网络包括第一残差组合块、 第 二残差组合块、 第三残差组合块、 第四残差组合 块， 解码部分网络包括第一对象部件 特征增强模 块、 第二对象部件特征增强模块、 第三对象部件 特征增强模块； 对象部件特征增强模块首先将低 分辨率特征图、 和高分辨率特征图结合处理， 模 拟特征图下采样造成丢失的耗损区域部件； 再把 耗损区域部件作为低分辨率特征图的补充进行 融合， 然后嵌入核张量， 利用粗边界分类优化核 张量的边缘表达能力， 通过与特征相乘， 增强特 征的边缘信息， 最后提高特征图分辨率， 优化网 络模型对细 节信息的表达能力， 实现精确分割焊 缝及焊缝缺陷。 权利要求书2页 说明书7页 附图3页 CN 115439483 A 2022.12.06 CN 115439483 A 1.一种高质量的焊缝及焊缝缺陷识别系统， 其特征在于， 包括数据采集模块、 训练模 块、 检测模块， 所述数据采集模块用于收集不同角度和不同场景下的焊缝图像数据， 并标注 出焊缝、 焊缝缺陷， 形成训练集； 所述训练模块用于采用训练集训练网络模型， 所述检测模 块用于将待检测图片输入训练后的网络模型并输出焊缝或焊缝缺陷的识别结果； 所述网络模型包括从前至后依次设置的编码部分网络、 变形自注意力模块和解码部分 网络； 所述编码部分网络用于将图像样本映射至高维空间并映射成隐张量， 所述变形自注 意力模块用于提高隐张量内部信息相关性， 所述解码部分网络用于恢复高分辨特征图， 用 于目标分割任务； 所述编码部分网络包括从前至后依 次设置的第一残差组合块、 第二残差 组合块、 第三残差组合块、 第四残差组合块， 所述第四残差组合块与变形自注意力模块连 接； 所述解码部分网络包括从前至后依 次设置的第一对 象部件特征增强模块、 第二对 象部 件特征增强模块、 第三对 象部件特征增强模块； 所述第一对 象部件特征增强模块分别与第 三残差组合块、 变形自注意力模块连接， 所述第二对 象部件特征增强模块与第二残差组合 块连接， 所述第三对象部件特 征增强模块与第一残差组合 块连接； 所述第一对象部件特征增强模块、 第二对象部件特征增强模块、 第三对象部件特征增 强模块分别包括第一卷积层、 第二卷积层、 第一特征相加层、 第二特征相加层、 第三特征相 加层、 特征相乘层、 特征上采样层、 特征下采样层； 所述第一卷积层、 第二卷积层的输入分别 为低分辨率特征图、 高分辨率特征图； 所述第一卷积层通过特征上采样层与第一特征相加 层连接， 所述第二卷积层与第一特征相加层连接， 所述第一特征相加层通过从前至后依 次 设置的特征下采样层、 卷积层、 批归一化层、 激活函数层， 与第二特征相加层连接， 所述第二 特征相加层的输入端还与第一卷积层连接， 用于将耗损区域部件与低分辨率特征图融合； 所述第二特征相加层通过从前至后依次设置的卷积层、 批归一化层、 激活函数层、 特征上采 样层， 与特征相乘层连接， 所述特征相乘层的输入端还与核张量连接， 用于增强特征的边缘 信息； 所述第三特 征相加层分别与特 征相乘层和第二卷积层连接 。 2.根据权利要求1所述的一种高质量的焊缝及焊缝缺陷识别系统， 其特征在于， 所述第 一残差组合块包括1个残差模块， 所述第二残差组合块包括2个残差模块， 所述第三残差组 合块包括4个残差模块， 所述第四残差组合 块分别包括包括2个残差模块。 3.根据权利要求1所述的一种高质量的焊缝及焊缝缺陷识别系统， 其特征在于， 所述编 码部分网络采用残差网络结构， 并利用步长为2的卷积层进行 下采样。 4.根据权利要求1所述的一种高质量的焊缝及焊缝缺陷识别系统， 其特征在于， 所述第 一对象部件特征增强模块、 第二对 象部件特征增强模块、 第三对 象部件特征增强模块分别 设置有1个粗边界分类损失函数； 所述网络模型的任务损失函数为分割分类损失函数， 用于 计算预测点类别与真实点类别的差值。 5.根据权利要求4所述的一种高质量的焊缝及焊缝缺陷识别系统， 其特征在于， 所述粗 边界分类损失函数和分割分类损失函数分别为焦点损失函数和交叉熵损失函数。 6.一种高质量的焊缝及焊缝缺陷识别方法， 采用权利要求1 ‑5任一项所述的系统进行， 其特征在于， 包括以下步骤： 步骤S100： 采用训练集训练网络模型并得到训练后的网络模型； 步骤S200： 采集焊缝图像， 然后， 输入到训练后的网络模型中开始分割任务， 提取焊缝 特征， 并将任务获取的特 征信息传输给机器人进行焊接任务；权　利　要　求　书 1/2 页 2 CN 115439483 A 2步骤S300： 采集焊缝后的焊缝图像， 然后， 输入到训练后的网络模型， 检测是否有焊缝 缺陷， 若检测没有焊缝缺陷， 则焊缝验收成功， 否则发出报警信息 。 7.根据权利要求6所述的一种高质量的焊缝及焊缝缺陷识别方法， 其特征在于， 所述步 骤S200中和步骤S300中分别采用轻量级目标检测算法对焊缝图像进行粗定位剪裁， 减小样 本的分辨 率， 然后， 输入到训练后的网络模型中处 理。 8.根据权利要求6所述的一种高质量的焊缝及焊缝缺陷识别方法， 其特征在于， 所述步 骤S100中， 首先， 采用编 码部分网络提取图像样 本的深度特征信息， 将样本特征编码至高维 空间， 映射成隐张量， 通过变形自注意力模块提高隐张量内部信息相关性； 然后， 使用解码 部分网络的对象部件特征增强模块逐步提高特征图的分辨率， 先将低分辨率特征图和高分 辨率特征图结合处理， 模拟特征图下采样造成丢失的耗损区域部件， 再把耗损区域部件作 为低分辨率特征图的补充进行融合， 然后 嵌入可学习的核张量， 利用粗边界分类优化核张 量的边缘表达能力， 通过与特征相乘， 增强特征的边缘信息， 之后提高特征图分辨率； 最后， 有监督地迭代计算输出焊缝、 焊缝缺陷的像素区域。 9.一种计算机可读存储介质， 存储有计算机程序指令， 其特征在于， 所述程序指令被处 理器执行时实现权利要求6 ‑8任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115439483 A 3