(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211026710.2 (22)申请日 2022.08.25 (71)申请人 中冶南方工程 技术有限公司 地址 430223 湖北省武汉市东湖新 技术开 发区大学园路33号 (72)发明人 刘礼杰　张超　 (74)专利代理 机构 湖北武汉 永嘉专利代理有限 公司 42102 专利代理师 张宇 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/73(2017.01) G06T 7/80(2017.01) G06V 10/25(2022.01) G06V 10/44(2022.01)G06V 10/52(2022.01) G06V 10/82(2022.01) G06V 20/40(2022.01) G06N 3/08(2006.01) (54)发明名称 一种基于视觉识别的料场皮带跑偏检测方 法及系统 (57)摘要 本发明公开了一种基于视觉识别的料场皮 带跑偏的检测方法及系统， 属于原料场运输技术 领域， 包括： 实时采集皮带运行视频， 获取当前帧 图像输入到目标检测网络并进行图像处理； 将皮 带正常运行及跑偏时的图像数据集输入到网络 中训练， 得到基于神经网络的目标检测网络作为 皮带托辊的检测器， 对实时采集的皮带运行视频 当前帧图像进行目标检测； 对当前帧图像检测不 到目标托辊报警跑偏时， 实时获取画面中皮带边 缘位置并计算相较于皮带正常运行时的偏移量； 获取目标检测网络对实时皮带运行视频当前帧 画面检测结果 以及经过图像算法处理后的偏移 量， 通过报警的方式通知作业人员及时处理。 本 发明实现了皮带运输状态实时动态检测的自动 化与无人化功能。 权利要求书2页 说明书7页 附图1页 CN 115456963 A 2022.12.09 CN 115456963 A 1.一种基于 视觉识别的料场皮带 跑偏检测方法， 其特 征在于， 包括： 实时采集皮带运行视频流中的当前帧图像， 将采集到的皮带运行视频流中的当前帧图 像输入到目标检测网络模型中， 以皮带 下托辊作为检测目标， 以确定皮带 是否跑偏； 在目标检测网络模型计算获取到的结果为皮带跑偏时， 对实时采集的皮带运行视频流 中的当前帧图像进行处 理， 实时计算皮带运行 过程中的皮带偏移量； 输出报警信息， 其中， 所述报警信息包括皮带发生跑偏和皮带偏移量。 2.根据权利要求1所述的方法， 其特 征在于， 所述目标检测网络模型的训练方式为： 对皮带运输机正常运行及故障跑偏时的视频图像进行收集， 形成皮带跑偏视频图像的 历史数据； 将历史数据作为样本， 输入到目标检测网络模型中进行训练， 得到基于神经网络的深 度卷积神经网络模型作为皮带 跑偏的目标检测网络模型。 3.根据权利要求2所述的方法， 其特征在于， 所述对皮带运输机正常运行及故障跑偏时 的视频图像进行收集， 形成皮带 跑偏视频图像的历史数据， 包括： 对皮带正常运行及发生偏移时皮带 下方托辊进行定位和标定， 确定托辊坐标位置； 对获取到的视频图像中的各图像贴上对应的托辊坐标位置和目标类别标签得到标注 好的历史数据， 其中， 目标类别标签反应皮带 是否跑偏； 将标注好的历史数据分为训练集和测试集， 训练集用于训练目标检测网络模型， 获取 网络参数， 测试集用于测试验证目标检测网络模型的检测效果。 4.根据权利要求3所述的方法， 其特征在于， 所述将历史数据作为样本， 输入到目标检 测网络模型中进 行训练， 得到基于神经网络的深度卷积神经网络模型作为皮带跑偏的目标 检测网络模型， 包括： 将训练集作为目标检测网络模型的输入， 根据需求修改目标检测网络模型的结构并设 置训练参数， 经训练获得初始的目标检测网络模型； 将测试集作为初始的目标检测网络模型的输入， 通过训练好的目标检测网络模型进行 计算验证， 判断目标类别标签与托辊坐标位置是否与目标检测网络模型的检测输出结果一 致， 若一致则表明目标检测网络模型检测的结果与实际结果匹配， 并对判断结果进 行统计， 当托辊的匹配准确度大于设定阈值时， 确定当前目标检测网络模型为皮带跑偏的目标检测 网络模型， 当托辊的匹配准确度小于等于设定阈值时， 则 当前初始的目标检测网络模型不 满足条件， 继续执 行训练操作， 直到测试集得到的托辊的匹配准确度满足条件。 5.根据权利要求1至4任意一项所述的方法， 其特征在于， 所述对实时采集的皮带运行 视频流中的当前帧图像进行处 理， 实时计算皮带运行 过程中的皮带偏移量， 包括： 将当前帧图像进行二值化处理获取灰度图， 针对灰度图中的目标检测区域选定ROI感 兴趣域， 在ROI 感兴趣域内进 行皮带边缘轮廓特征提取， 对提取的皮带边缘轮廓进 行直线拟 合， 获取皮带边 缘上点的位置信息； 通过现场对皮带场景进行标注， 获得实 际场景中皮带尺寸与图像像素点比例关系， 进 而得到皮带边 缘的实际位置； 将皮带边缘上点的位置信 息与正常运行时皮带边缘的实际位置进行差值比较， 计算皮 带偏移量。 6.根据权利要求5所述的方法， 其特征在于， 目标检测网络模型由多个卷积层组成， 并权　利　要　求　书 1/2 页 2 CN 115456963 A 2采用多个残差的跳层连接， 并采用多尺度特征、 跨尺度特征融合及上采样的方法， 加强对小 目标检测的精确度， 其中， 目标置信度损失和目标类别损失采用二值交叉熵损失， 预测对象 类别使用logistic回归对预测位置进行 目标性评分， 判断区域为目标的概率值， 输出对皮 带下方托辊的检测及托辊位置和类别概 率。 7.一种基于 视觉识别的料场皮带 跑偏检测系统， 其特 征在于， 包括： 皮带跑偏图像获取模块， 用于实时采集皮带运行视频流中的当前帧图像， 将采集到的 皮带运行视频流中的当前帧图像输入到目标检测网络模型中， 以皮带下托辊作为检测目 标， 以确定皮带 是否跑偏； 图像处理模块， 用于在目标检测网络模型计算获取到的结果为皮带跑偏时， 对实时采 集的皮带运行视频流中的当前帧图像进行处 理， 实时计算皮带运行 过程中的皮带偏移量； 报警模块， 用于 输出报警信息， 其中， 所述报警信息包括皮带发生跑偏和皮带偏移量。 8.根据权利要求7 所述的系统， 其特 征在于， 所述系统还 包括： 目标检测网络模块； 所述图像处理模块， 还用于对皮带运输机正常运行及故障跑偏时的视频图像进行收 集， 形成皮带 跑偏视频图像的历史数据； 所述目标检测网络模块， 用于将历史数据作为样本， 输入到目标检测网络模型中进行 训练， 得到基于神经网络的深度卷积神经网络模型作为皮带 跑偏的目标检测网络模型。 9.根据权利要求8所述的系统， 其特征在于， 所述图像处理模块， 用于对皮带正常运行 及发生偏移 时皮带下方托辊进行定位和标定， 确定托辊坐标位置； 对获取到的视频图像中 的各图像贴上对应的托辊坐标位置和目标类别标签得到标注好的历史数据， 其中， 目标类 别标签反应皮带是否跑偏； 将标注好的历史数据分为训练集和测试集， 训练集用于训练目 标检测网络模型， 获取网络参数， 测试集用于测试验证目标检测网络模型的检测效果。 10.根据权利要求9所述的系统， 其特征在于， 所述目标检测网络模块， 用于将训练集作 为目标检测网络模型 的输入， 根据需求修改目标检测网络模型的结构并设置训练参数， 经 训练获得初始的目标检测网络模型； 将测试集作为初始的目标检测网络模型 的输入， 通过 训练好的目标检测网络模型进 行计算验证， 判断目标类别标签与托辊坐标位置是否与目标 检测网络模型的检测输出结果一致， 若一致则表明目标检测网络模型检测的结果与实际结 果匹配， 并对判断结果进 行统计， 当托辊的匹配准确度大于设定阈值时， 确定当前目标检测 网络模型为皮带跑偏的目标检测网络模型， 当托辊的匹配准确度小于等于设定阈值时， 则 当前初始的目标检测网络模型不满足条件， 继续执行训练操作， 直到测试集得到的托辊的 匹配准确度满足条件。权　利　要　求　书 2/2 页 3 CN 115456963 A 3