(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211004791.6 (22)申请日 2022.08.22 (71)申请人 正星科技股份有限公司 地址 450001 河南省郑州市高新 技术产业 开发区雪松路4 号 (72)发明人 王伟国　郑宝全　李培莹　朱朝鹏　 王玉琢　赵兵兵　姜栋　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 刘凤 (51)Int.Cl. G06V 10/25(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种悬挂式加油机的碰撞预警方法、 装置及 电子设备 (57)摘要 本申请提供了一种悬挂式加油机的碰撞预 警方法、 装置及电子设备， 将获取的目标场景图 像输入至 预先训练好的对象标注模 型中， 输出标 注有目标对象的对象标注框的目标场景图像； 检 测对象标注框与危险区域之间是否存在重叠区 域； 若是存在重叠区域且重叠区域之间的面积大 于预设面积阈值时， 生成预 警信息。 这样， 将实时 获取到目标场景图像， 输入至对象标注模型中， 由剪枝后的对象标注模型快速地输出标注有目 标对象的目标场景图像， 根据目标场景图像中标 注目标对象的对象标注框与预先设定的危险区 域之间的重叠区域的面积， 确定是否生成预警信 息， 可以实时且 快速地检测到加油机处的碰撞风 险， 有助于提升悬挂式加油机的碰撞预警的效率 以及及时率。 权利要求书3页 说明书14页 附图3页 CN 115294331 A 2022.11.04 CN 115294331 A 1.一种悬挂式加油机的碰撞预警方法， 其特 征在于， 所述碰撞预警方法包括： 获取在所述悬挂式加油机预设范围内的目标场景图像； 将所述目标场景图像输入至预先训练好的对象标注模型中， 输出标注后的目标场景图 像； 所述标注后的目标场景图像中显示有指示图像中目标对 象所在区域的对 象标注框； 所 述对象标注模型为对YOLOv5s模型中的骨干网络进行剪枝处理， 去除特征提取效率低于预 设效率阈值的特 征提取层后的模型； 检测在所述目标场景图像中所述对象标注框与预先设定的危险区域之间是否存在重 叠区域； 若存在， 当所述重 叠区域的面积大于预设面积阈值时， 生成预警信息 。 2.根据权利要求1所述的碰撞预警方法， 其特征在于， 所述对象标注模型包括输入网 络、 骨干网络、 Neck网络以及输出网络； 所述将所述目标场景图像输入至预先训练好的对象 标注模型中， 输出 标注后的目标场景图像， 包括： 将所述目标场景图像输入至所述对象标注模型的输入 网络， 将所述场景图像按照预设 图像尺寸进行缩放， 输出缩放后的填充图像； 将所述填充图像输入至所述骨干网络， 对所述填充图像按照预设切分阈值进行切分拼 接后， 得到多张拼接图像， 并对每张拼接图像进行 特征提取， 输出 特征映射图像； 将所述特 征映射图像输入至所述 Neck网络， 进行 特征上采样融合， 输出 特征融合图像； 将所述特征融合图像输入至所述输出网络， 按照预设范围的锚框， 对多个重叠锚框进 行过滤后， 利用目标锚框对所述特 征融合图像进行 标注， 输出 标注后的目标场景图像。 3.根据权利要求2所述的碰撞预警方法， 其特征在于， 所述骨干网络包括图像分割层以 及第一特征提取层； 所述将所述填充图像输入至所述骨干网络， 对所述填充图像按照预设 切分阈值进 行切分拼接后， 得到多张拼接图像， 并对每张拼接图像进 行特征提取， 输出特征 映射图像， 包括： 将所述填充图像输入至所述图像分割层， 所述图像分割层按照预设切分阈值对所述填 充图像进 行切分后， 将所述填充图像中符合预设切分阈值的相 邻像素， 确定为一个切片， 并 将各个切片中相同位置像素进行拼接， 输出多张拼接图像； 将所述多张拼接图像输入至所述第一特征提取层， 对所述多张拼接图像进行特征提 取， 输出所述特征映射图像。 4.根据权利要求2所述的碰撞预警方法， 其特征在于， 所述Neck网络包括多个依次连接 的上采样特征提取层； 所述将所述特征映射图像输入至所述Neck网络， 进行特征上采样 融 合， 输出特征融合图像， 包括： 将所述特征映射图像输入连续多个上采样特征提取层， 进行多次特征上采样， 并对采 样后的预设特 征进行融合后， 输出 所述特征融合图像。 5.根据权利要求1所述的碰撞预警方法， 其特征在于， 通过以下步骤训练所述对象标注 模型： 获取多张初始样本 图像， 并对每张初始样本 图像中的目标对象所在区域进行标注， 得 到多张标注样本图像； 将所述多张初始样本图像以及多张标注样本图像， 输入至预先构架好的YOLOv5s模型 中， 以使所述Y OLOv5s模型通过每张初始样本图像以及 对应的标注样 本图像， 对预先设定好权　利　要　求　书 1/3 页 2 CN 115294331 A 2的初始锚框的位置以及大小进 行调整， 当所述Y OLOv5s模型的损失值小于预设损失阈值时， 确定所述Y OLOv5s模型训练完成， 得到所述对象标注模 型； 所述初始锚框为对所述每张标注 样本图像中的标注区域聚类后确定的。 6.根据权利要求1所述的碰撞预警方法， 其特征在于， 在所述调整预先设定好的初始锚 框的位置以及大小进行调整， 当所述YOLOv5s模型的损失小于预设损失阈值时， 确定所述 YOLOv5s模型训练完成之后， 所述碰撞预警方法还 包括： 确定所述YOLOv5s模型中的目标剪枝通道和/或目标剪枝层， 以及所述YOLOv5s模型中 包含所述目标剪枝通道和/或目标剪枝层的目标网络结构； 对所述目标网络结构中的目标剪枝通道和/或目标剪枝层中的BN层的缩放系数施加约 束， 确定目标剪枝通道和/或目标剪枝层中的输出系数； 裁剪所述目标网络结构中的目标剪枝通道和/或 目标剪枝层的输出系数小于预设系数 阈值的卷积层和/或卷积通道， 得到剪枝后的YOLOv5s模型， 并将剪枝后的YOLOv5s模型， 确 定为所述对象标注模型。 7.根据权利要求5所述的碰撞预警方法， 其特征在于， 通过以下步骤确定所述YOLOv5s 模型的损失值： 确定所述YOLOv5s模型在训练过程中的类别损失值、 目标置信度损失值以及边框回归 损失值； 将所述类别损 失值、 目标置信度损 失值以及边框回归损 失值进行加权计算， 确定所述 YOLOv5s模型的损失值。 8.根据权利要求1所述的碰撞预警方法， 其特征在于， 所述当所述重叠区域的面积大于 预设面积阈值时， 生成预警信息， 包括： 当所述重叠区域的面积大于预设面积阈值 时， 将所述对象标注框的颜色填充为预设预 警颜色， 得到所述预警信息 。 9.一种悬挂式加油机的碰撞预警装置， 其特 征在于， 所述碰撞预警装置包括： 图像获取模块， 用于获取在所述悬挂式加油机预设范围内的目标场景图像； 图像标注模块， 用于将所述目标场景图像输入至预先训练好的对象标注模型中， 输出 标注后的目标场景图像； 所述标注后的目标场景图像中显示有指示图像中目标对象所在区 域的对象标注框； 所述对象标注模 型为对YOLOv5s模型中的骨干网络进 行剪枝处理， 去除特 征提取效率低于预设效率阈值的特 征提取层后的模型； 区域检测模块， 用于检测在所述目标场景图像中所述对象标注框与 预先设定的危险区 域之间是否存在重 叠区域； 预警信息生成模块， 用于若存在， 当所述重叠区域的面积大于预设面积阈值 时， 生成预 警信息。 10.一种电子设备， 其特征在于， 包括： 处理器、 存储介质和总线， 所述存储介质存储有 所述处理器可执行 的机器可读指令， 当电子设备运行时， 所述处理器与所述存储介质之间 通过总线通信， 所述处理器执行所述机器可读指令， 以执行如权利要求1至8任一项所述的 悬挂式加油机的碰撞预警方法的步骤。 11.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器运行时执行如权利要求 1至8任一项 所述的悬挂式加油机的权　利　要　求　书 2/3 页 3 CN 115294331 A 3