(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210758279.4 (22)申请日 2022.06.29 (71)申请人 上海伟视清数字技 术有限公司 地址 201203 上海市浦东 新区中国 （上海） 自由贸易试验区芳春路40 0号1幢3层 (72)发明人 孙世伟　韩杰　 (74)专利代理 机构 常州佰业腾飞专利代理事务 所(普通合伙) 32231 专利代理师 张励 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/25(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种结合四边形检测和深度学习的船舱定 位方法及系统 (57)摘要 本发明提供一种结合四边形检测和深度学 习的船舱定位方法及系统， 包括构建船只类型 库； 构建船只图像样本库， 图像样本包含:船只位 置、 类型和船舱位置的真值； 构建YOLO卷积神经 网络， 对图像样本库进行模型训练， 得到船只目 标的训练结果模型； 输入卸船机相机影像数据， 利用训练结果模 型预测检测船只类型、 船只边界 框以及船舱边界框； 利用船舱边界框信息来进行 船舱四边形检测， 得到更准确的船舱边界框， 实 现对船舱边界框的准确定位。 利用深度学习算法 预测结果， 对边界小范围矩形检测； 对四边形每 一条边的检测缩放为更小的尺度计算； 最后再还 原到像素尺度微调检测结果。 本发 明技术方案快 速高效， 能达 到实时检测 和定位的效果。 权利要求书1页 说明书8页 附图2页 CN 115131704 A 2022.09.30 CN 115131704 A 1.一种结合四边形检测 和深度学习的船舱定位方法， 其特 征在于： 包括以下步骤， 步骤S1， 构建船只类型库， 包括采集可见光下的抓斗式卸船机大车监控视频数据， 从中 获得包含不同类型 船只的图像,并配置船体和船舱 参数到数据库； 步骤S2， 构建船只图像样本库， 基于在步骤S1中采集的视频数据， 从中获得包含船只的 图像， 初始系统可以手动 构建少量样 本库， 利用开源图片标注工具labelImg， 对图片标注船 体包围框和所有船舱包围框， 存在卸船机抓斗时也对抓斗进 行标注， 设置不同的船体、 船舱 和抓斗目标类型； 待系统构建完成后， 直接根据系统功能自动标注大量的图片的样本库， 人工检查自动 标注是否正常； 步骤S3， 构建YOLO5卷积神经网络， 对步骤S2中所得船只图像样本进行模型训练， 得到 监控视频 下船只目标的训练结果模型； 步骤S4， 输入船只影 像数据， 利用步骤S3中所 得训练结果模型 预测检测边界框； 步骤S5， 利用步骤S4中所得船舱类型边界框信息来进行四边形检测， 得到更准确的船 舱位置定位： A， 对检测类型为船舱的所有检测框做处 理； B， 对船舱检测框的范围进行一定程度的扩大， 使检测框内包 含有完整的船舱； C， 对检测框做基于图像梯度变化的四边形检测， 得到船舱的检测结果。 2.根据权利要求1所述结合 四边形检测和深度 学习的船舱定位方法， 其特征在于： 在步 骤S1中， 船体和船舱主要参数包括:船体类型、 长宽、 船舱数量、 每一个船舱口的长宽及船舱 深度。 3.根据权利要求1所述结合 四边形检测和深度 学习的船舱定位方法， 其特征在于： 在步 骤S3中， YOLO卷积神经网络采用YOLOv5网络应用于抓斗式卸船机卸货目标检测。 4.根据权利要求1或3所述结合四边形检测和深度学习的船舱定位方法， 其特征在于： 在步骤S3中， 根据船舱包围框与抓斗包围框， 可以提供抓斗和船舱的安全指示状态。 5.根据权利要求1所述结合 四边形检测和深度 学习的船舱定位方法， 其特征在于： 在步 骤S4中， 根据船舱像素级包围框与数据库船体信息配置， 可以直接在监控画面显示船体船 舱距离坐标轴信息 。 6.根据权利要求1所述结合 四边形检测和深度 学习的船舱定位方法， 其特征在于： 在步 骤S5中， 设计 基于图像梯度变化的四边形检测方法用于船舱包围框的精确识别。权　利　要　求　书 1/1 页 2 CN 115131704 A 2一种结合四边形检测和深度学习的船舱定位方 法及系统 技术领域 [0001]本发明属于基于计算机视觉的船只定位技术领域， 特别涉及结合四边形检测和深 度学习的船舱定位方法及系统。 背景技术 [0002]散装船自动化卸货一直是业内亟待解决的难题， 特别是抓斗式卸船机是电厂、 散 货码头主力卸 船设备， 目前主要操作方式为人工手动操作。 由于卸 船机驾驶舱距离地面比 较高,运动速度快、 抓斗容易摆动， 对司机技巧要求高， 操作强度大， 容易疲劳易患颈椎病等 职业健康问题。 [0003]有些卸船机具有半自动操作方式， 可实现抓斗从船舱到料斗 的自动运行， 但是物 料抓取和船舱设定由司机手动完成。 这种 方式作业范围受到限制， 司机仍需监视抓斗和船 舶的安全。 [0004]因为船只种类大小和散装物料的多样性， 对目标实时的准确检测和定位一直是学 术及应用领域的难题。 为研究如何快速准确 地检测出船只信息,算法研究逐渐从基于手工 提取船只特征建模传统方法转向Faster  RCNN， EfficientDet， YOLO等基于深度学习的检测 方法。 [0005]在深度学习的方法中， 速度最快的YOLOv5将物体检测问题作为回归来处理， 从空 间分离出物体的边界和 类别。 YOLOv5的检测 速度达到了实时检测的要求， 但是检测的包围 框精度不够高,快速和不精确的矛盾一直存在， 准确性问题 导致很难适用于自动化领域,而 传统算法： 参数多， 调参过程复杂所以很难适 合自动化卸船情况。 [0006]在船舱口检测方面， 一般都是使用激光扫描以及与船体参数相 结合的方式， 主要 用在链斗式连续卸船机上。 而用在抓斗式卸船机上时， 大车距离船舱比较远， 只适合使用激 光雷达对目标扫描， 而激光雷达扫描时间比较慢， 默认扫描一圈要100毫秒； 常用的激光雷 达只能沿着一个方向扫描， 而在另外一个方向点云 间隔比较大， 可以是扫描方向的十倍(比 如： 水平分辨率为0.1度， 而垂直分辨率为1度)； 特别是常用的32线和64线雷达， 扫描一圈只 有32行或者64行扫描数据。 在雷达所在的大车和船体都相对静止时， 使用单个雷达覆盖船 体扫描需要对雷达进行旋转或平移， 涉及 复杂的坐标系变换和速度慢的问题； 使用多个雷 达增加成本， 也涉及复杂的坐标系变换。 另外对船体进覆盖式扫描建模， 涉及点云的点的数 量庞大， 需要大量的计算， 难以适应实时性要求。 发明内容 [0007]本发明的目的就在于克服现有技术存在的缺点和不足， 结合抓斗式散装船机自动 卸货系统的数据特性， 提供一种 结合四边形检测和基于深度学习的船舱定位方法。 该方法 能够快速识别船型及位置， 以及船舱包围框， 并结合已知船型参数配置， 在视频中可以显示 船体， 船舱的坐标轴数据显示， 跟踪显示抓斗在相机可见范围的运行包围框， 并可根据抓斗 包围框和船舱包围框的位置 关系为系统提供一种抓斗在船舱范围的安全指示状态； 更进一说　明　书 1/8 页 3 CN 115131704 A 3