(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211327497.9 (22)申请日 2022.10.27 (71)申请人 中国水利水电科 学研究院 地址 100038 北京市海淀区车公庄西路20 号 (72)发明人 杨明祥　乔广超　王浩　蒋云钟　 刘春雨　 (74)专利代理 机构 北京市盛峰律师事务所 11337 专利代理师 于国强 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/10(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) (54)发明名称 一种基于深度学习的钓鱼行为识别方法 (57)摘要 本发明公开了一种基于深度学习的钓鱼行 为识别方法， 包括S1、 利用行人数据集对行人检 测模型进行训练， 利用训练好的行人检测模型检 测待测视频图像中的行人， 并输出行人位置参 数； S2、 从检测到的行人边界框中心点向外扩增， 并裁剪出外扩后的图像， 获取大量裁剪后的图 像； S3、 利用步骤S2中获取的大量裁剪后的图像 作为鱼竿数据集训练鱼竿分类模 型； 并将裁剪后 的待检测视频图像输入训练好的鱼竿分类模型 中， 获取鱼竿分类识别结果； S4、 根据鱼竿分类识 别结果确定行人是否在钓鱼。 优点是： 通过检测 出视频图像中的行人， 并从各个边界框的中心点 为中心向外扩增， 裁剪扩增后的区域， 使得鱼竿 分类模型关注更小区域， 提升分类性能， 有效识 别钓鱼行为。 权利要求书1页 说明书4页 附图1页 CN 115497030 A 2022.12.20 CN 115497030 A 1.一种基于深度学习的钓鱼行为识别方法， 其特 征在于： 包括如下步骤， S1、 利用行人数据集对行人检测模型进行训练， 利用训练好的行人检测模型检测待测 视频图像中的行 人， 并输出 行人位置参数； S2、 从检测到的行人所在位置边界框的中心点向外扩增， 并裁剪出外扩后的图像， 获取 大量裁剪后的图像； S3、 利用步骤S2中获取的大量裁剪后的图像作为鱼竿数据集训练鱼竿分类模型； 并将 裁剪后的待检测视频图像输入训练好的鱼竿分类模型中， 获取鱼竿分类识别结果； S4、 根据鱼竿分类识别结果确定行 人是否在钓鱼。 2.根据权利要求1所述的基于深度学习的钓鱼行为识别方法， 其特征在于： 步骤S1具体 包括如下内容， S11、 从公共COCO数据集中提取行人类别， 得到行人类别对应的图片文件和标注文件， 以构成行 人数据集； S12、 利用行 人数据集训练行 人检测模型， 并获取训练好的行 人检测模型； S13、 将待检测视频图像输入训练好的行 人检测模型中； S14、 获取 行人检测模型输出的行 人位置参数。 3.根据权利要求2所述的基于深度学习的钓鱼行为识别方法， 其特征在于： 所述行人检 测模型为基于 YOLOv5目标检测算法。 4.根据权利要求2所述的基于深度学习的钓鱼行为识别方法， 其特征在于： 在训练行人 检测模型时， 使用SGD优化器进行训练， momentum为0.937， weight_decay为0.0005， batch   size为16， learn ing rate为0.01， 总的迭代次数为3 00。 5.根据权利要求2所述的基于深度学习的钓鱼行为识别方法， 其特征在于： 步骤S2具体 为， 从检测到的行人所在位置边界框的中心点以边界框宽高的两倍向外扩增， 裁剪出外扩 后的图像区域。 6.根据权利要求5所述的基于深度学习的钓鱼行为识别方法， 其特征在于： 步骤S3具体 包括如下内容， S31、 对于步骤S2获取的大量裁剪后的图像， 将包含有鱼竿的图像命名为rod_序号 .jpg， 不包含鱼竿的图像命名为norod_序号.jpg， 以此制作用于训练鱼竿分类模型的鱼竿 数据集； S32、 基于深度学习框架K eras快速搭建 鱼竿分类模型； S33、 利用鱼竿数据集训练鱼竿分类模型， 并获取训练好的鱼竿分类模型； S34、 将裁 剪后的待检测视频图像输入训练好的鱼竿图像分类模型中； S35、 输出鱼竿分类识别结果。 7.根据权利要求6所述的基于深度学习的钓鱼行为识别方法， 其特征在于： 在训练鱼竿 分类模型时， 使用relu激活函数， 输出层采用softmax激活函数进行分类。 8.根据权利要求6所述的基于深度学习的钓鱼行为识别方法， 其特征在于： 步骤S4具体 为， 根据步骤S 35输出的鱼竿分类识别结果， 判断裁剪区域中是否包含鱼竿， 若 是， 则判定该 图像中的人这 正在钓鱼； 若否， 则判定该图像中的人没有发生钓鱼行为。权　利　要　求　书 1/1 页 2 CN 115497030 A 2一种基于深度学习的钓鱼行为识别方 法 技术领域 [0001]本发明涉及智慧巡河管理技术领域， 尤其涉及一种基于深度学习的钓鱼行为识别 方法。 背景技术 [0002]在河长制全面建立以后， 全国各地明确了省、 市、 县、 乡四级河长30多万名， 村级河 长76万余名， 各级河长按照规定执行例行巡河任务， 及时发现水域岸线的违法违规行为。 其 中最为常见的是在禁钓河段钓鱼， 尤其是在危险河段， 极大威胁钓鱼者人身安全。 当前巡河 手段主要依靠人工巡河， 任务繁重， 效率低下， 难以实现全天候2 4小时以及 全河段的有效覆 盖。 随着计算机视觉与图像处理理论和技术的发展， 利用视频监控结合人工智能， 借助摄像 头全天候 监管禁钓区域内的钓鱼行为， 并实现及时预警、 及时取证、 及时处置 。 [0003]目前， 对于钓鱼行为识别相关的研究较少， 若仅采用图像处理技术或目标检测技 术难以有效识别钓鱼行为。 在实际场景中， 钓鱼者旁边往往存在不少的行人或者围观的人， 给钓鱼行为识别带来很大的干扰。 发明内容 [0004]本发明的目的在于提供一种基于深度学习的钓鱼行为识别方法， 从而解决现有技 术中存在的前述问题。 [0005]为了实现上述目的， 本发明采用的技 术方案如下： [0006]一种基于深度学习的钓鱼行为识别方法， 包括如下步骤， [0007]S1、 利用行人数据集对行人检测模型进行训练， 利用训练好的行人检测模型检测 待测视频图像中的行 人， 并输出 行人位置参数； [0008]S2、 从检测到的行人所在位置边界框的中心点向外扩增， 并裁剪出外扩后的图像， 获取大量裁剪后的图像； [0009]S3、 利用步骤S2中获取的大量裁剪后的图像作为鱼竿数据集训练鱼竿分类模型； 并将裁剪后的待检测视频图像输入训练好的鱼竿分类模型中， 获取鱼竿分类识别结果； [0010]S4、 根据鱼竿分类识别结果确定行 人是否在钓鱼。 [0011]优选的， 步骤S1具体包括如下内容， [0012]S11、 从公共COCO数据集中提取行人类别， 得到行人类别对应的图片文件和标注文 件， 以构成行 人数据集； [0013]S12、 利用行 人数据集训练行 人检测模型， 并获取训练好的行 人检测模型； [0014]S13、 将待检测视频图像输入训练好的行 人检测模型中； [0015]S14、 获取 行人检测模型输出的行 人位置参数。 [0016]优选的， 所述行 人检测模型为基于 YOLOv5目标检测算法。 [0017]优选的， 在训练行人检测模型时， 使用SGD优化器进行训练， momentum为0.937， weight_decay为0.0 005， batch size为16， learn ing rate为0.01， 总的迭代次数为3 00。说　明　书 1/4 页 3 CN 115497030 A 3