(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210986572.6 (22)申请日 2022.08.17 (71)申请人 安徽易刚信息技 术有限公司 地址 246001 安徽省安庆市宜秀区文苑路 188号筑梦新区A1栋 5楼510室 (72)发明人 查海涅　王欢　廖剑锋　查沛　 郝娟娟　焦迎庆　 (74)专利代理 机构 芜湖思诚知识产权代理有限 公司 34138 专利代理师 盛思敏 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/28(2022.01) G06V 10/30(2022.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习和机器视觉的龙虾品相 识别方法及系统 (57)摘要 本发明公开了一种基于深度学习和机器视 觉的龙虾品相识别方法， 包括采集小龙虾图像数 据、 对采集的图像进行预处理、 构建神经网络模 型以及模型训练及验证四个步骤， 其中图像进行 预处理包括RGB分量处理、 二值化处理、 去噪、 触 角像素填充、 倾斜矫正以及外接矩形剪切步骤， 构建神经网络模型的过程中， 标注训练数据， 利 用深度学习框架Pytorch、 开发工具Python搭建 神经网络模型， 基于YOL Ov4搭建小龙虾品相分类 模型； 模型训练及验证步骤要求训练时， 采用 Adam对模型参数进行优化， 训练完成后， 使用其 在小龙虾品相识别测试集上进行预测， 验证模型 分类效果； 其龙虾品相识别系统包括数据层、 模 型层和应用层， 本发明提高了小龙虾品相识别的 效率和准确率。 权利要求书2页 说明书4页 附图2页 CN 115359256 A 2022.11.18 CN 115359256 A 1.一种基于深度学习和机器视 觉的龙虾品相识别方法， 其特 征在于： 包括以下步骤： S1、 采集小龙虾图像数据： 利用摄 像头采集大量小龙虾实时图像数据； S2、 对采集的图像进行 预处理： 使用图像处 理工具CV 2对小龙虾图像进行 预处理； S3、 构建神经网络模型： 标注训练数据， 利用深度学习框架Pytorch、 开发工具Python搭 建神经网络模型， 基于 YOLOv4搭建小龙虾品相分类模型； S4、 模型训练及验证： 训练时， 采用Adam对模型参数进行优化， 训练完成后， 使用其在小 龙虾品相识别测试集上进行 预测， 验证模型分类效果。 2.根据权利要求1所述的一种基于深度学习和机器视觉的龙虾品相识别方法， 其特征 在于： 所述S2具体步骤如下： S201、 RGB分量处理： 提取小龙虾 实时图像RGB分量， 并记录各个分量矩阵， 在提取RGB分 量以后， 将图像灰度化处 理； S202、 二值化处理： 根据小龙虾成像特性， 为更好地将小龙虾同背景分割， 利用最大类 间方差法将原 始图像进行二 值化处理； S203、 去噪： 利用高斯曲去噪法对图像中噪声斑进行 过滤； S204、 触角像素填充： 对小龙虾的触角像素进行填充； S205、 倾斜矫正： 根据虾体结构特点， 采用模板匹配的方法实现倾斜虾体的判断和矫 正， 将图像划分为A、 B、 C区域， 使虾体图像正面朝上分布， 虾体的尺寸及残缺度满足识别要 求； S206、 外接矩形剪切： 在进行识别之前可对虾体图像进行外接矩形切割， 降低图像尺 寸。 3.根据权利要求1所述的一种基于深度学习和机器视觉的龙虾品相识别方法， 其特征 在于： 所述S3中YOLOv4神经网络结构以CSPDarknet53为主干， 包含5个CSP 模块， 各模块前的 卷积核大小为3 ×3， 步幅为2， 能够进一 步增强网络学习能力； 路径聚合网络(PANet)作为颈部， 增添空间金字塔池(SPP)附加模块进行上采样、 下采 样和堆叠， 采用1 ×1， 5×5， 9×9， 13×13最大池化方式， 能够增加感受区并分离出更重要的 上下文特征； 沿用YOLOv3检测头作为头 部。 4.根据权利要求1所述的一种基于深度学习和机器视觉的龙虾品相识别方法， 其特征 在于： 所述YOLOv4采用Mosaic及CutMix数据增强策略增 加输入图像可变性。 5.一种基于深度 学习和机器视觉的龙虾品相识别系统， 其特征在于： 包括数据层、 模型 层以及应用层， 所述数据层包括图像采集模块和图像预处理模块； 模型层包括模型搭建模 块和模型训练模块； 所述应用层包括小龙虾品相识别模块。 6.根据权利要求5所述的一种基于深度学习和机器视觉的龙虾品相识别系统， 其特征 在于： 所述图像采集模块包括用于采集小龙虾实时图像的摄像头； 所述图像预处理模块用 于对采集到的图像做预处理， 其包括RGB分量处理、 二值化处理、 去噪、 触角像素填充、 倾斜 矫正以及外 接矩形剪切。 7.根据权利要求5所述的一种基于深度学习和机器视觉的龙虾品相识别系统， 其特征 在于： 所述模型搭建模块使用预处理好的小龙虾图像作为模型训练数据集， 同时利用深度 学习框架Pytorc h， 开发工具Pytho n搭建深度学习网络模型， 采用YOLOv4模型进行 搭建。权　利　要　求　书 1/2 页 2 CN 115359256 A 28.根据权利要求5所述的一种基于深度学习和机器视觉的龙虾品相识别系统， 其特征 在于： 所述模型训练模块利用Adam优化模型参数， 并使用测试集验证模型分类效果。 9.根据权利要求5所述的一种基于深度学习和机器视觉的龙虾品相识别系统， 其特征 在于： 所述小龙虾品相识别模块利用训练好的深度学习网络模型对小龙虾品相进行识别。权　利　要　求　书 2/2 页 3 CN 115359256 A 3