(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210454057.3 (22)申请日 2022.04.24 (71)申请人 南京农业大 学 地址 210031 江苏省南京市浦口区点将台 路40号 (72)发明人 汪小旵　武尧　施印炎　张晓蕾　 徐乃旻　李为民　王得志　 (74)专利代理 机构 南京先科专利代理事务所 (普通合伙) 32285 专利代理师 何静 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/60(2022.01) G06V 10/25(2022.01) G06V 10/74(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多尺度级联感知深度学习网络的 幼鱼肢体识别方法 (57)摘要 本发明提供了一种基于多尺度级联感知深 度学习网络的幼鱼肢体识别方法， 采集幼鱼的视 频序列后， 鱼体 分为五个不重叠的部分并分别进 行语义标注， 作为多尺度级 联感知深度学习网络 的输入； 使用卷积层作为特征提取器， 对输入的 包含各肢体标注的图像进行特征提取， 提取的特 征输入到Attention ‑RPN结构， 判别各像素点的 类别， 采用多尺度级 联方法生 成每种肢体类别的 肢体掩模。 本发 明能够较为高效精 准地识别幼鱼 的肢体， 为幼鱼的姿态量 化提供了技 术支持。 权利要求书4页 说明书7页 附图3页 CN 115049952 A 2022.09.13 CN 115049952 A 1.一种基于多尺度级联感知深度学习 网络的幼鱼肢体识别方法， 其特征在于， 包括如 下步骤： 步骤1： 采集幼鱼视频序列， 获取原始图像， 识别并分离原始图像 中的每条个体鱼， 删除 不完整的个 体鱼， 归一 化原始图像大小； 步骤2： 将原始图像中的鱼体分为多个不重叠的部分， 并分别进行语义标注后作为多尺 度级联感知深度学习网络的输入； 步骤3： 利用多尺度级联感知深度学习网络对输入图像依次进行图像特征提取、 候选区 域生成以及鱼肢体掩膜生成处 理； 图像特征提取时， 通过一个卷积层、 一个最大池化层以及四个卷积结构来提取输入图 像的特征， 输出全局特 征图； 候选区域生成处理基于Attention ‑RPN网络， 利用图像特征提取过程中某一卷积结构 所输出的特征图作为Attention ‑RPN网络的共享特征层并融合成一个1024维的特征图， 通 过滑动窗口对输入的特征图进 行卷积操作， 每个滑动窗口将特征图映射到更低的维度进 行 二分类， 确定输入的特征是背景还是鱼体， 并对其边框坐标进行回归； 以每个像素为中心， 生成多个大小和比例不同的锚框和对应的标注， 每个锚框使用其中心像素对应的256维特 征来表示， 在训练的时候采用梯度下降和误差反向传播 算法； 进行鱼肢体掩膜生成处理时， 用3*3的卷积核处理融合了所有窗口后的输出， 然后与全 局特征图融合形成感兴趣区域， 将感兴趣区域像素进行上采样以获得更精细的表示， 使用 多尺度输入来处理不同尺寸的特征， 然后确定相应像素点的分类， 并对其像素坐标进行回 归， 来生成鱼肢体掩膜； 步骤4： 重新映射步骤3生成的鱼肢体掩膜的目标像素， 去除噪音， 获取平滑的鱼肢体掩 模。 2.根据权利要求1所述的基于多尺度级联感知深度学习网络的幼鱼肢体识别方法， 其 特征在于， 所述 步骤3中， 图像特 征提取所使用的卷积层结构布置如下： 第一层为卷积层， 用于提取图像特征， 卷积核大小为7*7， 步长为2， 通道数为64； 第二层 为最大池化层， 用于降维， 池化层大小为3 *3， 步长为2； 第三层至第 十一层为卷积结构conv2_X， 包括卷积核大小为1*1， 通道数为64， 卷积核大 小为3*3， 通道数为64， 卷积大小为1*1， 通道数为256的3组卷积结构； 第十二层至第二十三 层为卷积结构conv3_X， 包括卷积核大小1*1， 通道数为128， 卷积核大小为3*3， 通道数为 128， 卷积核 大小为1*1， 通道数为512的4组卷积结构； 第二十四层至第九十二层为卷积结构 conv4_X， 包括卷积核大小为1*1， 通道数为256， 卷积核大小为3*3， 通道数为256， 卷积核大 小为1*1， 通道数为1024的23组卷积结构； 第九十三层值第一百零一层为卷积结构conv5_X， 包括卷积核大小为1*1， 通道数为512， 卷积核大小为3*3， 通道数为512， 卷积核大小为1*1， 通道数为2048的3组卷积结构。 3.根据权利要求1所述的基于多尺度级联感知深度学习网络的幼鱼肢体识别方法， 其 特征在于， 所述 步骤3中， 基于A ttention‑RPN网络的候选区域 生成的具体过程如下： 初始化连接权重、 阈值、 学习速率， 设置激活函数， 计算隐藏层输出和网络输出， 计算网 络误差， 计算网络误差对输出层连接权重和隐藏层连接权值的偏导； 进 行网络参数更新； 计 算网络全局误差， 判断网络全局误差是否满足设定的要求值， 满足则判定网络收敛， 不满足权　利　要　求　书 1/4 页 2 CN 115049952 A 2则返回进行下一次迭代； 通过步骤2人工标注出的真实值计算IOU， 选择正负样本集进行训 练， 保留IOU>0.7的像素点， 丢弃IOU<0.3的像素点； 然后通过逐深度的方法计算Attention ‑ RPN网络生成的特征值与标签的相似性， 通过相似性用来选择性保留相似度较高的锚框生 成候选区域。 4.根据权利要求3所述的基于多尺度级联感知深度学习网络的幼鱼肢体识别方法， 其 特征在于， 所述隐藏层的输出Hj的计算公式为： 其中ωij为隐藏层连接权值， xi为Attention ‑RPN网络的第i个输入， i＝1,...,n， ai为隐 藏层的阈值， Hj为第j个隐藏层的输出， l 为隐藏层的总数； Attention‑RPN网络的输出yk的计算公式为： 其中， ωjk为输出层连接 权重， bk为输出层阈值， k 为输出层的序号， m为输出层的总数； 网络误差为： ek＝yk‑dk， 其中， ek为网络误差， dk为第k个期望 输出。 5.根据权利要求3所述的基于多尺度级联感知深度学习网络的幼鱼肢体识别方法， 其 特征在于， 所述网络参数更新的公式分别为： 和 其中， η为动量因子， 和 均表示网络误差对权重的偏导， 为第n个输出层连接权 重， 为更新后的第n+1个输出层连接权重， 为第n个隐藏层权重， 为更新后的第 n+1个隐藏层连接 权重。 6.根据权利要求3所述的基于多尺度级联感知深度学习网络的幼鱼肢体识别方法， 其 特征在于， 所述网络全局误差E的计算公式为： 其中， k为输出层的 序号， m为输出层的总数， dk为第k个期望 输出， yk为Attention‑RPN网络的输出； 损失函数为： 其中， Ncls表示类别个数； Lcls表示二分类的对数损失； arc表示每一批次的所有锚框； parc表示的是锚框属于正类锚框的概率， 当锚框为正类锚框时， 为1， 反之为0； Nreg表示 锚框的回归个数； λ表示回归函数的惩罚系数， 用于网络训练时回归损失与分类损失计算时 的权重分配； Lreg表示锚框的回归损失； tarc表示预测框的参数化坐标； 表示目标框的参权　利　要　求　书 2/4 页 3 CN 115049952 A 3