(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210446348.8 (22)申请日 2022.04.26 (71)申请人 桂林电子科技大 学 地址 541004 广西壮 族自治区桂林市灵川 县灵田镇桂林电子科技大 学花江校区 (72)发明人 赵雪梅　刘全　 (74)专利代理 机构 北京东方盛凡知识产权代理 事务所(普通 合伙) 11562 专利代理师 陈光磊 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于类内类间相关性的YOLOv5神经网络改 进方法 (57)摘要 本发明提供了基于类内类间相关性的 YOLOv5神经网络改进方法， 包括如下步骤： 通过 YOLOv5网络模型得到 特征图和预测框， 再根据输 入图像、 特征图和预测框计算目标光谱信息和梯 度信息； 利用全 连接网络从目标光谱和梯度信息 中抽象目标本质特征并将其表 示为一个向量； 通 过计算两个向量之间的距离测度表征不同目标 特征之间的差异； 结合YOLOv5损失函数， 构建基 于类内类间测度差异的损失函数训练网络模型， 迫使网络学习能够学习有利于区分不同目标的 普适性特征。 本发明在网络原损失函数的基础上 加入基于类内类间相关性的损失函数来约束， 加 强了网络对物体的分类能力， 提高模型的精度。 权利要求书2页 说明书4页 附图1页 CN 114708488 A 2022.07.05 CN 114708488 A 1.基于类内类间相关性的YOLOv5神经网络改进方法， 其特 征在于， 包括以下步骤： 根据预测框获得目标光谱信息和目标梯度信息； 利用全连接网络从目标光谱信息和目标梯度信息中抽象目标本质特征并将其表示为 一个向量， 即每一类由一个向量表示； 通过计算两个向量之间的距离测度表征不同目标 特征之间的差异； 结合YOLOv5损失函数， 构建基于类内类间测度差异的损失函数训练网络模型， 迫使网 络学习能够学习有利于区分不同目标的普适 性特征。 2.根据权利要求1所述的基于类内类间相关性的YOLOv5神经网络改进方法， 其特征在 于， 获得目标光谱信息的方法为： 获得网络训练得到的预测框和特 征图； 对预测框内的数据做均值和方差计算， 获得目标光谱信息 。 3.根据权利要求2所述的基于类内类间相关性的YOLOv5神经网络改进方法， 其特征在 于， 获得目标梯度信息的方法为： 获得输入图像和网络训练得到的预测框； 基于所述输入图像， 获得包 含梯度信息的图； 将所述预测框放置在所述包 含梯度信息的图上； 对放置在所述包含梯度信 息的图上的预测框内的数据做均值和方差计算， 获得目标梯 度信息。 4.根据权利要求1所述的基于类内类间相关性的YOLOv5神经网络改进方法， 其特征在 于， 对向量进行比较包括类内差异和类间差异； 计算类内差异的方法为： 计算两次迭代的向量的距离测度即可得到不同图像同一目标 的类内差异； 计算类间差异 的方法为： 对存在同类目标的差异 的迭代中， 将当前类与之前迭代所保 存下来的所有其 他类的向量计算距离测度即可表征不同目标 特征之间的差异。 5.根据权利要求4所述的基于类内类间相关性的YOLOv5神经网络改进方法， 其特征在 于， 获得类内类间差异的计算公式为 余弦相似度Sa,b： 其中， 在某一次迭代中某一类出现了新向量， 在计算类内差异中， 该次迭代的新向量为 公式(1)的A， B为之前迭代 生成的与 A同类的旧向量； 计算类间差异中， 该次迭代的存在类内 差异的新向量 为公式(1)的A， B为之前迭代所保存下来的所有其 他类的向量。 6.根据权利要求1所述的基于类内类间相关性的YOLOv5神经网络改进方法， 其特征在 于， 基于目标信息的损失函数的表达式为： 权　利　要　求　书 1/2 页 2 CN 114708488 A 2其中， 以及 为用公式(1)计算得到的类内类间差异， 为类内差异， 为 类间差异， a为某一次迭代中某一类的新向量， a0为之前迭代生成的与a同类的旧向量， bm为 之前迭代所保存下来的所有其他类的向量， n为之前迭代所保存下来的所有其他类的向量 的个数， j为某次迭代中所计算出的新向量中的种类， 与之前计算的旧向量中的种类相同的 个数。 7.根据权利要求1所述的基于类内类间相关性的YOLOv5神经网络改进方法， 其特征在 于， 将所述基于目标信息的损失函数与YOLOv5神经网络自身的二元交叉熵损失函数和CIOU 损失函数相结合的方法为： loss＝LYOLOv5+λLintra‑inter 其中， λ是调节参数。权　利　要　求　书 2/2 页 3 CN 114708488 A 3