(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211236485.5 (22)申请日 2022.10.10 (71)申请人 广州大学 地址 510006 广东省广州市大 学城外环西 路230号 (72)发明人 綦科　孙玉祥　 (74)专利代理 机构 北京高航知识产权代理有限 公司 11530 专利代理师 覃钊雄 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06V 10/40(2022.01) G06V 40/10(2022.01) (54)发明名称 行人再识别网络模型数据增广及训练方法、 训练装置 (57)摘要 本发明涉及人工智能技术领域， 且公开了行 人再识别网络模 型数据增广及训练方法， 包括以 下步骤： S101： 获取M个训练图像和该M个训练图 像的标注数据， M个训练图像包括行人， 每个训练 图像的标注数据包括每个训练图像中的行人所 在的包围框和行人身份标识信息； S102： 应用设 定的采样策略， 选取M个训练图像中的一批训练 图像作为一个批次训练样本， 应用水平条带分 割‑混洗方法， 对该批次训练样本对进行数据增 广， 获得数据增广批次训练样本。 本发明针对行 人再识别网络模 型设计的扩展三重损失函数， 可 以处理小数相似度标签， 从而可以与所述数据增 广Strip‑Cutmix方法共同应用于行人再识别网 络模型的训练。 权利要求书3页 说明书9页 附图3页 CN 115546583 A 2022.12.30 CN 115546583 A 1.行人再识别网络模型 数据增广及训练方法， 其特 征在于， 包括以下步骤： S101： 获取M个训练图像和该M个训练图像的标注数据， M个训练图像包括行人， 每个训 练图像的标注数据包括每 个训练图像中的行 人所在的包围框和行 人身份标识信息； S102： 应用设定的采样策略， 选取M个训练图像中的一批训练图像作为一个批次训练样 本， 应用水平条带分割 ‑混洗方法， 对该批次训练样本对进行数据增广， 获得数据增广批次 训练样本； S103： 将数据增广批次训练样本， 按照设定的采样策略， 输入到行人再识别网络模型进 行特征提取， 得到该批次样本对的特 征向量； S104： 应用扩展三重损失函数， 计算该批次样本的特征向量所对应的损失函数的函数 值； S105： 根据损失函数的函数值对行 人再识别网络模型的网络参数进行 更新； S106： 重复上述S102、 S103、 S104和S105步骤， 对每个批次训练样本进行训练， 直到扩展 三重损失函数 的函数值满足预设条件， 从而完成行人再识别网络模型 的训练， 得到满足预 设条件的行人再识别网络模型， 预设条件为满足下列条件中的至少一种： 行人再识别网络 的训练次数 大于或等于预设次数， 扩展三重损失函数的函数值小于或等于预设阈值。 2.根据权利要求1所述的行人再识别网络模型数据增广及训练方法， 其特征在于： S102 步骤中的水平条 带分割‑混洗方法的具体步骤为： 1)从一个批次内的原有训练样本 中， 应用所述设定的采样策略， 选取部分图像， 对选取 的部分图像， 在相同的位置进 行水平条带切割， 把切割下来的图像块进 行混洗， 再贴回原图 像中， 生成合成图像， 其中： 每张合成图像都由部分原图像块和一个贴上去的图像块组成； 2)一个批次内的原有训练样本与上述 合成图像共同构成数据增广批次训练样本； 3)计算数据增广批次训练样本中每张图像的两种标签： 一种标签 是类相似度标签Sdass， 标签值等于每个身份的图像块 的面积占比； 另一种标签是样本对相似度标签Spair， 用于比 较两张图像中相同位置图像块的身份标签， 标签值 等于两者相同身份标签图像块的占比。 3.根据权利要求1所述的行人再识别网络模型数据增广及训练方法， 其特征在于： S102 步骤中设定的采样策略具体步骤为： a)在权利要求2所述的数据增广批次训练样本中， 包括两类图像： 原始样本图像和合成 图像,任意两张图像构成一个样本对； b)所述样本对分为4组类型： 第一组是Cle an‑Clean类型， 包含Clean ‑Clean： 正样本 ‑正 样本， Clean ‑Clean： 负样本 ‑负样本两种类型样本对； 第二组是Clean ‑Mixed： 负样本对类 型， 包含Clean ‑Mixed： 负样本 ‑负样本， Mixed ‑Clean： 负样本 ‑负样本两种类型样本对； 第三 组是Clean ‑Mixed： 正样本对类型， 包含Clean ‑Mixed： 正样本 ‑正样本,Mixed ‑Clean： 正样 本‑正样本两种类型； 第四组是Mixed ‑Mixed类型， 包含Mixed ‑Mixed： 正样本 ‑正样本， Mixed‑Mixed： 负 样本‑负样本两类； c)在一个批次内的原有训练样本中， 使用PK概率采样策略， 其中： P表示每个批次中行 人身份的数量， K表示每 个行人有多少张图片； d)从数据增广批次训练样本中选择全部P和一半K参与迭代训练， 选取策略为： 每次迭 代的样本对类型包含25％的Clean ‑Clean类型、 25％的Mixed ‑Mixed类型和50％的Clean ‑ Mixed： 负 样本对+Clean ‑Mixed： 正样本对类型组合。权　利　要　求　书 1/3 页 2 CN 115546583 A 24.根据权利要求1所述的行人再识别网络模型数据增广及训练方法， 其特征在于： S104 步骤中的扩展三重损失函数具体为： 给定锚点图片a， 与锚点相同身份的正样本集合P(a)， 与锚点不同身份的负 样本集合N(a)， m为宽松项： sp＝s(a,p)p∈P(a)； sn＝s(a,n)n∈N(a)； 其中s(a,p)表示正样本对相似度， s(a,n)表示负样本对相似度， Sn越小， Sp越大， 损失 就越小； 标准Triplet Loss表示为： Ltriplet＝sn‑sp+m， 其包含一个放松条件， 只要sn‑sp＞m， 即正 样本相似度比负 样本相似度于一个宽松项m， 就 不再继续优化 这组sn和sp； 从让网络训练输出的相似度接近相似度标签的角度出发， 扩展三重损失函数(extend ‑ triplet‑loss)如下： a1)动态确定样本对相似度的优化方向， 如果网络训练输出的相似度小于相似度 标签， 则需增加相似度， 要向正方向优化， 如果大于标签相似度， 则需减少相似度， 要向负方向优 化， 因为优化方向是根据正负样本对来确定的， 所以通过动态划分正负样本对方式， 来 实现 动态确定优化方向， 正负 样本对的动态划分如下： P(a)＝{i ＝1， 2， ...， M|s(a,i)≤y(a,i)and  y(a,i)≠ 0}； N(a)＝{i ＝1， 2， ...， M|s(a,i)＞ y(a,i)or  y(a,i)＝0}； 如果网络输出得到的样本对相似度s(a,i)大于样本对相似度标签y(a,i)， 那么该样本 对就是负样本对， 相似度s(a,i)要向着负方向优化来减少相似度， 如果s(a,i)小于或等于 样本对相似度标签y(a,i)， 那么该样本对就是正样本对， 相似度s(a,i)要向正方向优化来 提高相似度； a2)扩展放松条件， 扩展标准Triplet  Loss， 使其函数值分布在 所述样本对相似度标签 周围： 当 和 时， 就不再优化 这个三元组； 其中： yn为负样本对相似度标签， yp为正样本对相似度标签， 是宽松项， 令 这样当yn＝0和yp＝1时， 和标准Triplet  Loss兼容。 行人再识别网络模型 数据增广训练装置， 其特 征在于， 包括： 获取模块： 用于获取M个训练图像和该M个训练图像的标注数据； M个训练图像包括行 人， 每个训练图像的标注数据包括所述每个训练图像中的行人所在的包围框和行人身份标 识信息； 数据增广模块： 用于根据设定的采样策略， 选取M个训练图像中的一批训练图像作为一 个批次训练样本， 应用水平条带分割 ‑混洗方法， 对该批次训练样本对进行数据增广， 获得权　利　要　求　书 2/3 页 3 CN 115546583 A 3