(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210906148.6 (22)申请日 2022.07.29 (71)申请人 南京邮电大 学 地址 210012 江苏省南京市栖霞区文苑路9 号 (72)发明人 张登银　王敬余　赵乾　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 刘艳艳 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 10/46(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 全局特征与阶梯型局部特征融合的行人重 识别方法及装置 (57)摘要 本发明公开了一种全局特征与阶梯型局部 特征融合的行人重识别方法及装置， 方法包括： 利用预训练好的行人重识别网络模型对待识别 图像、 图库图像 分别进行提取得到待识别图像行 人特征、 图库图像行人特征； 将待识别图像行人 特征与图库图像行人特征进行相似度匹配， 输出 相似度排名前N的行人图像， 作为行人重识别结 果； 行人重识别网络包括骨干网络、 改进的全局 特征分支和块权重指导的阶梯型局部特征提取 分支； 采用公开的数据集训练行人重识别网络， 获得训练好的行人重识别网络模 型。 本发明设计 了全局特征与阶梯型局部特征融合的行人重识 别方法。 目标是学习鲁棒性更强的行人特征表 示， 以应对复杂的行人重识别场景， 达到一个好 的识别效果。 权利要求书3页 说明书9页 附图2页 CN 115171165 A 2022.10.11 CN 115171165 A 1.一种行 人重识别方法， 其特 征在于， 包括： 获取待识别图像和图库图像； 利用预训练好的行人重识别网络模型对所述待识别图像、 图库图像分别进行提取得到 待识别图像行 人特征、 图库图像行 人特征； 将待识别图像行人特征与图库图像行人特征进行相似度匹配， 输出相似度排名前N的 行人图像， 作为行 人重识别结果； 其中， 所述行 人重识别网络模型的构建方法包括： 构建行人重识别网络， 行人重识别网络包括骨干网络、 改进的全局特征分支和块权重 指导的阶梯型局部特征提取分支； 所述骨干网络为Resnet50， 并加载好预训练权重； 所述改 进的全局特征分支接在骨干网络Conv5_x上， 包括通道注意力模块、 多重感受野融合模块、 GeM池化层、 全连接层， 被配置为提取行人全局特征； 所述块权重指导的阶梯型局部特征提 取分支接在骨干网络Conv4_x后， 包括阶梯分块层、 池化层、 空间注意力模块、 全连接层， 被 配置为提取行人局部特征； 所述行人全局特征和行人局部特征连接起来作为最终行人特 征； 采用公开的数据集训练行 人重识别网络， 获得训练好的行 人重识别网络模型。 2.根据权利要求1所述的行人重识别方法， 其特征在于， 所述改进的全局特征分支的构 建方法包括： 将从骨干网络Conv5_x得到的特征图作为输入， 先经过通道注意力模块提取显著的行 人信息， 再通过多重感受野融合模块获取行人不同感受野下 的特征信息进行融合， 之后经 过GeM池化层 进行GeM池化， 得到2048维的特征向量， 使用难样 本采样三元 组损失约束， 同时 该特征向量接到全连接层上进行降维， 得到512维的全局特征， 使用交叉熵损失约束， 利用 三元组损失和交叉熵损失进行 联合优化训练。 3.根据权利要求1或2所述的行人重识别方法， 其特征在于， 所述通道注意力模块中， 输 入的特征图同时采用最大池化与 平均池化得到两个一 维的向量， 之后被送进权重共享的多 层感知机中， 将输出进行 逐元素的相加后经 过Sigmoid激活得到对应的注意力权 重； 和/或， 所述GeM池化层公式为： 其中， X为GeM池化层的输入， f为 GeM池化层的输出， pk是一个超参数， 在反向传播的过程 中学习； 和/或， 所述多重感受野融合模块包含3个分支， 对输入的特征X分别经过卷积核大小为 3×3， 空洞率分别为1、 2、 3的分支进行卷积操作得到3个特征图， 将此3个特征图进 行融合为 最终的输出 X′。 4.根据权利要求1所述的行人重识别方法， 其特征在于， 所述块权重指导的阶梯型局部 特征提取分支的构建方法包括： 将经过骨干网络Conv4_x得到的特征图作为输入， 通过阶梯分块层得到9个局部特征 图， 对9个局部特征图进行池化操作得到9个1024维特征向量， 然后经过第一全连接层进行 降维得到9个256维特征向量， 将所有降至256维的特征向量分别送入第二全连接层后使用权　利　要　求　书 1/3 页 2 CN 115171165 A 2交叉熵损失进行分类学习； 同时对骨干 网络Conv4_x得到的特征图经过空间注意力 模块、 阶梯分块层后得到的9个 局部特征图计算 块权重， 用块权 重指导交叉熵损失。 5.根据权利要求1或4所述的行人重识别方法， 其特征在于， 所述阶梯分块层首先将原 始完整行人图像特征均匀分成12个水平块， 最初以第1块为起始块， 每4块为一个整体作为 一个局部区域， 随后以步长为1往下 更改起始块进行阶梯型分块， 最终得到9个局部特 征图。 6.根据权利要求4所述的行人重识别方法， 其特征在于， 所述空间注意力模块， 先在通 道注意力模块中对输入H ×W×C的特征先分别进 行一个通道维度的最大池化和平均池化得 到两个H×W×1的通道描述， 并将这两个通道描述按照通道 拼接在一起； 然后， 经过一个7 × 7的卷积层， 激活函数为Sigmo id， 得到H×W×1的空间注意力权 重系数； 所述块权重计算方法包括： 将空间注意力模块输出的H ×W×1的空间注意力权重系数 送入阶梯分块层得到9个局部系数块， 分别用每个局部系数块的系数和除以9个系数块的系 数总和得到9个块权 重。 7.根据权利要求1所述的行人重识别方法， 其特征在于， 所述行人重识别网络模型采用 双分支联合训练进行训练， 联合训练损失函数Ltotal＝Lglobal+Llocal， 其中Lglobal代表改进的 全局特征分支损失， Llocal代表块权重指导的阶梯型局部特 征分支损失。 8.根据权利要求7所述的行人重识别方法， 其特征在于， 改进的全局特征分支损失Ltotal ＝LSoftmax+Ltri_hard， 其中LSoftmax为交叉熵损失， Ltri_hard为难样本采样三元组损失， 其中， N是批 次数， H表示行人数， fi是图像i的特征向量， 其真实标签为yi， W为权重， b是 偏置； 是第k个行 人的权重向量的转置， bk是第k个行 人的偏置向量； 采用难例样本挖掘三元组损失函数进行训练， 三元组损失函数选取锚点an、 正样本 pos、 负样本neg构成三元组， 训练时在每个批次中挑选出P个行人， 每个行人挑选出K张图 像， 三元组均来自于P ×K张图像， 通过计算欧氏距离找到离锚点距离最远的正样本、 最近的 负样本来计算三元组损失， 其中mar为设置的超参数， dan,pos是锚点与正样本的距离， dan,neg 是锚点与负样本的距离， A、 B表示该P ×K张图像中不同的样 本集， 即所选正样本和负样本不 重合； 损失函数的最小化， 就是锚点与负样本之间的距离最大化、 锚点与正样之 间的距离最 小化。 9.根据权利要求7所述的行人重识别方法， 其特征在于， 权重指导的阶梯型局部特征分 支损失 其中n为局部特征块的个 数， LSoftmax_i代表第i个局部 特征图的交叉熵损失， Wi为第i个局 部特征图的块权 重。权　利　要　求　书 2/3 页 3 CN 115171165 A 3