(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211062445.3 (22)申请日 2022.08.31 (71)申请人 中乾立源工程咨询有限公司 地址 430000 湖北省武汉市洪山区文化大 道555号融创智谷B2栋7楼 (72)发明人 钟忺　巫世峰　冯独秀　黄文心　 章镕波　张瑾　陈利军　张杨　 张俊　彭娅婷　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 鲁力 (51)Int.Cl. G06V 20/54(2022.01) G06V 10/26(2022.01) G06V 10/40(2022.01)G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06T 3/40(2006.01) (54)发明名称 基于部件表征学习和个性化属性结构的车 辆重识别方法 (57)摘要 本发明涉及一种基于部件表征学习和个性 化属性结构的车辆重识别方法， 该方法着眼于车 辆重识别任务中的关键信息： 部件外观信息和个 性化属性结构信息。 在部件分支中， 通过车辆部 件语义分割器获得车辆部件特征， 引入自编码器 来实现对部件 特征的超分辨率处理， 对于成对部 件特征进行多视角下的对比学习。 在属性分支 中， 通过属性检测器获得车辆的属性特征， 对于 属性特征进行属性结构建模进行加强， 抽取部件 特征与属性特征构建双粒度结构关系模型来使 得属性特征具有跨粒度的车辆结构表达能力。 对 于部件、 属性以及由ResNet 50提取的全局特征进 行加权融合后得到最终结果， 利用本发明能够简 洁高效地进行 车辆重识别。 权利要求书2页 说明书8页 附图3页 CN 115359442 A 2022.11.18 CN 115359442 A 1.一种基于 部件表征 学习和个性 化属性结构的车辆 重识别方法， 其特 征在于， 通过车辆部件分割器获得车辆部件特征， 并对部件特征进行超分辨率处理， 对于成对 部件特征进行多视角下的对比学习， 构建多视角下的车辆 部件表征 学习模型； 在属性分支中， 通过车辆属性检测器获得车辆的属性位置信息， 将其与车辆特征相乘 后获得车辆属性特 征， 并基于车辆属性特 征构建属性结构模型； 抽取车辆部件特征与属性特征构建双粒度结构关系模型， 对全局特征、 部件特征和属 性特征加权融合后得到车辆 重识别的最终结果。 2.根据权利要求1所述的一种基于部件表征学习和个性化属性结构的车辆重识别方 法， 其特征在于， 定义 多摄像头下的车辆重识别： 识别出在M+1个视场区域不重叠的摄像头组成的摄像机网 络C中， 某个 摄像头Cn下的某个特定车辆i用Oi n表示， C＝{C0,C1,C2,…,CM})； 车辆部件： 将车辆图片按照车辆的固有部件进行划分获得部件集P(表示为P＝{P0,P1, P2,…,P9})， 具体指背景、 车顶、 左车窗、 左车身、 右车窗、 右车身、 正车窗、 前车身、 后车窗、 后 车身； 其中排除背景P0后即为车辆的全部 部件； 车辆属性： 对于车辆上极具个性化表达能力的小目标进行定义， 获得车辆的属性集A (表示为A＝{A1,A2,A3,…,A12})， 具体指后视镜， 车牌标志， 年检标志， 车身贴纸， 车灯、 纸巾 盒、 装饰摆 件、 通行许可证、 悬挂物、 行李 架、 车顶天窗、 杂志； 同一车辆的确定： 对车辆的全局特征、 部件特征、 属性特征进行余弦距离度量， 对结果 进行加权融合后得 出相似度排序结果， 实现车辆 重识别。 3.根据权利要求1所述的一种基于部件表征学习和个性化属性结构的车辆重识别方 法， 其特征在于， 车辆的部件表征 学习模型构建包括： 网络接受一对不同视角下的车辆图像xi与xj， 利用分割网络获取部件特征分别为Fip (xi)＝{Fip|p∈{1,. ..,9}}和 车辆部件表征学习分支： 双分支部件超分辨率网络来生成不同视角的和基于的ID保留 的车辆部件增强表征， 为了在图像重建中恢复更多的视觉线索， 使用了感知重建损失约束 超分辨率网络， 可表示 为 对于不同视角下的部件， 利用成对输入的部件关系构建对比学习模型， 将超分后的部 件特征连接， 在一定程度上避免了图像中全局信息的干扰， 有效增强车辆部件表征， 特征连 接可表示为 xi， 分别表示第i个地面真值和经过超分辨率 网络 后的重建图像， 表示VGG‑19网络， 利用该网络能够有效获取高维度特征， CjHjWj是网络中 第j层特征图的形状。 4.根据权利要求1所述的一种基于部件表征学习和个性化属性结构的车辆重识别方 法， 其特征在于， 个性 化属性结构模型构建包括 车辆图片首先输入属性检测器来获得对应属性的位置信 息， 并且通过将掩码与全局特 征相乘的方式获得 车辆的属性特 征， 表示为Fa(x)＝{Fa|a∈{1,. ..,12}}；权　利　要　求　书 1/2 页 2 CN 115359442 A 2对于车辆的属性特征进行结构建模， 不同的属性特征的集合作为结点V， 属性之间的关 联性则作为边E， 从而构建了一个图模型； 与此同时， 属 性结构图中还引入了一个两层的图 卷 积 神 经 网 络 G C N 来 进 行 结 点 之 间 的 权 重 学 习 ，每 一 层 的 计 算 方 式 为 Fa(x)(L)表示GCN中的第L层的输入矩阵， σ( ·)表示 激活函数， A 表示属性结构图中的邻接矩阵， D表示A的度矩阵， W(L)表示第L层的可 学习参数； 将获得的车辆部件特征进行抽取， 与属性特征聚合后进行双粒度结构关系建模； 对于 每个信道特征作为一个结点V， 将每个结点代表的车辆属 性或车辆部件之间的是否具有联 系作为是否有边E的依据， 以此构建一个双粒度结构关系图模型； 此外， 通过设计了一个异 构的GCN网络来学习结点之间的权 重学习。 5.根据权利要求1所述的一种基于部件表征学习和个性化属性结构的车辆重识别方 法， 其特征在于， 双粒度结构关系模型是对车辆的全局特征距离、 部件特征距离、 属 性特征 距离进行余弦距离度量， 其中， 对于通过ResNet50对于车辆图片进行特征提取获得的车辆全局特征， 获得的车辆部件 特征以及获的车辆属性特征， 分别进行余弦距离 的计算， 获得全局特征距离 部件特征 距离 和属性特征距离 对于车辆的全局特征距离、 部件特征距离、 属性特征距离以一定的权重进行融合得到 最终的车辆特 征距离 根据 的大小判断车辆的相似度完成车辆 重识别任务。 6.根据权利要求1所述的一种基于部件表征学习和个性化属性结构的车辆重识别方 法， 其特征在于， 最终距离 可表示为 其中γ1、 γ2、 γ3为平衡不同粒度特 征权重的超参数。 7.根据权利要求1所述的一种基于部件表征学习和个性化属性结构的车辆重识别方 法， 其特征在于， 对于属性结构图中的邻接矩阵A， 用于表示两个不同属性结点之间是否有关联； 对于A (i,j)来说， 如果属性结点i与属性结点j有关联， 则认为在图中这两个结点有边， 即A(i,j) ＝1， 反之则A(i,j)＝0 。 8.根据权利要求1所述的一种基于部件表征学习和个性化属性结构的车辆重识别方 法， 其特征在于， ， 部件特征和属性特征按照聚合时的信道进行保留， 分别对应9和12个信道； 对于双粒度图模型的输出只截取了属性特 征对应的一部分信道。权　利　要　求　书 2/2 页 3 CN 115359442 A 3