(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210714451.6 (22)申请日 2022.06.22 (71)申请人 西安烽火软件科技有限公司 地址 710077 陕西省西安市长安区坤元路 678号 (72)发明人 田佳豪　石德旺　王玮　孙光泽　 王刚　曹俊亮　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 陆志斌 (51)Int.Cl. G06V 10/52(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于多尺度注意力模型的车辆属性识 别方法 (57)摘要 本发明公开了一种基于多尺度注意力模型 的车辆属性识别方法， 涉及计算机视觉领域， 主 要用于车辆属性识别领域， 主要由多尺度特征金 字塔网络、 属性定位模块、 属性分类器、 多分支联 合优化策略及最大得分投票机制五部分,该方法 通过引入多尺度特征金字塔结构， 使得网络能自 适应学习不同尺度的车辆属性， 后在不同尺度空 间中引入多个属性定位模块， 使得不同层级特征 专注于不同车辆属性的识别， 采用多分支联合训 练的策略优化网络， 并通过最大 投票机制处理不 同分支的预测结果， 得到最优预测结果。 权利要求书3页 说明书8页 附图2页 CN 115222962 A 2022.10.21 CN 115222962 A 1.一种基于多尺度注意力模型的车辆属性识别方法， 其特征在于： 包含多尺度特征金 字塔网络、 属性定位模块、 属性分类 器、 多分支联合优化策略及最大 得分投票机制； 其中， 多尺度特征金字塔网络， 即车辆属性特征提取网络， 用于提取不同尺度车辆属性 特征用于后续属性分类任务； 属性定位模块， 包含通道注意力模块和 空间变换模块， 用于增强网络在不同尺度空间 中所提取的车辆属性特 征， 实现不同层级特 征专注于不同属性的学习； 属性分类器， 为多个二分类模型组成的多分类器， 用于对属性定位模块处理后的属性 特征进行判别， 使得模型 可同时对多个不同的车辆属性特 征进行判别； 多分支联合优化策略， 采用带权重的二值交叉熵损 失函数， 用于计算不同分支下预测 结果与真实结果之间的损失， 联合不同分支下损失之和作为最终损失， 使用Adam优化器更 新损失， 优化网络； 最大得分投票机制， 即测试阶段网络预测结果的输出过程， 用于针对同一属性的判别， 采用最大投票的原则， 从不同分支的预测结果中， 选取得分最高的分支的预测结果作为最 后结果进行输出， 完成车辆属性识别任务； 具体包含如下步骤； 步骤1， 构建多尺度特 征金字塔网络； 步骤2， 构建属性定位模块， 对步骤1中多尺度特征金字塔生成的融合特征进行进一步 处理； 步骤3， 构建属性分类 器， 对最高维特 征空间及融合特 征中不同的车辆属性进行 预测； 步骤4， 在步骤3属性分类器对最高维特征空间及融合特征执行预测结果后， 采取多分 支联合训练的方式计算损失， 优化模型； 步骤5， 在步骤4完成网络模型训练后， 在测试阶段， 针对某一属性的预测结果， 从多个 分支的预测结果中以投票的原则， 选取得分最高的分支所预测的分数作为最 终结果并进 行 输出， 完成车辆属性识别任务。 2.根据权利要求1所述的一种基于多尺度注意力模型的车辆属性识别方法， 其特征在 于： 所述任务多尺度特征金字塔网络， 用于处理输入车辆图像， 提取不同尺度的车辆属性特 征， 具体如下： 多尺度特征金字塔网络的backbone建设采用InceptionV2网络， 分为下采样阶段和 上 采样阶段； 其中， 下采样阶段， 具体如下： 卷积神经网络提取n个不同尺度的特征In， 尺寸依次减半， 维度依次递增， 其中， n＝{1， 2， 3}； 上采样阶段， 具体如下： 采用双线性插值的方式， 将特征IIn从高维至低维依次融合， 生成一组融合特征Xn， 其计 算如公式(1)所示： 其中， f1×1(·)指卷积核大小是1 ×1的卷积操作， up2×(·)指基于双线性插值的2倍上权　利　要　求　书 1/3 页 2 CN 115222962 A 2采样。 3.根据权利要求1所述的一种基于多尺度注意力模型的车辆属性识别方法， 其特征在 于： 所述任务属性定位模块， 用于对融合特征进行处理， 增强不同尺度空间中车辆属性特 征， 实现不同尺度特 征关注不同的车辆属性， 具体包 含如下步骤： 步骤1， 构建通道注意力模 块， 获取不同尺度空间下带有属性权重的特征图Zm， 其权重计 算方式如公式(2)所示： 其中， GAP( ·)指全局平均池化， f1×1(·)指卷积核大小是1 ×1的卷积操作， 指ReLU非 线性激活函数， σ 指Sigmoid非线性激活函数， 后将Zm编码进入其对应输入特征Xm， 得到增强 特征Tm， 强化网络所感知的车辆属性特 征， 具体计算方式如公式(3)所示： Tm＝Xm+Zm    (3) 步骤2， 构建 空间变换网络， 处理经通道注意力模 块编码后的特征Tm， 实现特征图在空间 中的缩放与平移变换， 得到具备区域信息 的特征图Fm， 实现不同尺度特征关注不同的车辆 属性特征， 具体计算如下步计算： 步骤2.1， 回归变换参数矩阵 具体计算方式如公式(4)所示： 其中， ffc(·)指全连接层网络， 参数矩阵 大小是2x3； 步骤2.2， 利用 将特征图Tm变换为Fm实现不同车辆属性的区域信息学习， 具体由Fm至Tm 的空间变换 过程， 具体 计算如公式(5)所示： 其中， 指变换前特征图Tm上第i个像素点， 指变换后特征图Fm上第i个像 素点， (sx,sy)和(tx,ty)分别指变换参数矩阵 中的尺度缩放参数和平移参数， 为加速计 算， 分别使用Sigmoid非线性激活函数和Tanh非线性激活函数分别将尺度缩放参数和平移 参数控制到(0， 1)和( ‑1， 1)之间。 4.根据权利要求1所述的一种基于多尺度注意力模型的车辆属性识别方法， 其特征在 于： 所述属性分类器， 用于对不同尺度 空间的特征图进行判别， 判断其具体属 性类， 具体包 含如下步骤： 给定图像及对应标签y＝[y1， y2，…， ym]T； 其中， m＝{1， 2， …， M}， M指待识别车辆属性种类 数量， ym为1表示该车辆属性存在， 反之， ym为0表示该车辆属性不存在； 预测输出表示为 每个类别均 输出一 个(0,1)范围内的分数， 表示该类别的预测概 率。 5.根据权利要求1所述的一种基于多尺度注意力模型的车辆属性识别方法， 其特征在 于： 所述多分支联合优化策略， 用于针对不同尺度特征 空间对同一车辆属性的预测， 将不同 分支下属性分类器预测结果与真实结果使用带权重的二值交叉熵损失函数进 行损失计算， 具体计算如公式(6)所示：权　利　要　求　书 2/3 页 3 CN 115222962 A 3