(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211069144.3 (22)申请日 2022.09.02 (71)申请人 智慧互通科技股份有限公司 地址 075000 河北省张家口市空港经济技 术开发区一期十号楼 (72)发明人 闫军　阳平　王艳清　 (51)Int.Cl. G06V 20/54(2022.01) G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/54(2022.01) G06V 10/56(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/62(2022.01) (54)发明名称 一种基于单模型的车辆目标理解方法及系 统 (57)摘要 本发明公开一种基于单模型的车辆目标理 解方法及系统， 涉及计算机视觉领域， 包括： 在不 需要获取大量的拥有所有任务标签的多任务训 练集的情况下， 通过对监控区域图像中车辆目标 特征图像和所述车辆目标对应的位置信息、 从监 控区域图像中选择的车辆图像和对应的车辆属 性信息、 以及监控区域图像中的车辆目标特征图 像和所述车辆目标特征对应的关键点位置信息 分别进行训练， 实现了利用多模 型各自训练时的 单任务数据集， 联合训练成一个处理多任务的单 模型， 在减少多任务处理的计算量的同时， 满足 了多任务目标理解的需求。 权利要求书3页 说明书9页 附图2页 CN 115457490 A 2022.12.09 CN 115457490 A 1.一种基于单模型的车辆目标理解方法， 其特 征在于， 所述方法包括： 对采集的监控区域图像中车辆目标图像和所述车辆目标对应的位置信 息进行训练， 生 成车辆目标检测模型分支网络； 对从监控区域图像中选择的车辆图像和对应的车辆属性信 息进行训练， 生成车辆属性 识别分支网络； 对监控区域图像中的车辆目标图像和所述车辆目标对应的关键点位置信 息进行训练， 生成车辆关键点检测分支网络； 根据所述监控区域图像中包含有车辆目标对应的关键点位置信息、 车辆属性信息、 车 辆目标对应的位置信息的多标签车辆图像， 对车辆理解单模型中的所述各个分支网络进 行 联合训练， 得到所述车辆理解网络； 通过所述车辆理解网络中车辆目标检测模型分支网络、 车辆属性识别分支网络、 车辆关键点检测分支网络对实时采集的图像进行识别， 得到车辆 目标特征信息、 车辆目标位置及关键点 位置信息、 车辆目标属性信息 。 2.根据权利要求1所述的一种基于单模型的车辆目标理解方法， 其特征在于， 所述对采 集的监控区域图像中车辆目标特征图像和所述车辆目标对应的位置信息进 行训练， 生成车 辆目标检测模型分支网络的步骤 包括： 对采集的监控区域图像中车辆的几何信 息以及目标类别信 息进行标注， 生成车辆目标 检测模型分支网络训练集； 通过预置梯度 下降算法对所述车辆目标检测模型分支网络训练集进行训练， 生成车辆 目标检测模型分支网络 。 3.根据权利要求1所述的一种基于单模型的车辆目标理解方法， 其特征在于， 所述对从 监控区域图像中选择的车辆图像和对应的车辆属性信息进 行训练， 生成车辆属性识别分支 网络的步骤 包括： 对采集的监控区域图像中车辆的属性信 息进行标注， 生成车辆属性识别分支网络训练 集； 通过预置梯度 下降算法对所述车辆属性识别分支网络训练集进行训练， 生成车辆属性 识别分支网络 。 4.根据权利要求1所述的一种基于单模型的车辆目标理解方法， 其特征在于， 所述对监 控区域图像中的车辆目标特征图像和所述车辆目标特征对应的关键点位置信息进 行训练， 生成车辆关键点检测分支网络的步骤 包括： 对采集的监控区域图像中车辆目标矩形框内车辆目标的左右车灯和车牌角点进行标 注， 生成车辆关键点检测分支网络训练集； 通过预置梯度 下降算法对所述车辆关键点检测分支网络训练集进行训练， 生成车辆关 键点检测分支网络 。 5.根据权利要求1所述的一种基于单模型的车辆目标理解方法， 其特征在于， 所述通过 所述车辆理解网络中车辆目标检测模型分支网络、 车辆属 性识别分支网络、 车辆关键点检 测分支网络对实时采集的图像进行识别， 得到车辆目标特征信息、 车辆目标位置及关键点 位置信息、 车辆目标属性信息的之前， 所述方法还 包括： 对采集的监控区域图像 中车辆的几何信 息、 目标类别信 息、 车辆的属性信息、 车辆目标 的左右车灯和车牌角点进行 标注， 生成全局训练集；权　利　要　求　书 1/3 页 2 CN 115457490 A 2通过预置梯度 下降算法对所述全局训练集进行训练， 调整所述车辆目标检测模型分支 网络、 车辆属性识别分支网络、 车辆特 征及关键点检测分支网络； 通过所述车辆理解网络中车辆目标检测模型分支网络、 车辆属性识别分支网络、 车辆 关键点检测分支网络对实时采集的图像进行识别， 得到车辆目标特征信息、 车辆目标位置 及关键点 位置信息、 车辆目标属性信息的步骤 包括： 通过所述调 整后的车辆目标检测模型分支网络对实时采集的图像进行识别， 获取所述 车辆目标的特 征信息和位置信息； 通过所述调整后的车辆属性识别分支网络对所述车辆目标的特征信息和位置信息进 行识别， 得到所述车辆目标的属性信息； 通过所述调整后的关键点检测分支网络对所述车辆目标的特征信息和位置信息进行 识别， 得到所述车辆目标的关键点 位置信息 。 6.一种基于单模型的车辆目标理解系统， 其特 征在于， 所述系统包括： 生成单元， 用于对采集的监控区域图像中车辆目标图像和所述车辆目标对应的位置信 息进行训练， 生成车辆目标检测模型分支网络； 对从监控区域图像中选择 的车辆图像和对 应的车辆属 性信息进行训练， 生成车辆属 性识别分支网络； 对监控区域图像中的车辆目标 特征图像和所述车辆目标特征对应的关键点位置信息进行训练， 生成车辆 关键点检测分支 网络； 根据所述监控区域图像中包含有 车辆目标对应的关键点位置信息、 车辆属性信息、 车 辆目标对应的位置信息的多标签车辆图像， 对车辆理解单模型中的所述各个分支网络进 行 联合训练， 得到所述车辆理解网络； 识别单元， 用于通过所述车辆理解网络中车辆目标检测模型分支网络、 车辆属性识别 分支网络、 车辆 关键点检测分支网络对实时采集的图像进行识别， 得到车辆目标特征信息、 车辆目标位置及关键点 位置信息、 车辆目标属性信息 。 7.根据权利要求6所述的一种基于单模型的车辆目标理解系统， 其特 征在于， 所述生成单元， 具体用于对采集的监控区域图像中车辆的几何信 息以及目标类别信 息 进行标注， 生成车辆目标检测模型分支网络训练集； 通过预置梯度下降算法对所述车辆目 标检测模型分支网络训练集进行训练， 生成车辆目标检测模型分支网络 。 8.根据权利要求6所述的一种基于单模型的车辆目标理解系统， 其特 征在于， 所述生成单元， 具体用于对采集的监控区域图像中车辆的属性信息进行标注， 生成车 辆属性识别分支网络训练集； 通过预置梯度下降算法对所述车辆属性识别分支网络训练集 进行训练， 生成车辆属性识别分支网络 。 9.根据权利要求6所述的一种基于单模型的车辆目标理解系统， 其特征在于， 所述生成 单元， 具体还用于对采集的监控区域图像中车辆目标矩形框内车辆目标的左右车灯和车牌 角点进行标注， 生成车辆关键点检测分支网络训练集； 通过预置梯度下降算法对所述车辆 关键点检测分支网络训练集进行训练， 生成车辆关键点检测分支网络 。 10.根据权利要求7 所述的一种基于单模型的车辆目标理解系统， 其特 征在于， 所述生成单元， 还用于对采集的监控区域图像 中车辆的几何信 息、 目标类别信 息、 车辆 的属性信息、 车辆目标的左右车灯和车牌角点进 行标注， 生成全局训练集； 通过预置梯度下 降算法对所述全局训练集进行训练， 调整所述车辆目标检测模型分支网络、 车辆属 性识别 分支网络、 车辆特 征及关键点检测分支网络；权　利　要　求　书 2/3 页 3 CN 115457490 A 3