(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211341525.2 (22)申请日 2022.10.31 (71)申请人 松立控股集团股份有限公司 地址 266000 山东省青岛市 市南区宁 夏路 288号软件园6号楼1 1层 (72)发明人 刘寒松　王永　王国强　刘瑞　 董玉超　 (74)专利代理 机构 青岛高晓专利事务所(普通 合伙) 37104 专利代理师 黄晓敏 (51)Int.Cl. G06V 20/62(2022.01) G06V 20/70(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/774(2022.01) G06V 10/764(2022.01) G06T 5/30(2006.01) (54)发明名称 一种复杂场景 车牌检测方法 (57)摘要 本发明属于车牌检测技术领域， 涉及一种复 杂场景车牌检测方法， 先基于深度学习网络生成 多尺度特征， 在多尺度特征中嵌入语义特征从而 极大的缩小问题域， 利用多尺度特征弥补语义特 征对于细 节信息的缺失， 为充分糅合语义特征与 细节特征之间的互补优势， 提出了语义特征与多 尺度特征关系建模网络， 通过图卷积网络GCN建 模二者之间的特征关系， 提升了复杂场景下车牌 检测的精度， 同时针对车牌检测网络采用单一分 支优化难的问题， 将车牌检测网络拆解为双流网 络， 不仅可以用来进行复杂场景下的车牌检测， 还可用于复杂场景下的物体分割等复杂场景下 的检测， 在C CPD数据集中精度达 到97.9%。 权利要求书2页 说明书5页 附图4页 CN 115410189 A 2022.11.29 CN 115410189 A 1.一种复杂场景 车牌检测方法， 其特 征在于， 具体包括如下步骤： （1） 构建车牌检测数据集 采用复杂场景下的车牌图像构建车牌检测数据集， 并对车牌图像进行标注， 将车牌检 测数据集划分为训练集、 验证集和 测试集； （2） 多尺度特 征提取 将车牌图像依次经过归一化和去均 值预处理后输入到深度学习Backbone网络， 将深度 学习Backbo ne网络不同层的侧输出作为 不同尺度特 征； （3） 语义特 征粗定位 在深度学习Backbone网络的语义分支最后一层引 入不同膨胀因子的膨胀卷积以及类 别分支和回归分支， 并计算与水平 矩形框之间的位置敏感l oss_1； （4） 多尺度特 征自适应融合 将深度学习Backbone网络不同层的侧输出通过卷积层以及下采样层和上采样层转变 为统一大小的多尺度特 征层； （5） 语义特 征引导多尺度特 征增强 将多尺度特 征层输入语义引导的特 征增强模块进行多尺度特 征增强； （6） 基于图结构的车牌区域细化 将步骤 （5） 增强后的多尺度特征输入图卷积网络， 基于图结构对车牌区域细化， 在精细 化分支输出层后引入类别分支和回归分支， 并计算与畸变框之间的精细化 loss_2； （7） 训练网络 使用步骤 （1） 训练集作为网络的拟合数据， 将批量车牌检测图像数据输入到网络 中， 语 义分支的输出结果为车牌类别置信度和回归坐标位置； 精细化分支的输出结果为车牌类别 置信度和回归坐标位置， 采用FocalLo ss计算车牌Class  损失， Smooth  L1 Loss计算车牌位 置误差； 经 过设定56次完整训练集训练迭代后， 保存精度最高的模型参数； （8） 测试网络 使用步骤 （1） 测试集作为网络的拟合数据， 以长宽比例为基准将车牌图像填充后将批 量车牌检测图像数据输入网络中， 并加载步骤 （7） 训练好的模型参数， 网络输出车牌类别置 信度和回归坐标位置， 设置阈值过滤掉低置信度的车牌， 最后使用非极大抑制删除网络输 出的冗余的框， 实现复杂场景 车牌检测。 2.根据权利要求1所述复杂场景车牌检测方法， 其特征在于， 步骤 （1） 对车牌图像标注 的内容包含车牌的四个顶点位置坐标， 对车牌图像标注采用倾斜矩形框坐标和水平矩形框 坐标两种标注。 3.根据权利要求2所述复杂场景车牌检测方法， 其特征在于， 步骤 （4） 所述卷积层的卷 积核为 ， 得到的特征层为：  ， 其中 为卷积操作， 为上采样或下采样 操作， 为深度学习Backbo ne网络不同层的侧输出。 4.根据权利要求3所述复杂场景车牌检测方法， 其特征在于， 步骤 （5） 所述语义引导的 特征增强模块 为： ，权　利　要　求　书 1/2 页 2 CN 115410189 A 2其中 为经过膨胀卷积后的特征， T代表转置操作， 代表矩阵点乘法， 代表矩阵叉 乘。 5.根据权利要求 4所述复杂场景 车牌检测方法， 其特 征在于， 步骤 （6） 的具体过程 为： 先构建图卷积网络的节点 （i， j） 之间的相似性度量 为： ， 再构建网络图： 其中， i和j分别为 中层特征的索引。权　利　要　求　书 2/2 页 3 CN 115410189 A 3