(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211200460.X (22)申请日 2022.09.29 (71)申请人 广州方图科技有限公司 地址 510000 广东省广州市黄埔区科 学城 玉树工业园富康西街9号S6 -1栋202房 (72)发明人 朱锦钊　于鹏　刘帅　 (74)专利代理 机构 广东金穗知识产权代理事务 所(普通合伙) 44852 专利代理师 钟文华 (51)Int.Cl. G06V 30/148(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/26(2022.01) G06V 10/82(2022.01)G06V 20/62(2022.01) G06V 30/146(2022.01) G06V 30/19(2022.01) (54)发明名称 一种基于图像语义分割的车牌字符分割与 识别方法及系统 (57)摘要 本发明公开了一种基于图像语义分割的车 牌字符分割与识别方法及系统， 本发 明的方法包 括： 将所述待检测车牌图像输入 预先训练好的车 牌顶点检测模 型， 得到待检测车牌图像对应的车 牌的四个顶 点位置； 根据所述车牌的四个顶点位 置得到车牌区域并校正后输入到预先训练好的 车牌字符检测模 型中， 得到每个字符区域的矩形 边界框； 将每个字符区域图像依次输入到预先训 练好的车牌字符分割模型中， 得到所述待检测车 牌图像中的每个字符的二值掩码语义图像， 最后 对所述每个字符掩码语义图像进行识别， 根据 识 别结果得到识别的车牌号。 本发 明对所述待检测 车牌图像中的每个字符图像进行识别， 大大提升 了车牌识别的准确率。 权利要求书2页 说明书10页 附图3页 CN 115273087 A 2022.11.01 CN 115273087 A 1.一种基于图像 语义分割的车牌字符分割与识别方法， 其特 征在于， 包括以下步骤: 获取待检测车牌图像； 将所述待检测车牌图像输入预先训练好的车牌顶点检测模型， 得到待检测车牌图像对 应的车牌的四个顶点 位置； 根据所述车牌的四个顶点位置， 计算得到车牌区域； 并将所述车牌区域输入到预先训 练好的车牌字符区域检测模型中， 得到每 个字符区域的矩形边界框； 将所述每个字符区域的矩形边界框图像， 依次输入到预先训练好的车牌字符分割模型 中， 得到所述待检测车牌图像中的每 个字符的二 值掩码图像； 对所述每 个字符掩码二 值图像进行识别， 根据识别结果得到识别的车牌 号。 2.根据权利要求1所述的基于图像语义分割的车牌字符分割与识别方法， 其特征在于， 还包括： 根据所述车牌的四个顶点 位置， 对所述待检测车牌图像进行畸变校正和/或倾 斜校正。 3.根据权利要求1所述的基于图像语义分割的车牌字符分割与识别方法， 其特征在于， 所述预先训练好的车牌顶点检测模型通过以下步骤得到： 基于卷积池化神经网络构建车牌顶点检测模型， 所述车牌顶点检测模型的训练损失为 车牌四个顶点的回归损失; 获取车牌样本 图像， 并对每张车牌样本 图像标注车牌四个顶点位置坐标， 构建车牌顶 点样本库； 基于所述车牌顶点样本库训练所述车牌顶点检测模型， 得到训练好的车牌顶点 检测模型。 4.根据权利要求1所述的基于图像语义分割的车牌字符分割与识别方法， 其特征在于， 所述预先训练好的车牌字符检测模型通过以下步骤得到： 基于目标检测算法网络结构构建车牌字符检测模型， 所述网络结构的损失函数包括车 牌字符目标的分类损失、 车牌每 个字符矩形框的回归损失； 收集车牌样本图像， 对每张车牌图像的每个字符区域进行人工标注类别和矩形边框信 息， 构建车牌字符图像样本库； 并在所述车牌字符图像样 本库上， 对 所述车牌字符检测模型 进行训练， 得到训练好的车牌字符检测模型。 5.根据权利要求1所述的基于图像语义分割的车牌字符分割与识别方法， 其特征在于， 所述预先训练好的车牌字符分割模型通过以下步骤得到： 基于卷积池化反卷积的编 解码器结构的车牌字符分割模型构建车牌字符分割 模型， 所 述的车牌字符分割模型的训练损失为车牌每 个字符图像 像素点的二元交叉熵； 收集车牌样本 图像， 对每张车牌图像的每个字符进行人工标注语义信息， 构建车牌字 符语义图像样本库； 并在所述车牌字符语义图像样本库上， 对所述车牌字符分割模型进行 训练， 得到训练好的车牌字符分割模型。 6.根据权利要求3所述的基于图像语义分割的车牌字符分割与识别方法， 其特征在于， 所述车牌样本图像包含的车牌类别包括但不限于蓝牌、 绿牌、 白牌、 黄牌单层、 黄牌双层中 的一种或多种。 7.根据权利要求2所述的基于图像语义分割的车牌字符分割与识别方法， 其特征在于， 所述的畸变校正包括： 根据所述车牌的四个顶点位置， 获取所述待检测车牌图像的畸变信息， 根据所述畸变权　利　要　求　书 1/2 页 2 CN 115273087 A 2信息对待检测车牌图像的四个顶点 位置进行 校正。 8.一种基于图像 语义分割的车牌字符分割与识别系统， 其特 征在于， 包括： 获取单元， 用于获取待检测车牌图像； 车牌位置检测单元， 用于将所述待检测车牌图像输入预先训练好的车牌顶点检测模 型， 得到待检测车牌图像对应的车牌的四个顶点 位置； 车牌字符检测单元， 用于根据 所述车牌的四个顶点位置， 计算得到车牌区域， 并将所述 车牌区域输入到预先训练好的车牌字符区域检测模型中， 得到每个字符区域的矩形边界 框； 分割单元， 用于将所述每个字符区域的矩形边界框 图像， 依次输入到预先训练好的车 牌字符分割模型中， 得到所述待检测车牌图像中的每 个字符的二 值掩码图像； 识别单元， 用于对所述每个字符掩码二值图像进行识别， 根据识别结果得到识别的车 牌号。 9.一种电子设备， 其特征在于， 包括： 至少一个处理器， 以及与所述至少一个处理器通 信连接的存储器， 其中， 所述存储器存储有 可被所述至少一个处理器执行的指 令， 所述指 令 被所述至少一个处理器执行， 以使所述至少一个处理器能够执行权利要求1 ‑7任一项所述 的基于图像 语义分割的车牌字符分割与识别方法。 10.一种计算机存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序在被 处理器执行时， 实现权利要求1 ‑7任一项所述的基于图像语义分割的车牌字符分割与识别 方法。权　利　要　求　书 2/2 页 3 CN 115273087 A 3