(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210509284.1 (22)申请日 2022.05.11 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 唐子豪　刘莉红　刘玉宇　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 谭晓欣 (51)Int.Cl. G06V 30/148(2022.01) G06V 20/52(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06V 10/26(2022.01) G06V 20/62(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种面向复杂交通场景的字 符识别方法、 装 置、 设备和介质 (57)摘要 本申请涉及人工智能技术领域， 提出了一种 面向复杂交通场景的字符识别方法、 装置、 设备 和介质， 方法包括： 通过检测模型对交通场景图 像进行目标检测， 得到目标框； 再通过分类模型 获得第一特征图和目标类型， 根据目标类型对第 一特征图进行切分， 得到字符特征图序列， 最后 通过识别模 型对字符特征图序列进行处理， 得到 字符识别结果。 本申请实施例的方案， 通过分类 模型对检测到的目标框进行特征提取， 生成特征 图， 然后复用该特征图进行目标分类和字符识 别， 这样能够减小模型的处理数据量； 以及， 根据 目标类型可以判断特征图中的字符行数， 进而根 据字符行数可以更加简单高效地完成字符分割， 提升了计算速度， 且节省了 计算资源。 权利要求书2页 说明书12页 附图8页 CN 114792421 A 2022.07.26 CN 114792421 A 1.一种面向复杂交通场景的字符识别方法， 其特 征在于， 方法包括： 获取交通场景图像； 通过预先训练好的检测模型对所述交通场景图像进行目标检测， 获得包含待识别字符 的目标框； 通过预先训练好的分类模型对所述目标框进行特征提取和分类， 获得第 一特征图和目 标类型； 根据所述目标类型对所述第一特 征图进行切分， 得到 字符特征图序列； 通过预先训练好的识别模型对所述字符特 征图序列进行处 理， 得到字符识别结果。 2.根据权利要求1所述的方法， 其特征在于， 所述分类模型包括叠加设置的t层第一瓶 颈网络和第一全连接网络， t为大于或等于 3的整数； 所述通过预先训练好的分类模型对所述目标框进行特征提取和分类， 获得第 一特征图 和目标类型， 包括： 将所述目标框 输入至第1层第一 瓶颈网络； 将第t‑1层第一瓶颈网络和第t层第一瓶颈网络的输出结果相加， 得到所述第一特征 图； 通过所述第一全连接网络对所述第一特 征图进行处 理， 得到所述目标类型。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述目标类型对所述第 一特征图 进行切分， 得到 字符特征图序列， 包括： 根据所述目标类型确定所述第一特 征图包含的字符行 数； 当所述目标类型指示所述第 一特征图包含多行字符， 根据 所述字符行数对所述第 一特 征图进行横向切分， 得到多个第二特 征图， 每个第二特 征图对应一行字符； 按照切分顺序对所述多个第二特 征图进行 水平方向拼接， 得到第三特 征图； 按照列对所述第三特征图进行纵向切分， 得到多个字符特征图， 每个所述字符特征图 中包含一个字符； 按照切分顺序将所述多个字符特 征图进行拼接， 得到 字符特征图序列。 4.根据权利要求3所述的方法， 其特征在于， 在所述按照切分顺序对所述多个第 二特征 图进行水平方向拼接之前， 所述方法还 包括： 对每个所述第二特 征图进行 预处理， 将每个所述第二特 征图调整为预设尺寸的图像。 5.根据权利要求1所述的方法， 其特征在于， 所述识别模型包括叠加设置的m层第二瓶 颈网络和第二全连接网络， m为大于或等于 3的整数； 所述通过预先训练好的识别模型对所述字符特征图序列进行处理， 得到字符识别结 果， 包括： 将所述字符特 征图序列输入至第1层第二 瓶颈网络； 将第m‑1层第二瓶颈网络和第m层第二瓶颈网络的输出结果相加， 得到字符特征图序列 特征； 通过所述第 二全连接网络对所述字符特征图序列 特征进行处理， 得到所述字符识别结 果。 6.根据权利要求1所述的方法， 其特征在于， 所述检测模型包括叠加设置的n层第三瓶 颈网络和第三全连接网络， n 为大于或等于 3的整数；权　利　要　求　书 1/2 页 2 CN 114792421 A 2所述通过预先训练好的检测模型对所述交通场景图像进行目标检测， 获得包含待识别 字符的目标框， 包括： 将所述交通场景图像输入至第1层第三 瓶颈网络； 将第n‑1层第三瓶颈网络和第n层第三 瓶颈网络的输出 结果相加， 得到图像特 征； 通过所述第三全连接网络对所述图像特 征进行处 理， 得到包 含待识别字符的目标框 。 7.根据权利要求6所述的方法， 其特 征在于， 所述获取交通场景图像， 包括： 获取描绘交通图像场景的视频， 对所述视频进行抽帧处理， 得到所述交通场景图像； 以 及 对所述交通场景图像进行 预处理， 将所述交通场景图像调整为预设尺寸的图像。 8.一种面向复杂交通场景的字符识别装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取交通场景图像； 检测模块， 用于通过预先训练好的检测模型对所述交通场景图像进行目标检测， 获得 包含待识别字符的目标框； 分类模块， 用于通过预先训练好的分类模型对所述目标框进行特征提取和分类， 获得 第一特征图和目标类型； 切分模块， 用于根据所述目标类型对所述第一特 征图进行切分， 得到 字符特征图序列； 识别模块， 用于通过预先训练好的识别模型对所述字符特征图序列进行处理， 得到字 符识别结果。 9.一种电子设备， 其特 征在于， 包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有计算机程序， 所述计算机程序被所述至少一个处理器执行， 以使所 述至少一个处理器能够执行如权利要求1至7中任一项所述的面向复杂交通场景 的字符识 别方法。 10.一种计算机可读存储介质， 存储有计算机程序， 其特征在于， 所述计算机程序被处 理器执行时实现权利要求1至7中任一项所述的面向复杂交通场景的字符识别方法。权　利　要　求　书 2/2 页 3 CN 114792421 A 3