(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211083041.2 (22)申请日 2022.09.06 (71)申请人 中诚华隆计算机技 术有限公司 地址 100012 北京市朝阳区来广营乡紫月 路18号院3号楼8层 (72)发明人 王嘉诚　张少仲　张栩　 (74)专利代理 机构 北京智燃律师事务所 1 1864 专利代理师 柴琳琳 (51)Int.Cl. G06V 20/56(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于深度学习的复杂路面车道识别方 法及芯片 (57)摘要 本发明公开了一种基于深度学习的复杂路 面车道识别方法及芯片， 涉及计算机视觉和机器 学习技术领域， 包括以下步骤： 建立车道数据集， 用于神经网络模型的训练； 建立YOLO神经网络模 型， 该模型包括输入层、 特征提取网络以及预测 网络； 利用步骤S1建立的数据集， 对步骤S2的神 经网络模型进行训练； 采集行车车道实时图像数 据， 对采集到的车道实时图像数据进行预处理， 生成格式图像； 将格式图像输入至步骤S3训练好 的神经网络模型中， 进行车道线检测， 输出检测 结果。 本发明利用改进的YOLO神经网络进行复杂 路面的车道线训练及检测， 可有效提高复杂路面 车道线检测的精度及速度。 权利要求书2页 说明书6页 附图3页 CN 115294545 A 2022.11.04 CN 115294545 A 1.一种基于深度学习的复杂路面车道 识别方法， 其特 征在于， 包括以下步骤： S1： 建立车道数据集， 用于神经网络模型的训练； S2： 建立YOLO神经网络模型， 该模型包括输入层、 特征提取网络以及预测网络； 输入层 对输入所述神经网络模型的图像进行对齐， 特征提取网络对输入图像的特征进行分类与位 置标注， 删除与车道线 无关的特征， 预测网络利用特征提取网络的特征图生 成候选区域， 在 候选区域内对车道线目标进行检测并输出检测结果； S3： 利用步骤S1建立的数据集， 对步骤S2的神经网络模型进行训练； S4： 采集行车车道实时图像数据， 对采集到的车道实时图像数据进行预处理， 生成格 式 图像A； S5： 将所述格式图像A输入至步骤S3训练好的神经网络模型中， 进行车道线检测， 所述 神经网络模型对格式图像进行 特征提取后， 通过 预测网络检测车道目标， 输出检测结果。 2.根据权利要求1所述的一种基于深度 学习的复杂路面车道识别方法， 其特征在于， 所 述特征提取网络进一步： 包括依序设置的卷积模块、 第一池化模块、 第二池化模块以及第三 池化模块； 卷积模块输出4倍降采样的特征图B， 第一池化模块接收特征图B处理后输出8倍 降采样的特征图C， 第二池化模块接收特征图C处理后输出输出16倍降采样的特征图D， 第三 池化模块接收特 征图C处理后输出输出32倍降采样的特 征图E。 3.根据权利要求2所述的一种基于深度 学习的复杂路面车道识别方法， 其特征在于， 所 述卷积模块进一步包括： 依序设置的四层CBR卷积层和一层ELAN层， 所述CBR卷积层进一步 包括： 依序设置的卷积层Co nv、 归一化层BN以及激活函数LeakyReLU。 4.根据权利要求2所述的一种基于深度 学习的复杂路面车道识别方法， 其特征在于， 所 述第一池化模块、 第二池化模块、 第三池化模块均为依序设置的最大池化层MP1和ELAN层， 所述最大池化层MP1由两条支路组成， 支路一为最大池化操作、 CBR卷积层， 支路二为两层连 续的CBR卷积层， 由融合层cat将支路一和支路二输出的特征图进 行融合后输出中间特征图 至ELAN层。 5.根据权利要求3或4所述的一种基于深度学习的复杂路面车道识别方法， 其特征在 于， 所述ELAN层由两条支路组成， 支路一为五个连续的CBR卷积层， 支路二为一层CBR卷积 层， 由融合层cat将支路一和支路二输出的特征图进行融合后输入CBR卷积层， 分别输出特 征图B、 特 征图C、 特 征图D以及特 征图E。 6.根据权利要求1所述的一种基于深度 学习的复杂路面车道识别方法， 其特征在于， 所 述预测网络包括三路不同大小的预测结果J、 预测结果K以及预测结果L； 所述预测结果J的 大小为20 ×20×85， 所述预测结果K的大小为40 ×40×85， 所述预测结果L的大小为80 ×80 ×85。 7.根据权利要求6所述的一种基于深度 学习的复杂路面车道识别方法， 其特征在于， 特 征图E经金字塔池化层SPPCSPC进行上采样UP层后， 与经过一层CBR卷积层的特征图D进 行融 合， 然后经过ELAN ‑H层输出特征图F， 所述特征图F再次进行上采样UP层后， 与经过一层CB R 卷积层的特征图C进融合， 然后再经过ELAN ‑H层输出特征图G， 所述特征图G依次经过 RepVGG_block层REP和一层卷积CONV， 得到所述预测结果J。 8.根据权利要求6所述的一种基于深度 学习的复杂路面车道识别方法， 其特征在于， 特 征图F与经过一层双通道最大池化层MP2的特征图G进行融合， 然后经过ELAN ‑H层输出特征权　利　要　求　书 1/2 页 2 CN 115294545 A 2图H， 所述特 征图H依次经 过RepVGG_block层REP和一层卷积CONV， 得到所述预测结果K。 9.根据权利要求6所述的一种基于深度 学习的复杂路面车道识别方法， 其特征在于， 特 征图H经过一层双通道最大池化层MP2， 与经过金字塔池化层SPPCSPC的特征图E进行融合， 然后经过ELAN ‑H层输出特征图I， 所述特征图I依次经过RepVGG_block层REP和一层卷积 CONV， 得到所述预测结果 L。 10.根据权利要求1所述的一种基于深度学习的复杂路面车道识别方法， 其特征在于， 所述步骤S1的预处理为将车道实时图像重新调整大小， 对齐成分辨率为640 ×640的RGB图 片， 生成格式图像A作为所述特 征提取网络中卷积模块的输入。 11.根据权利要求1所述的一种基于深度学习的复杂路面车道识别方法， 其特征在于， 所述数据集包含： 正常、 拥挤、 夜晚、 无车道线、 阴影、 箭头、 眩光、 曲线、 交叉路口以及不同天 气气候条件下的车道状况类型， 所述数据集包括训练集、 验证集、 测试集。 12.根据权利要求1所述的一种基于深度学习的复杂路面车道识别方法， 其特征在于， 所述步骤S2中对车道线目标检测， 通过边界框回归F获得物体的精确位置， 边界框回归F通 过平移和缩放操作使： 其中 为相应特征图的中心点坐标、 宽度和高度； 为真 实标注框的中心点 坐标、 宽度及高度。 13.一种自动驾驶中复杂路面的车道识别芯片， 其特征在于， 所述芯片用于执行权利要 求1‑12任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115294545 A 3