(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211059289.5 (22)申请日 2022.08.30 (71)申请人 华东交通大 学 地址 330013 江西省南昌市经济技 术开发 区双港东大街808号 (72)发明人 郭心悦　黄祎婧　韩星宇　范自柱　 (74)专利代理 机构 南昌市平凡知识产权代理事 务所 36122 专利代理师 姚伯川 (51)Int.Cl. G06V 20/56(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于深度学习的车道线检测方法 (57)摘要 一种基于深度学习的车道线检测方法， 所述 方法包括， （1） 对数据集中已有的图片样本进行 多尺度图像增强操作， 再根据标注的车道线位置 信息和图像生成训练样本； （2） 根据生成的图像 构建适用的卷积神经网络； （3） 利用生成的车道 线图像进行训练； （4） 对该卷积神经网络的性能 进行评估； （5） 使用训练好的模型进行车道线检 测。 该方法克服了车道检测存在的困难， 能够在 车道线破损、 遮挡、 阴影情况下有效检测直道及 弯道， 为智 能驾驶提供技术支持。 本方法与其它 检测方法相比， 该方法检测速度快， 车道线识别 的准确率高， 误检率和漏检率低， 适用于各种场 景的车道线检测。 权利要求书3页 说明书6页 附图4页 CN 115376089 A 2022.11.22 CN 115376089 A 1.一种基于深度学习的车道线检测方法， 其特征在于， 所述方法采用卷积神经网络来 对给定图片中的车道线 进行检测， 步骤如下： (1)将数据集中的所有图片按比例分为训练样本及测试样本， 其中训练样本包含车道 线的标注信息， 对样本进行多尺度图像增强操作； 将图像增强生成的训练样本及包含样本 路径的txt文件 存入一个文件夹中， 加快读取速度； (2)使用训练集中的标注图片作为卷积神经网络的输入进行训练， 获得训练好的网络 模型； (3)使用训练好的网络模型进行 车道线检测， 获取 车道分割图像； (4)获取到车道分割图像后， 使用拟合算法将车道分割图像和输入的原始场景图像进 行车道线拟合； (5)根据拟合的结果绘制车道线的检测结果图像； (6)分析和评价卷积神经网络网络的检测性能， 计算识别的准确率、 误检率及漏检率， 与现有车道线标注信息进行对比； (7)如果模型的准确率、 误检率和漏检率满足要求， 那么就使用该模型进行车道线检 测； 如果不满足要求， 那么调整网络模型训练参数， 重新进行训练。 2.根据权利要求1所述的一种基于深度 学习的车道线检测方法， 其特征在于， 所述卷积 神经网络的实现步骤如下： (1)语义分割分支： 包括特征提取过程、 桥接过程和图像还原过程三个阶段； 在特征提 取过程中， 首先输入图像， 通过卷积改变图像的通道数为起始通道数， 再进行一次残差卷 积， 保持通道数不变； 再进行一次下采样， 通道数翻倍， 此步骤执行四次； 在桥接过程中， 对 特征提取过程中最后一步下采样得到的特征图， 进 行一次残差卷积， 特征图通道数不改变； 在图像还原过程中， 首先将桥接层输出 的特征图进行一次反卷积， 再与特征提取过程中残 差卷积后大小相同的特征图进 行融合， 融合后特征图的通道数减半； 此步骤执行四次， 得到 最终大小与输入图像相同， 通道数和起始 通道数相同的特征图， 再进 行一次卷积操作， 改变 通道数； 语义分割分支是一个二分类 问题， 最后得到一个作为二值化分割图的网络输出结 果， 仅包含两个类， 即车道类和背景类； (2)实例分割分支： 在该分支中， 特征提取过程与语义分割分支保持一致； 在桥接过程 中， 对特征提取过程中最后一步下采样得到的特征图， 先进 行一次残差卷积， 再经过一个非 对称卷积模块； 在图像还原过程中， 将桥接层输出的特征图进 行一次反卷积， 对 特征提取过 程中残差卷积后的特征图再进行一次卷积， 将二者的结果融合， 融合后特征图的通道数减 半； 此步骤执行四次， 得到最终大小与输入图像相同， 通道数和起始通道数相同的特征图； 实例分割分支关注的是车道线 更高级的语义信息， 需要继续对输入图片上的每一个像素分 类， 最后得到一个 像素级的实例分割图； (3)两个分支的聚类： 聚类是通过一个迭代的过程来完成的； 通过损失函数建模车道像 素点之间的位置关系， 极小化同一车道像素点之间的距离， 极大化不同车道像素点之间的 距离， 这样能够使同一车道的像素点将聚在一起， 从而每个车道形成独特的簇， 进一步将分 割后的车道线像素分解 为不同的车道线实例。 3.根据权利要求1所述的一种基于深度 学习的车道线检测方法， 其特征在于， 所述准确 率、 误检率和漏检率计算式如下：权　利　要　求　书 1/3 页 2 CN 115376089 A 2准确率acc计算的是每张预测图像中正确车道线点数和真实车道点数之间的占比情 况， 其中Cim表示预测结果正确的车道线像素点数， Sim表示标签数据中真 实的车道线像素点数； 若存在标签真实值和预测点之间的差值小于某个阈值时， 则视该预 测结果是正确的， 否则， 视该 预测结果是错 误的； 误检率 漏检率 其中， Fpred表示模型预测错误 的车道数， Npred表示模型预测的所有车道线总数， Mpred表 示遗漏、 未被预测的车道线数， Ngt表示标签中真实的车道线总数。 4.根据权利要求2所述的一种基于深度 学习的车道线检测方法， 其特征在于， 所述卷积 神经网络的普通卷积层中卷积核大小均为1 ×1， 残差模块中的卷积核大小均为3 ×3， 步长 为1， 填充策略为补零， 保证输入输出图像的大小一 致； 激活操作使用的是Relu函数。 5.根据权利要求2所述的一种基于深度 学习的车道线检测方法， 其特征在于， 所述特征 提取的下采样过程使用的是最大池化操作， 并且池化大小为2 ×2， 特征图的大小缩小为输 入时的二分之一； 上采样过程使用的是反卷积操作， 卷积核 大小为4×4， 步长为2， 将特征图 大小放大为输入时的两倍。 6.根据权利要求2所述的一种基于深度 学习的车道线检测方法， 其特征在于， 所述卷积 神经网络的残差模块有两种 形式， 第一种残差单元中包含两个卷积层， 第一个卷积操作完 成后进行一个批归一化操作和一个修正线性单元操作； 第二个卷积操作完成后， 将输出特 征图和与输入的特征图进行叠加操作， 即特征图对应元素相加； 第二种残差单元比第一种 多了一层卷积层； 特征提取过程中每个残差单元之前进行一次卷积操作将滤波器数量扩大 一倍， 每个残差单元之后进行一次下采样； 在编码部 分的前两层使用第一种残差单元， 第三 到五层使用第二种残差单 元。 7.根据权利要求2所述的一种基于深度 学习的车道线检测方法， 其特征在于， 所述特征 提取过程和图像还原过程中对应的特 征图进行一次融合操作， 将两个特 征图进行拼接 。 8.根据权利要求2所述的一种基于深度 学习的车道线检测方法， 其特征在于， 所述非对 称卷积模块由五个分支组成； 前四个分支的第一层都是一个卷积核大小为1 ×1的卷积， 第 二层分别是核 大小为1×3,3×1,3×3的非对称普通卷积， 第三层由普通卷积改为扩张率分 别为6， 12， 18的空洞 卷积； 第五个分支是图像级的特征， 首先使用全局平均池化， 再经过一 个卷积核大小为1 ×1的卷积， 然后用双线性插值上采样至输入分支前图像的大小， 最后将 五个分支的特征进行融合叠加， 送入1 ×1卷积层； 这样做可以在一个高分辨率的特征图上 生成新的特 征图， 并且在相同参数量的情况 下尽可能地表达上一个特 征图中的全部信息 。 9.根据权利要求2所述的一种基于深度 学习的车道线检测方法， 其特征在于， 所述聚类 所使用的损失函数包括两项， 第一项为方差项Lvar， 可以让同一车道的像素点聚集在集群中 心附近， 使他们离该车道中心的距离尽可能小， 第二项为距离项Ldist， 其作用是分离不同的 簇， 使不同车道的集群中心彼此远离； 这两项都是有 条件的： 聚集只有在该像素点距离其簇 中心超过δv时才产生， 而不同集群中心之间的相互作用只有在它 们接近 δd时才产生； 在损失函数中， c表示簇数， NC表示簇c中的元素数， xi为像素向量， μc为簇c的均值向量， ||·||表示L2距离， || μc‑xi||表示平均嵌入与像素嵌入的距离， cA、 cB表示两车道线， || μcA‑权　利　要　求　书 2/3 页 3 CN 115376089 A 3