(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211193390.X (22)申请日 2022.09.28 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 陈梓毅　杨志坚　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 周春丽 (51)Int.Cl. G06V 20/56(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/10(2017.01) G06V 10/44(2022.01)G06V 10/774(2022.01) (54)发明名称 一种基于Tran sformer编码器和空洞卷积的 车道线检测方法 (57)摘要 本发明公开了一种基于Tran sformer编码器 和空洞卷积的车道线检测方法， 包括： 采用无监 督风格迁移将白天道路交通图像转换成夜间交 通图像； 构建主干特征提取网络， 将普通卷积替 换成空洞卷积以提取车道线的局部特征； 建立 Transformer编码器来提取车道线的全局特征； 对提取到的局部特征和全局特征利用双向特征 金字塔进行加权融合， 并利用网络学习权重的大 小来优化特征融合； 构建车道线检测头； 对模型 进行训练， 使模型收敛获得车道线检测网络参 数； 将模型安装在车载摄像头上， 用于对车道线 进行实时检测， 得到车道线实例分割图。 该方法 可以提高不同场景下车道线特征提取的精度与 计算效率， 同时可以方便地整合到其他现有车道 线检测算法中进行端到端训练。 权利要求书2页 说明书8页 附图4页 CN 115546750 A 2022.12.30 CN 115546750 A 1.一种基于Transformer编码器和空洞卷积的车道线检测方法， 其特征在于， 该方法包 括以下步骤： 使用UNIT无监督风格迁移方法， 利用白天交通图像生成夜间交通场景 数据； 构建主干特征提取网络， 且在主干特征提取网络中用空洞卷积代替原来的卷积， 以提 取车道线多尺度局部特 征； 构建Transformer编码器， 利用位置编码和自注意力机制获取全局特 征； 使用双向特征金字塔对所提取出来的局部和全局特征进行自顶而下和自底而上的加 权融合； 采用基于实例分割的方法构建车道线检测头； 对模型进行训练， 使模型收敛获得 车道线检测网络参数； 将模型安装在车 载摄像头上， 用于对车道线 进行实时检测， 得到车道线实例分割图。 2.根据权利要求1所述的一种基于Transformer编码器和空洞卷积的车道线检测方法， 其特征在于， 在进行UNIT无监督风格迁移前， 还包括步骤： 获取网络公开道路交通数据集， 所述数据集中包 含车道线及其标签。 3.根据权利要求2所述的一种基于Transformer编码器和空洞卷积的车道线检测方法， 其特征在于， 所述数据集中包括正常场景、 拥堵场景、 转弯场景、 眩光场景、 夜晚场景、 无车 道线场景、 阴影场景和道路、 有箭头标记场景。 4.根据权利要求1所述的一种基于Transformer编码器和空洞卷积的车道线检测方法， 其特征在于， 所述使用UNIT 无监督风格迁移方法， 利用白天交通图像生成夜间交通场景， 包 括： 设B＝(X， Y)， 其中X为原图像， Y为原图像的标签， B为原 始数据及其标签的组合； 假设Bg＝(Xg， Yg)， 其中Xg为生成的图像， Yg为生成图像的标签， 则： Xg＝G(E(X) ) Yg＝Y 其中， G为 生成器； E为编码器， Bg为生成的数据及其标签的组合。 5.根据权利要求1所述的一种基于Transformer编码器和空洞卷积的车道线检测方法， 其特征在于， 所述主干特 征提取网络中用空洞卷积代替原来的卷积， 包括： 将主干特征提取网络的后两个模 块的卷积修改为空洞卷积， 假设输入 W为 输入图片的宽、 H为输入图片的高， 在经过空洞 卷积进行特征提取之后， 输出特征图F， 卷积 输入输出的尺寸关系为： 其中， Win为输入的尺寸； Wout为输出的尺寸； P为填充数； K为卷积核大小； D为卷积空洞 数； S为卷积步长 。 6.根据权利要求1所述的一种基于Transformer编码器和空洞卷积的车道线检测方法， 其特征在于， 所述构建Tr ansformer编码器， 利用位置编码和自注意力机制获取全局特征， 包括： 特征图F首先经过卷积层来得到特 征图嵌入F ′；权　利　要　求　书 1/2 页 2 CN 115546750 A 2随后加入位置编码PE， 位置编码使用不同频率的si n和cos计算得到： PE(pos， 2i)＝si n(pos/10 0002i/d) PE(pos， 2i+1)＝cos(pos/10 0002i/d) F″＝F′+PE 其中， pos为像素的位置； i为当前维度； d为总维度大小； F ″为加入位置编码后的特征图 嵌入， PE(pos， 2i)为第2i个维度上位置为pos的像素的位置编码； 在位置编码PE后加入自注意力模块， 在自注意力模块中， F ″经过线性变换和尺寸调整 后得到查询向量Q、 关键字K和特征值V； 通过点积计算注 意力值Attention， 即像素与像素之 间关联的强弱： 将注意力值A ttention与特征值V相乘得到 输出Fo； 最后通过残差连接在不增加太多计算成本的基础下添加更多的特征， 并利用单层的卷 积网络作进一 步的特征整合。 7.根据权利要求1所述的一种基于Transformer编码器和空洞卷积的车道线检测方法， 其特征在于， 所述双向加权特征金字塔结构对特征提取器提取的特征图进 行双向加权融合 中， 通过快速标准 化权重融合来约束权 重的范围， 所述快速标准 化权重融合公式为 进行双向加权融合后的输出为： O＝conv(ωio·Fi) 其中， ωi为第i个输入的初始权重， ∈为一预设的极小的数， 防止分母为0， ωj为第j个 输入的权重,ωio为快速标准化权重融合后第i个输入的权重， Fi为第i个输入， conv为3x3卷 积， O为融合后的输出。 8.根据权利要求1所述的一种基于Transformer编码器和空洞卷积的车道线检测方法， 其特征在于， 总的损失函数包括实例分割损失和车道线存在情况损失。 9.根据权利要求8所述的一种基于Transformer编码器和空洞卷积的车道线检测方法， 其特征在于， 实例分割损失通过cross  entropy损失函数计算， 车道线存在情况损失通过 binary cross entropy损失函数计算， 损失函数公式为： L＝α Lseg+β Lexit 其中， yi为实例分割真值； pi为预测为第i条车道线实例的概率； qi为车道线存在情况真 值； ei为车道线存在情况预测值； Lseg为实例分割损失； Lexit为车道线存在情况损失； α 、 β 分别 为实例分割损失和为车道线存在情况损失的权 重系数， L 为总的损失函数。 10.根据权利要求1 ‑9任一所述的一种基于Transformer编码器和空洞卷积的车道线检 测方法， 其特 征在于， 设置有至少一个双向特 征金字塔。权　利　要　求　书 2/2 页 3 CN 115546750 A 3