(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210608746.5 (22)申请日 2022.05.30 (71)申请人 山东大学 地址 250061 山东省济南市历下区经十路 17923号 (72)发明人 刘国良　刘泳辰　田国会　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 李琳 (51)Int.Cl. G06V 20/58(2022.01) G06V 20/52(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/60(2022.01) (54)发明名称 基于卷积神经网络的道路病害检测方法及 系统 (57)摘要 本发明属于道路建设技术领域， 提供了基于 卷积神经网络的道路病害检测方法及系统， 基于 生成对抗网络的阴影去除模块去除待检测道路 病害图像的阴影； 基于去除阴影后的图像和目标 检测模型检测得到道路病害类型； 其中， 所述目 标检测模型的构建过程为： 采用融合卷积注意力 模块的Yolov5目标检测网络， 分别在通道和空间 维度上执行注 意力机制， 提取得到不同维度的特 征图； 基于特征双向融合的思想， 采用自适应特 征融合方法对不同维度的特征图进行加权融合 得到融合的特征图。 解决了传统道路病害检测方 案存在的弊病， 并且在检测精度上有着显著提 升。 权利要求书2页 说明书9页 附图7页 CN 114882474 A 2022.08.09 CN 114882474 A 1.基于卷积神经网络的道路病害检测方法， 其特 征在于， 包括如下步骤： 获取待检测道路病害图像； 基于生成对抗网络的阴影去除模块去除待检测道路病害图像的阴影； 基于去除阴影后的图像和目标检测模型检测得到道路病害类型； 其中， 所述目标检测 模型的构建过程为： 采用融合卷积注意力模块的Yolov5目标检测网络， 分别在通道和空间 维度上执行注意力机制， 提取 得到不同维度的特 征图； 基于特征双向融合的思想， 采用自适应特征融合方法对不同维度的特征图进行加权融 合得到融合的特 征图， 基于融合的特 征图进行 特征识别得到道路病害的分类结果。 2.如权利要求1所述的基于卷积神经网络的道路病 害检测方法， 其特征在于， 所述分别 在通道和空间维度上 执行注意力机制具体包括： 对原始特征图进行维度压缩时同时引用平均池化和最大池化， 得到两个一维特征图， 将两个一维特征图分别送入一个两层共享的神经网络， 进行加和操作， 生成通道注意力特 征； 对通道注意力特征和原始特征图进行乘法操作， 得到第三特征图， 基于通道做全局最 大池化和全局平均池化， 得到两个一 维特征图， 将这两个一 维特征图进 行通道拼接， 并使用 卷积操作降维， 生成空间注意力特 征。 3.如权利要求1所述的基于卷积神经网络的道路病 害检测方法， 其特征在于， 所述基于 生成对抗网络的阴影去除模块去除待检测道路病害图像的阴影中， 所述生成对抗网络的阴影去除模块包括阴影消 除器， 所述阴影消 除器的消 除过程包 括： 根据阴影模型表示任意 位置的光强度和阴影区域的光强度； 基于任意位置的光强度和阴影区域的光强度得到输入图像与地面实况图像之间的差 异； 基于输入图像与地 面实况图像之间的差异消除阴影得到去除阴影的图像。 4.如权利要求3所述的基于卷积神经网络的道路病 害检测方法， 其特征在于， 所述阴影 消除器采用UNet++的网络结构， 上采样、 下采样和多个节 点组成， 每个节 点都是一个由卷积 层、 批量归一化层、 Mish激活函数和scSE模块组成的残差块， 在UNet++的网络 之后设置附加 结构ColorBlock， 利用全连接层对图像 每个颜色通道的权 重进行估计。 5.如权利要求3所述的基于卷积神经网络的道路病 害检测方法， 其特征在于， 所述输入 图像与地 面实况图像之间的差异 表示为： Δ＝Igt‑Iinput ＝P(Ilit(x, λ )‑Ishadow(x, λ )) ≈Ilit(x, λ )‑Ishadow(x, λ ) ＝Ld(x, λ )R(x, λ ) 式中， Igt表示无阴影图像， Iinput表示有阴影图像， 函数P表示相机图像采集系统的图像 处理， Ilit为位置x的光强度， Ishadow为阴影区域的光强度， Ld表示直接照明的光照度， R为反 射率， λ表示波长 。 6.如权利要求1所述的基于卷积神经网络的道路病 害检测方法， 其特征在于， 所述道路 病害的类型包括纵向裂缝、 横向裂缝、 龟纹裂缝和道路坑槽四类道路病害。权　利　要　求　书 1/2 页 2 CN 114882474 A 27.如权利要求1所述的基于卷积神经网络的道路病 害检测方法， 其特征在于， 所述阴影 去除模块还包括， 阴影检测器在UNet++的网络之后 设置附加结构， 对输出的阴影蒙版限制 范围， 限制在0 到1的范围内。 8.基于卷积神经网络的道路病害检测系统， 其特 征在于， 包括： 数据获取模块， 用于获取待检测道路病害图像； 阴影去除模块， 用于基于生成对抗网络的阴影去除模块去除待检测道路病 害图像的阴 影； 道路病害检测模块， 用于基于去除阴影后的图像和目标检测模型检测得到道路病 害类 型； 其中， 所述目标检测模 型的构建过程为： 采用融合卷积注 意力模块的Yolov5目标检测网 络， 分别在通道和空间维度上 执行注意力机制， 提取 得到不同维度的特 征图； 基于特征双向融合的思想， 采用自适应特征融合方法对不同维度的特征图进行加权融 合得到融合的特 征图， 基于融合的特 征图进行 特征识别得到道路病害的分类结果。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现如权利要求1 ‑7中任一项所述的基于卷积神经网络的道路病害检测方法中的步 骤。 10.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑7中任一项 所述的基 于卷积神经网络的道路病害检测方法中的步骤。权　利　要　求　书 2/2 页 3 CN 114882474 A 3