(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211055635.2 (22)申请日 2022.08.31 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 吕朝锋　徐致远　张鹤　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 贾玉霞 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/52(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于改进残差结构的桥梁病害智能识 别方法 (57)摘要 本发明提供一种基于改进残差结构的桥梁 病害智能识别方法， 首先获取桥梁病害历史图片 数据集， 将其转换成像素矩阵， 再利用数据增强 算法得到增强数据副本， 将其合并为训练集。 然 后搭建卷积神经网络， 并对所搭建的卷积神经网 络模型进行模型训练、 验证和测试， 得到对所述 目标桥梁病害种类的识别结果。 本发 明基于原有 的ResNet神经网络进行改进， 设计了针对 桥梁病 害识别的新型神经网络ResNet+， 优化了网络之 间的残差结构， 提高了桥梁病害识别的精度。 权利要求书2页 说明书6页 附图4页 CN 115439657 A 2022.12.06 CN 115439657 A 1.一种基于改进残差结构的桥梁病害智能识别方法， 其特征在于， 该方法包括如下步 骤： 步骤一： 获取桥梁病害的历史图片数据集， 所述数据集中包括关键结构位置的桥梁构 件的服役状态的图片， 并标注病害标签， 整理成初始数据集； 步骤二： 将步骤一中的初始数据转成R、 G、 B三个像素通道的像素值， 并由像素值在图片 中的位置将其 转换成像素矩阵； 步骤三： 采用数据增强算法， 对初始数据集中的图片进行数据增强， 得到增强数据副本 的像素矩阵； 将初始数据的像素矩阵和 增强数据副本的像素矩阵合并， 得到训练数据集； 步骤四： 构建ResNet+卷积神经网络， 并用步骤三得到的训练数据集对所述ResNet+卷 积神经网络进行训练， 生成ResNet+卷积神经网络的权 重模型； 所述ResNet+卷积神经网络是在ResNet神经网络 的基础上， 在单个残差块内利用类残 差连接取代残差块之间的单个3x3卷积核， 从而增加每个网络层的感受野， 强化网络在细粒 度病害图像上的特 征表达能力； 步骤五： 将待识别的桥梁病害图像数据， 也转成R、 G、 B三个像素通道的像素值， 并由像 素值在图片中的位置将其转换成像素矩阵， 然后输入步骤四获得的ResNet+卷积神经网络 的权重模型， 得到待识别的桥梁病害的类别。 2.根据权利要求1所述的基于改进残差结构的桥梁病 害智能识别方法， 其特征在于， 所 述步骤二中对初始数据集中的图片进行数据增强采用Cutmix数据增强算法， 计算公式如 下： 其中， xA、 xB为随机抽取的两张原始桥梁病害的图像所构成的像素矩阵， M为系数矩阵, 其中 W为图像的宽， H为图像的高， C为通道数， M∈{0,1}W×H为行数为H、 列 数为W且元素值在0到 1之间的矩阵； 为数据增强之后的像素矩阵； yA、 yB指原病害标签， λ指 0到1之间所指定的数字， 指新生成的标签。 3.根据权利要求1所述的基于改进残差结构的桥梁病 害智能识别方法， 其特征在于， 所 述ResNet+卷积神经网络主体包括16个残差块， 每个残差块包括一个用于病害图片数据降 维的1x1大小的卷积核、 三个用于病害图片数据特征提取的ResNet+残差卷积核、 一个用于 病害图片数据升维还原的1x1大小的卷积核； 在单个残差块内利用类残差连接取代 残差块之间的单个3x3卷积核的具体步骤如下： (1)将用于病害图片数据降维的1x1大小的卷积核的输出特征按照通道数n均分为s组， 每组特征的通道数为 w， 即n＝s×w， 记均分后每一组特 征为xi， i∈{1,2,. ...,s}； (2)将原来残差卷积核也按照通道数均分为s组， 每组的输出通道为w， 记每组的卷积操 作为Convi()； (3)对于分组后的每一组特征x1,除了第一个组不带有卷积操作外， 其他组都对应卷积 操作Convi()， 记yi为卷积操作Convi()的输出， 则从第 二组开始， 每一 次卷积操作Convi() 前， 都将上一组的输出yi‑1与当前组的特征xi,进行残差连接， 作为Convi()的输入， 依次类 推， 直到最后一组特 征,用公式表示如下：权　利　要　求　书 1/2 页 2 CN 115439657 A 2(4)将每组对应的输出进行通道拼接， 输入最后一层的用于病害图片数据升维还原 的 1x1大小的卷积核， 将这些多尺度的特 征进行融合， 得到该残差块的输出。 4.根据权利要求3所述的基于改进残差结构的桥梁病 害智能识别方法， 其特征在于， 所 述ResNet+神经网络布局结构如下表： 5.根据权利要求1所述的基于改进残差结构的桥梁病 害智能识别方法， 其特征在于， 步 骤一中的关键结构位置的桥梁构件 包括桥面铺装、 栏杆、 盖梁、 横梁、 桥墩、 基础、 耳墙。权　利　要　求　书 2/2 页 3 CN 115439657 A 3