(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210852168.X (22)申请日 2022.07.20 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 张小国　滕浩　丁立早　杜文俊　 王琦　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 张天哲 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于双 注意力机制融合的FDA -DeepLab 语义分割算法 (57)摘要 本发明设计了一种基于双注意力机制融合 的FDA‑DeepLab语义分割算法， 主要包括以下几 个步骤： 按照DeepLabv3+模型框架搭建ResNet ‑ 50结构的特征提取网络， 在特征提取网络后搭建 空间金字塔池化ASPP 模块； 设计双注意力机制特 征融合模块； 基于双注意力机制特征融合模块， 设计特征融合模块， 将高级特征图和低级特征图 输入到特征融合模块中， 得到输出图像， 再经过 深度可分离卷积和上采样得到语义分割结果， 至 此， FDA‑DeepLab模型搭建完毕； 采用预训练好的 模型对FDA ‑DeepLab骨干模型进行初始化， 对模 型进行训练， 改进损失函数对训练进行优化， 使 用训练好的FDA ‑DeepLab模型和DeepLabv3+模型 对测试集进行图像分割， 对比性能。 权利要求书2页 说明书5页 附图4页 CN 115170801 A 2022.10.11 CN 115170801 A 1.一种基于双注意力机制融合的FDA ‑DeepLab语义分割算法， 其特征在于， 包括以下步 骤： 步骤1： 按照De epLabv3+模型框架搭建特 征提取网络和空间金字塔池化AS PP模块； 步骤2： 设计双注意力机制特 征融合模块； 步骤3： 基于双注意力机制特 征融合模块， 设计特 征融合模块； 步骤4： 对特征融合模块得到的输出图像进行深度可分离卷积和上采样， 模型搭建完 毕； 步骤5： 训练模型， 改进损失函数对训练进行优化， 对比不同模型性能。 2.根据权利要求1所述的一种基于双注意力机制融合的FDA ‑DeepLab语义分割算法， 其 特征在于， 所述 步骤1包括如下步骤： 步骤1.1： 采用ResNet ‑50卷积神经网络模型， 搭建特征提取网络， 得到下采样率为4、 8、 16的低级特 征图； 步骤1.2： 在特 征提取网络后搭建空间金字塔池化AS PP模块， 得到高级特 征图。 3.根据权利要求2所述的一种基于双注意力机制融合的FDA ‑DeepLab语义分割算法， 其 特征在于， 所述 步骤2包括如下步骤： 步骤2.1： 设对于同一个双注意力机制融合模块， 低分辨率特征图输入为ULI， 特征图分 辨率为H′ ×W′， 高分辨率特征图输入为UHI， 特征图分辨 率为H×W； 步骤2.2： 对ULI进行上采样操作得到UL′I′， 使UL′I′分辨率与UHI一致， 即分辨率变为H × W。 ； 公式如下： UL'I'＝fup(ULI),UL'I'∈H×W×C 式中， fup表示上采样 操作， 一般采用双线性插值方法； 步骤2.3： 对UL′I′进行通道注意力操作， 得到ULI′， 对UHI进行空间注意力操作， 得到权重 FS。 ； 将权重FS与ULI′相乘， 得到ULO′。 ； 公式如下： ULI′＝f(WR*z)*UL′I′ FS＝[f(s1,1),f(s1,2),…,f(si,j),…,f(sH,W)] 式中， f()表示Sigmoid函数， s为映射特征， WR为对应卷积操作的参数， z为压缩特征； 步 骤2.4： 把ULO′和UHI相加， 并在后面加上一个1 ×1卷积核降维； 公式如下： UO＝c(ULO'+UHI) 式中， c表示1 ×1卷积操作。 4.根据权利要求2所述的一种基于双注意力机制融合的FDA ‑DeepLab语义分割算法， 其 特征在于， 所述 步骤3包括如下步骤： 步骤3.1： 把步骤1.1得到的下采样率为16的低级特征图和步骤1.2得到的高级特征图 通过步骤2设计的双注意力机制特 征融合模块得到 输出特征图1； 步骤3.2： 把步骤1.1得到的下采样率为8的低级特征图和步骤3.1得到的输出特征图1 通过步骤2设计的双注意力机制特 征融合模块得到 输出特征图2； 步骤3.3： 把步骤1.1得到的下采样率为4的低级特征图和步骤3.2得到的输出特征图2 通过步骤2设计的双注意力机制特 征融合模块得到 输出特征图3。权　利　要　求　书 1/2 页 2 CN 115170801 A 25.根据权利要求4所述的一种基于双注意力机制融合的FDA ‑DeepLab语义分割算法， 其 特征在于， 所述 步骤4包括如下步骤： 步骤4.1： 对步骤3.3得到的输出特征图3进行卷积核为3 ×3的深度可分离卷积和4倍上 采样。 6.根据权利要求1所述的一种基于双注意力机制融合的FDA ‑DeepLab语义分割算法， 其 特征在于， 所述 步骤5包括如下步骤： 步骤5.1： 对模型进行训练； 采用在ImageNet数据集上预先训练好 的ResNet ‑50预训练 模型对FDA‑DeepLab骨干模 型进行初始化； 设置批处理大小为10， 迭代步数为40000， 基础特 征提取网络总 的下采样倍数为16， 初始学习率为0.007， 训练数据大小为513 ×513， 采用 “poly”学习率策略； 步骤5.2： 改进损失函数对训练进行优化； 采用焦点损失函数代替常规的交叉熵损失函 数， 公式如下： LFL(pt)＝‑αt(1‑pt)γlogpt 式中， α为类别间的权重参数， (1 ‑pt)y为简单/困难样本调节因子， γ为聚焦参数， pt为 预测结果对应标签的概 率； 设置γ＝2， α ＝0.25； 步骤5.3： 对 模型进行测试； 采用MI oU作为性能评价指标。权　利　要　求　书 2/2 页 3 CN 115170801 A 3