(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211246415.8 (22)申请日 2022.10.12 (71)申请人 中科合肥智慧农业协同创新研究院 地址 230031 安徽省合肥市长 丰县双凤开 发区金江路32 号合肥智慧农业协同创 新研究院 (72)发明人 孟傲　胡宜敏　许桃胜　王雪　 王儒敬　史杨　张永恒　 (74)专利代理 机构 合肥国和专利代理事务所 (普通合伙) 34131 专利代理师 吴娜　张祥骞 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/82(2022.01) G06V 10/26(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的农作物遥感图像语义 分割方法 (57)摘要 本发明涉及一种基于深度学习的农作物遥 感图像语义 分割方法， 包括： 采集哨兵2号卫星的 L2A级图像， 进行波段提升和波段融合， 再进行裁 剪、 标注后作为数据存储至数据集； 将数据集划 分为训练集、 验证集和测试集， 调整卷积神经网 络模型的超参数、 检验卷积神经网络模型， 直至 获得一个损失函数收敛的卷积神经网络模型； 待 测样本采集并完成农作物检测。 本发 明为遥感影 像农作物语义分割提供了新的网络模 型， 可同时 处理遥感影像的多波段信息而非传统图像的RGB 三通道信息， 针对遥感图像的分割问题具有较强 的适用性； 本网络模型在原U ‑net的模型基础上 添加了残差模块， 可有效地减少遥感影像在编码 过程中丢失的细节， 使 模型分割准确率更高。 权利要求书2页 说明书6页 附图3页 CN 115527119 A 2022.12.27 CN 115527119 A 1.一种基于深度学习的农作物遥感图像语义分割方法， 其特征在于： 该方法包括下列 顺序的步骤： (1)建立数据 集： 采集哨兵2号卫星的L2A级图像， 对哨兵2号卫星的L2A级图像进行波段 提升和波段融合后获得多波段、 高分辨率的重 建图像， 对重建图像进 行裁剪、 标注后作为数 据存储至数据集； (2)训练卷积神经网络模型： 将数据集划分为训练集、 验证集和测试集， 用训练集、 验证 集和测试集调整卷积神经网络模型 的超参数、 检验卷积神经网络模型， 直至获得一个损失 函数收敛的卷积神经网络模型； (3)待测样本采集并完成农作物检测： 将待测 样本送入卷积神经网络模型进行检测， 获 得语义分割图像， 通过软件ArcGis对语义分割图像和待测样本进行逐像素点对比， 计算语 义分割图像的全局准确率、 平均交并比、 召回率的指标， 通过评估全局准确率、 平均交并比、 召回率的指标的结果， 实现对卷积神经网络模型性能的评估。 2.根据权利要求1所述的基于深度学习的农作物遥感图像语义分割方法， 其特征在于： 所述步骤(1)具体包括以下步骤： (1a)针对每 张哨兵2号卫星的L2A级图像， 使用SNAP软件对L2A级图像中分辨率为20m × 20m的波段进行双线性内插法重采样， 获得多张10m ×10m分辨率的单通道遥感影 像； (1b)使用ENVI软件对多张10m ×10m分辨率的单通道遥感影像进行融合， 获得相应的高 分辨率多光谱遥感影像， 再使用ENVI软件对高分辨率多光谱遥感影像进行裁剪， 最终获得 多张512×512尺寸的小块影 像； (1c)使用ArcGis软件对512 ×512尺寸的小块影像中的不同农作物绘制shape文件并标 注， 具体为： 当农作物目标为油菜时， 为其分配类别为1； 当农作物目标为小麦时， 为其分配 类别为2； 当农作物目标为水稻时， 为其分配类别为3； 当农作物目标为大豆时， 为其分配类 别为4； 当农作物目标为除油菜、 小麦、 水稻、 大豆之外的类别时， 为 其分配类别为0。 3.根据权利要求1所述的基于深度学习的农作物遥感图像语义分割方法， 其特征在于： 所述步骤(2)具体是指： 将数据集以7:2:1的比例划分训练集、 验证集和测试集； 所述卷积神 经网络模 型采用改进后的U ‑net网络， 对遥感影像中农作 物种植区域进 行语义分割， 获得农 作物的种植种类和种植区域， 所述改进后的U ‑net网络包括依次相连的编码模块和解码模 块； 所述编码模块包括依次相连的第 一阶段模块、 第 二阶段模块、 第三阶段模块、 第四阶段 模块和第五阶段模块； 所述第一阶段模块由依次相连的一个7 ×7的卷积模块和一个3 ×3的最大池化模块组 成； 所述第二、 三、 四、 五阶段模块均由依次相连的一个带最大池化层的残差模块和一个基 础残差模块组成； 所述解码模块包括依次相连的第六阶段模块、 第 一跳跃连接阶段模块、 第七阶段模块、 第二跳跃连接阶段模块、 第八阶段模块、 三跳跃连接阶段模块、 第九阶段模块和 第十阶段模 块； 所述第六、 七、 八、 九阶段模块均由依次相连的第一1 ×1卷积模块、 第一3 ×3全卷积模 块及第二1 ×1卷积模块组成；权　利　要　求　书 1/2 页 2 CN 115527119 A 2所述第十阶段模块由依次相连的第二3 ×3全卷积模块、 第五标准卷积模块及2 ×2全卷 积模块组成； 所述第一跳跃连接阶段模块以第四阶段模块的输出结果和第六阶段模块的输出结果 为输入， 第一跳跃连接阶段模块以第四 阶段模块的输出结果和 第六阶段模块的输出结果的 和为输出， 第一跳跃 连接阶段模块的输出端与第七阶段模块的输入端相连； 所述第二跳跃连接阶段模块以第三阶段模块的输出结果和第七阶段模块的输出结果 为输入， 第二跳跃连接阶段模块以第三阶段模块的输出结果和 第七阶段模块的输出结果的 和为输出， 第二跳跃 连接阶段模块的输出端与第八阶段模块的输入端相连； 所述第三跳跃连接阶段模块以第二阶段模块的输出结果和第八阶段模块的输出结果 为输入， 第三跳跃连接阶段模块以第二阶段模块的输出结果和 第八阶段模块的输出结果的 和为输出， 第三跳跃 连接阶段模块的输出端与第九阶段模块的输入端相连。 4.根据权利要求1所述的基于深度学习的农作物遥感图像语义分割方法， 其特征在于： 在步骤(2)中， 所述卷积神经网络模型的超参数的初始学习率设置为0.1， 迭代次数设置为 100轮， 每个批次大小设置为4张图像， 所述损失函数采用多分类的交叉熵 函数； 在多次训练 过程不断调整 学习率， 最 终选择标注图像与预测图像之 间损失函数数值最小的训练结果作 为卷积神经网络模型的预训练权值并保存。 5.根据权利要求3所述的基于深度学习的农作物遥感图像语义分割方法， 其特征在于： 所述第一阶段模块的7 ×7的卷积模块为卷积核大小为7 ×7、 步长为2的卷积层顺连一个批 归一化层bn和一个激活层relu； 所述第一阶段模块的3 ×3的最大池化模块由卷积核大小为 3×3、 步长为2的池化层构成； 所述第二、 三、 四、 五阶段模块的带最大池化层的残差模块为第一标准卷积模块顺连一 个2×2的最大池化模块和第二标准卷积模块， 并在第一标准卷积模块之前和 第二标准卷积 模块之后引入残差边； 所述的第一、 二标准卷积模块均为卷积核大小为3 ×3、 步长为1的卷 积层顺连一个批归一化层bn和一个激活层relu； 所述的2 ×2的最大池化模块由卷积核 大小 为2×2、 步长为2的池化层构成； 所述的残差边为一个加法模块， 负责将第一标准卷积模块 的输入数据和 第二标准卷积模块的输出数据相加， 再将相加结果作为带最大池化层的残差 模块的输出 结果； 所述第二、 三、 四、 五阶段模块的基础残差模块由第 三标准卷积模块和第四标准卷积模 块顺连而成， 所述第三、 四标准卷积模块和所述第一、 二标准卷积模块的结构相同。 6.根据权利要求3所述的基于深度学习的农作物遥感图像语义分割方法， 其特征在于： 所述第六、 七、 八、 九阶段模块的第一、 二1 ×1卷积模块均为卷积核大小为1 ×1、 步长为1的 卷积层顺连一个批归一化层bn和一个激活层relu； 所述第六、 七、 八、 九阶段模块的第一3 × 3全卷积模块均为卷积核 大小为3×3、 步长为2的转置卷积层顺连一个批归一化层bn和一个 激活层relu； 所述第十阶段模块的第二3 ×3全卷积模块与第六、 七、 八、 九阶段模块的第一3 ×3全卷 积模块的结构相同； 所述第十阶段模块的第 五标准卷积模块与第二、 三、 四、 五阶段模块的 第一、 二标准卷积模块的结构相同； 所述第十阶段的2 ×2全卷积模块由卷积核 大小为2×2、 步长为2的池化层构成。权　利　要　求　书 2/2 页 3 CN 115527119 A 3