(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210920701.1 (22)申请日 2022.08.02 (71)申请人 华东师范大学 地址 200241 上海市闵行区东川路5 00号 (72)发明人 李智　金群超　张桂戌　 (74)专利代理 机构 上海蓝迪专利商标事务所 (普通合伙) 31215 专利代理师 徐筱梅　张翔 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/77(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于浅层监督和反馈注意力的息肉图 像分割方法 (57)摘要 本发明公开一种基于浅层监督和反馈注意 力的息肉图像 分割方法， 其特点是采用边缘提取 模块和反馈注 意力模块， 通过对 卷积神经网络中 浅层特征和深层特征的充分利用， 有效地检测出 复杂息肉和奇异息肉， 具体包括： 数据集的预处 理、 网络整体框架的构建、 边缘特征的提取与监 督、 高级语义特征的筛选与过滤和网络模型的训 练和使用等步骤。 本发明与现有技术相比具有充 分利用了息肉的浅层信息和深层语义信息， 缓解 了息肉边缘模糊和形态复杂的分割难点， 实现了 结肠镜息肉图像的自动分割， 进一步提升模型的 性能和泛化能力， 尤其在一些复杂的情况下都能 达到很好的分割效果， 具有广泛且良好的应用前 景。 权利要求书1页 说明书6页 附图2页 CN 115393283 A 2022.11.25 CN 115393283 A 1.一种基于浅层监督和反馈注意力的结肠镜息肉图像分割方法， 其特征在于结肠镜息 肉图像的分割具体包括下述 步骤： 步骤S1： 数据集的预处 理 选择现有的结肠镜息肉分割数据集， 对数据集中所划分的训练数据进行图像增强， 并 通过标签分割图获取息肉的边缘图， 作为边缘标签图， 所述图像增强具体包括： 随机裁剪、 随机水平翻转、 随机垂直翻转和随机缩放； 步骤S2： 网络整体框架的构建 网络采用编码器 ‑解码器架构， 并以编码器选取ResNeSt为骨干特征提取网络， 用于提 取f1～f5五个层级的特征图， 所述解码器使用双线性插值的方法将编码器提取的特征图恢 复成与输入图分辨率一致的输出图； 所述f1～f5五个层级的特征图， 其中f1和f2为浅层特征 图； f3～f5为深层特 征图； 步骤S3:边 缘特征的提取与监 督 在编码器 ‑解码器架构的跳跃连接部分， 使用边缘提取模块对浅层特征图f1和f2获取息 肉的边缘信息， 并将其与边 缘标签图使用损失函数为 二值交叉熵损失构造监 督； 步骤S4： 高级语义特 征的筛选与过滤 在编码器 ‑解码器架构的跳跃连接部分， 使用反馈注意力模块对深层特征图f3、 f4和f5 进行过滤， 强化含有息肉的区域； 步骤S5： 网络模型的训练和使用 使用步骤S 1的训练数据集对构建的网络结构进行训练， 采用深层多级监督辅助早期特 征的学习， 在训练的过程中保存在验证数据集上效果最好的模型， 并使用保存的模型进行 息肉的分割。 2.根据权利要求1所述的基于浅层监督和反馈注意力的息肉图像分割方法， 其特征在 于所述步骤S3中的边 缘提取模块将浅层特 征图f1和f2按下述步骤进行拼接融合： 1)将两特 征图通过3x3的卷积层调整通道数； 2)使用双线性插值的上采样方法， 将两特征图的分辨率提升到与输入图像一样的尺 寸； 3)通过1x1卷积层将融合特 征图的通道数降为1， 并使用Sigmo id函数获取边 缘预测图。 3.根据权利要求1所述的基于浅层监督和反馈注意力的息肉图像分割方法， 其特征在 于， 所述步骤S4中的反馈注意力模块由级联特征聚合注意力门控模块和多尺度模块组成， 所述反馈注意力模块的输入包括当前层次的特征图和上一级层次的特征图， 其输出将重新 作为输入再一次注入到模块本体中， 并通过指定次数 的反馈循环， 最终传播到网络的解码 器中； 所述级联特征聚合注意力门控模块将获取的当前层次和上一级层次的两个输入特征 图， 通过1x1卷积获取两个单通道特征表 示图， 并将其拼接后进入通道层级的全连接操作以 及Sigmoid激活函数， 获得取值范围在0到1之间的注 意力特征图对输入 特征图进行过滤， 以 进一步突出息肉的区域。 4.根据权利要求1所述的基于浅层监督和反馈注意力的息肉图像分割方法， 其特征在 于所述使用保存的模型进 行息肉的分割是将待分割的结肠镜息肉 图像送入保存的模型中， 通过神经网络的处 理， 获得息肉分割结果图。权　利　要　求　书 1/1 页 2 CN 115393283 A 2一种基于浅层监督和反馈注意力的息肉图像分割方 法 技术领域 [0001]本发明涉及医学图像分割技术领域， 尤其涉及一种基于浅层监督和反馈注意力的 息肉图像分割方法。 背景技术 [0002]近年来， 结直肠癌已上升成为世界上第三大常见的癌症类型， 并且它的死亡率在 所有癌症中位居第二。 大多数 的结直肠癌开始于结肠或直肠内壁上 的息肉， 所以使用光学 结肠镜检查对息肉进 行早期检测对预防和及时治疗结直肠癌至 关重要。 对息肉区域进 行检 测就需要通过分割技术将息肉区域分割出来， 准确的分割结果可以帮助医生快速定位息肉 并进行更好的诊断。 [0003]当前， 常用的息肉图像分割方法包括有人工分割、 半自动分割以及全自动分割三 种。 人工分割的结果最为准确， 但是该方法很大程度上依赖于医生的经验， 并且分割的过程 耗时耗力， 效率低， 可重复性差。 半自动分割是一种通过人机交互操作来进行分割的方法， 医生可以给予计算机一些有效的信息来帮助计算机来进行分割处理， 半自动分割技术同样 需要依赖于医生的经验和水平。 相比于人工分割和半自动分割， 全自动分割方式不仅可以 提高分割的效率， 同样可以达到很高的准确 率， 并且在分割的过程中不需要医生的直接参 与。 早期的全自动分割 方法依赖于手工制作的特征， 如颜色、 形状和纹理， 来对图像进行处 理。 但是在一些复杂的情况 下还是会有较高的漏检率。 [0004]近些年来， 人工智能方法逐渐成为息肉分割方法中研究的新趋势， 相比于传统的 手工特征设计方法， 卷积神经网络可以自动地学习图像的特征。 早期的一些方法通过全卷 积神经网络结合条件随机场来进行息肉图像分割， 但这类方法的结果依然存在一些局限 性。 当前主流的基于深度学习的息肉分割方法基本都是端到端的分割网络 。 [0005]Yuqi Fang等人在其发表的论文 “Selective  Feature Aggregation  Network  with Area‑Boundary  Constraints  for Polyp Segmentation ”中提出了选择性特征 聚合 网络， 它采用了一个共享编码器分支和两个相互制约的解码器， 分别预测息肉的面积和边 界， 该方法在一些较小的息肉分割中效果不佳， 并且该方法的泛化性能较差。 Deng ‑Ping  Fan等人在其发表的论文 “PraNet:Parallel  Reverse Attention  Network for Polyp  Segmentation. ”(Medical  Image Computing  and Computer  Assisted  Intervention   2020pp263 –273)中提出了一种平行反向注意网络。 网络通过反向注 意模块利用了区域和边 界线索来提升了息肉 图像分割的结果， 但是该方法只使用了深层特征而忽略了浅层的特征 的使用， 在一些复杂的情况 下无法达到很好的分割效果。 发明内容 [0006]本发明的目的是针对现有技术的不足而提出的一种基于浅层监督和反馈注意力 的息肉图像分割方法， 采用边缘提取模块获取浅层特征的边缘信息 以辅助模型学习的方 法， 对卷积神经网络中浅层特征进行充分利用， 以及利用反馈注意力模块通过级联特征聚说　明　书 1/6 页 3 CN 115393283 A 3