(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211007876.X (22)申请日 2022.08.22 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区潮王路 18号 (72)发明人 郑建炜　严亦东　全玥芊　邵安昊　 潘翔　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 忻明年 (51)Int.Cl. G06V 10/44(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/77(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于深度监督和逐步学习的肠道息肉 检测方法 (57)摘要 本发明公开了一种基于深度监督和逐步学 习的肠道息肉检测方法， 利用PVT_V2对肠镜拍摄 图像进行多尺度特征提取； 将提取到的多尺度特 征输入细节增强模块， 输出细节增强后的特征； 将细节增强后的特征输入指导融合模块， 使低层 特征在高层特征的指导下与高层特征进行融合； 将最高层的特征输入多分支解码器模块， 得到多 尺度信息融合解码后的特征； 将细 节增强后的特 征与前一个多尺度解码器的输出结果输入多尺 度解码器， 逐步学习得到每一层 多尺度解码器的 输出特征； 将多尺度解码器的输出特征通过一个 一层卷积层， 得到检测结果。 本发明在多尺度解 码器中继续突出多尺度的细 节信息， 实现了对肠 道息肉的精 准定位和准确检测， 并具有良好的泛 化能力。 权利要求书2页 说明书8页 附图2页 CN 115331024 A 2022.11.11 CN 115331024 A 1.一种基于深度监督和逐步学习的肠道息肉检测方法， 其特征在于， 所述基于深度监 督和逐步学习的肠道息肉检测方法， 包括： 输入待检测的352 ×352×3的肠道息肉图像， 使用PVT_V2对肠镜拍摄图像进行特征提 取， 提取四个尺度特征， 四个尺度分别为88 ×88×64、 44×44×128、 22×22×320和11×11 ×512； 将提取到的四个尺度的特征输入细节增强模块， 输出细节增强并压缩通道数为64后的 第一至第四增强特 征； 将细节增 强后的第一、 二、 三个增强特征与第二、 三、 四个增强特征成对输入指导融合 模块， 输出融合后的第一至第三融合特 征； 将第一至第三融合特征和第四增强特征分别输入第 一至第四层多分支解码器， 第 一至 第四层各个多分支 解码器依次连接， 后一层多分支 解码器的输出同时作为其前一层多分枝 解码器的输入， 得到多分支解码器解码后的第一至第四解码特 征； 将第一至第四解码特征分别通过一个3 ×3的卷积， 得到四个通道数为1的检测结果， 以 第一解码特征对应的检测结果作为 最终检测结果。 2.根据权利要求1所述的基于深度监督和逐步学习的肠道息肉检测方法， 其特征在于， 所述细节增强模块， 执 行如下操作： S21、 将提取得到的任一尺度特征fio通过一层1 ×1卷积， 使其压缩到64个通道并保持原 有空间尺度， 去除检测任务中冗余的通道信息， 输出尺度为Hi×Wi×64， Hi、 Wi分别为特征fio 的高度和宽度； S22、 将S21的结果分别通过1 ×1， 3×3， 5×5， 7×7的4个卷积核， 得到捕获了不同尺度 信息的四个特 征 尺度均为Hi×Wi×64； S23、 将S2 2的结果在通道维度上进行拼接， 得到尺度为Hi×Wi×256的融合特 征fidecat； S24、 将获得的特征 fidecat通过两层3 ×3卷积， 融合捕获了不同尺度信息的特征， 生成增 强特征fide， 其尺度为Hi×Wi×64。 3.根据权利要求1所述的基于深度监督和逐步学习的肠道息肉检测方法， 其特征在于， 所述指导融合模块， 执 行如下操作： S31、 对于提取到的四个增强特征 将其以fide， 的对应关系输入 指导融合模块； S32、 将 用双线性插值的方式进行上采样， 得到与fide的空间维度相同的特征 S33、 将上采样后的特征 通过空间注意处理， 得到注意力权重smapi+1表示， 计算公 式如下： 其中， SA(·)为空间注意力； S34、 令特 征fide和smapi+1进行元素乘法， 突出显著区域的特 征， 计算公式如下： 权　利　要　求　书 1/2 页 2 CN 115331024 A 2其中， 为元素乘法； S35、 将fide与fisa进行残差连接， 使之保留低层 特征的信息， 提高训练稳定性， 计算公式 如下： flgf＝fisa+fide； S36、 将flgf与 在通道维度上拼接融合， 得到尺度为Hi×Wi×128的结果figf； S37、 将获得的特征 figf通过一层3 ×3卷积， 融合捕获不同尺度信息的特征， 输出融合特 征figfout， 其尺度为Hi×Wi×64。 4.根据权利要求1所述的基于深度监督和逐步学习的肠道息肉检测方法， 其特征在于， 所述第四层多分支解码器， 执 行如下操作： S411、 将第四增强特征 输入一个1 ×1卷积， 进一步学习不同通道上的信息得到尺度 为11×11×64结果； S412、 将S41的结果分别通过1 ×1， 3×3， 5×5的4个卷积核， 得到捕获了不同尺度信息 的3个特征 三个特征的尺度均为Hi×Wi×64； S413、 将S42的三个结果在通道维度上进行拼接， 得到尺度为Hi×Wi×192的融合特征 S414、 将获得的特征 通过两层3 ×3卷积， 融合捕获了不同尺度信息的特征， 生成 解码特征 其尺度为Hi×Wi×64； 所述第一至第三层多分支解码器， 解码过程如下： S421、 将融合特征figfout和前一个多分支解码器输出的解码特征 在通道维度上进 行拼接， 得到尺度为Hi×Wi×64的融合特 征fibdin； S422、 将fibdin输入一个1×1卷积， 融合该层特征和上层特征的结果得到尺度为Hi×Wi× 64的结果fibdpre； S423、 将fibdpre分别通过1 ×1， 3×3， 5×5的3个卷积核， 得到捕获了不同尺度信息的3个 特征fibd1， fibd2， fibd3， 三个特征的尺度均为Hi×Wi×64； S424、 将特征fibd1， fibd2， fibd3在通道维度上进 行拼接， 得到尺度为Hi×Wi×192的融合特 征fibdcat； S425、 将获得的特征fibdcat通过两层3 ×3卷积， 融合捕获了不同尺度信息的特征， 生成 解码特征fibd， 其尺度为Hi×Wi×64。权　利　要　求　书 2/2 页 3 CN 115331024 A 3