(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211473470.0 (22)申请日 2022.11.23 (71)申请人 南京理工大 学 地址 210018 江苏省南京市玄武区孝陵卫 街道孝陵卫 街200号 (72)发明人 陈涛　黄丹　孙泽人　姚亚洲　 (74)专利代理 机构 南京创略知识产权代理事务 所(普通合伙) 32358 专利代理师 许滢 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/46(2022.01) G06V 10/764(2022.01) (54)发明名称 一种基于显著性引导的弱监督语义分割方 法 (57)摘要 本发明公开了一种基于显著性引导的弱监 督语义分割方法， 包括给定带有图像级弱标签的 图像， 通过训练一个分类网络， 此时利用从注意 力图导出的类别激活图定位目标对象区域， 生成 初始伪标签。 本发明通过设计了一个类别无关距 离损失， 扩大类别激活图中激活的目标对象区 域， 同时设计了一个类别特定距离损失， 使目标 对象区域比背景区域具有更高的激活度， 由此拉 近类内特征和分离类间特征， 使显著图在分类网 络的训练过程中， 可以扩展类别激活图中激活的 目标对象区域， 提取紧凑完整的目标对象区域； 进一步的， 通过构建一个对象引导的标签精炼子 方法， 充分利用分割预测对初始伪标签再训练， 为弱监督语义分割网络训练提供了一个更高质 量的进阶伪标签 。 权利要求书2页 说明书8页 附图1页 CN 115546490 A 2022.12.30 CN 115546490 A 1.一种基于 显著性引导的弱监 督语义分割方法， 其特 征在于： 包括以下步骤： 步骤 （A） 、 给定带有图像级弱标签的图像， 训练一个分类网络， 通过构建一个用以显示 最小化类内特征方差的类别无关距离损失， 对类内关系进行约束， 扩大类别激活图中的目 标对象区域； 步骤 （B） 、 构建一个类别特定距离损失， 以最大化不同类间的特征差异， 用以将目标对 象区域和背景区域特征区分开， 此时利用从注意力图导出的类别激活图定位目标对象区 域， 生成初始伪标签； 步骤 （C） 、 构建一个对象引导的标签精炼子方法， 充分利用分割预测对初始伪标签再训 练， 进而通过分割模型生成进阶伪标签， 用于弱监 督语义分割网络训练。 2.根据权利要求1所述的一种基于显著性引导的弱监督语义分割方法， 其特征在于： 步 骤 （A） 、 给定带有图像级弱标签的图像， 训练一个分类网络， 通过构建一个用以显示最小化 类内特征方差的类别无关距离损失， 对类内关系进行约束， 扩大类别激活图中的目标对 象 区域， 包括以下步骤： （A1） 、 对于只包含一类对象的简单图像， 其类别无关的显著图可近似为其相应的目标 对象掩码， 故借助类别无关的显著图掩码， 对特征应用掩码平均池化操作， 提取类别原型向 量， 具体的， 当注意力图F  上采样到与掩码M相同的大小后， 按下式计算目标对象区域原型 向量 ： 其中，h是显著图的高度， w是显著图的宽度； （A2） 、 目标对象区域原型向量被采样到与注意力图相同的空间大小后， 进行逐元素相 减， 以获得原型特征距离D， 使用掩码平均池化操作为显著对象区域定义一个类别无关距离 损失 ， 并按下式计算类别无关距离损失 ： 其中，h′  是注意力图的高度， w′是注意力图的宽度， c是注意力图的通道数； （A3） 、 将类别无关距离损失与反向显著图进行 结合， 按下式计算背景区域原型向量 ： 其中， 反向显著图 ； （A4） 、 背景原型向量被采样到与注意力图相同的空间大小后， 进行逐元素相减， 在获得 背景特征距离 后， 按下式计算背景区域的类别无关距离损失 ：权　利　要　求　书 1/2 页 2 CN 115546490 A 2。 3.根据权利要求1所述的一种基于显著性引导的弱监督语义分割方法， 其特征在于： 步 骤 （B） 、 构建一个类别 特定距离损失， 以最大化不同类间的特征差异， 用以将目标对象区域 和背景区域特征区分开， 此时利用从注意力图导出 的类别激活图定位 目标对象区域， 生成 初始伪标签， 包括以下步骤： （B1） 、 在类别无关距离损失中获得目标对象区域和背景区域的类原型后， 利用图像级 标签 定位与图像中存在的特定 类别相关的通道， 按下式计算类别特定的距离损失 ： 其中， 是目标对象区域原型向量， 是背景区域原型向量； （B2） 、 基于显著性引导的类间和类内关系约束， 按下式计算分类网络的总体训练损失 ： 其中， 是用于控制目标对象区域的类别无关距离损失的超参数， 是用于控制背 景区域的类别无关距离损失的超参数， 是类别特定距离损失的超参数， 是多标签 软边际损失。 4.根据权利要求1所述的一种基于显著性引导的弱监督语义分割方法， 其特征在于： 步 骤 （C） 、 构建一个对象引导的标签精炼子方法， 充分利用分割预测对初始伪标签再训练， 进 而通过分割模型生成进阶伪标签， 用于弱监 督语义分割网络训练， 包括以下步骤： （C1） 、 借助指示类别存在与否的图像级标签 ， 过滤掉分割预测 中不应该存在的目标 对象区域， 如下式所示： 其中 、 是像素位置索引； （C2） 、 重新标记分割预测中与初始伪标签 不一致的背景像素， 如下式所示： ； （C3） 、 进一步挖掘网络预测和初始标签中遗漏的目标对象区域， 获得进阶伪标签用于 弱监督语义分割网络训练， 如下式所示： 。权　利　要　求　书 2/2 页 3 CN 115546490 A 3