(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210436471.1 (22)申请日 2022.04.25 (71)申请人 武汉工程大 学 地址 430000 湖北省武汉市东湖新 技术开 发区光谷一路20 6号 (72)发明人 卢涛　饶茜雅　张彦铎　方稳华　 王元植　 (74)专利代理 机构 北京轻创知识产权代理有限 公司 11212 专利代理师 尉保芳 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/77(2022.01)G06V 10/774(2022.01) G06K 9/62(2022.01) G06F 16/583(2019.01) (54)发明名称 一种小样本 语义分割方法及装置 (57)摘要 本发明提供一种小样本语义分割方法及装 置， 属于计算机视觉技术领域； 导入含有多个图 像的训练集， 根据图像类别将所述训练集中的多 个图像划分为支持集和查询集； 通过预训练的特 征编码器对 所述支持集和查询集进行特征提取， 得到支持特征和查询特征； 将支持特征的频域进 行分离， 得到多频特征， 并将多频特征提取为多 频原型； 将多频原型与查询特征进行自适应匹配 连接， 得到新查询特征； 对新查询特征的多个特 征向量分别进行分割预测， 得到每个特征向量对 应的预测类别。 本发明能够 有效地通过小样本对 新类别的目标进行语义分割， 提高计算效率， 减 少存储空间， 有效降低数据标注的人工成本 。 权利要求书4页 说明书8页 附图3页 CN 114529728 A 2022.05.24 CN 114529728 A 1.一种小样本语义分割方法， 其特 征在于， 包括如下步骤： 导入含有多个图像的训练集， 根据图像类别将所述训练集中的多个图像划分为支持集 和查询集； 通过预训练的特征编码器对所述支持集和查询集进行特征提取， 得到支持特征和查询 特征； 将所述支持特 征的频域进行分离， 得到多频 特征， 并将所述多频 特征提取为多频原型； 将所述多频原型与所述 查询特征进行自适应匹配连接， 得到新 查询特征； 构建特征解码器， 通过所述特征解码器对所述新查询特征的多个特征向量分别进行分 割预测， 得到每 个特征向量对应的预测类别。 2.根据权利要求1所述的小样本语义分割方法， 其特征在于， 所述根据图像类别将所述 训练集中的多个图像划分为支持集和查询集， 具体为： 根据支持与查询对范式将所述训练集中所有的图像或进行图像类别的配对处理， 得到 多个支持与查询图像对， 通过多个支持与查询图像对得到与所述训练集对应的所述支持集 和所述查询 集 ， 且所述支持与查询图像对由所述支持集 和所述查询 集 中相同类别的 图像组成， 其中， 所述支持集 为第 个图像及其二进制掩码， 为 图像‑二进制掩码对的数量， 所述查询集 为第 个图像对应的查询 图像及其真实掩码。 3.根据权利要求1所述的小样本语义分割方法， 其特征在于， 所述通过预训练 的特征编 码器对所述支持集和查询集进行 特征提取， 得到支持特 征和查询特 征， 具体为： 将所述支持集导入预训练的特征编码器中， 通过所述预训练的特征编码器输出所述支 持集的低层支持特 征 、 中层支持特 征 和中层支持特 征 ； 将所述查询集导入训练后的特征编码器中， 通过所述训练后的特征编码器输出所述查 询集的中层查询特 征 。 4.根据权利要求3所述的小样本语义分割方法， 其特征在于， 所述多频特征包括低频特 征； 所述将所述支持特 征的频域进行分离， 得到多频 特征， 具体为： 构建所述支持特征分离网络， 所述支持特征分离网络包括一致性保持模块CGB和 卷积层； 将所述支 持特征的中层支 持特征 输入所述一致性保持模块CGB进行分离处理， 得 到与所述中层支持特征 的像素分辨率相同的低分辨率特征 ， 将所述低分辨率 特征 与所述中层支持特征 连接， 得到以标准空间网格 为标准的第一预测 流图 ， 表示连接， 卷积层； 将所述支持特征的中层支持特征 输入所述一致性 保持模块CGB进行分离处理， 得到与 所述中层支 持特征 的像素分辨率相同的低分辨率特征 ， 将所述低分辨率特征权　利　要　求　书 1/4 页 2 CN 114529728 A 2与所述中层支持特征 连接， 得到以标准空间网格 为标准的第二预测流图 ， ， 表示连接，   卷积层； 将所述第一预测流图 和所述第二预测流图 中的每个位置 通过映射公式进行映 射， 得到每个位置 对应的映射点 ， 所述映射公式为 ， 为第一预测流图 或所述第二预测流图 ； 通过可微双线性采样方法将所述第一预测流图 的各个映射点 进行线性插值处理， 输出所述第一预测流图 对应的低频 特征 的每一个点 ， ， 其中， 由所述第一预测流图 计算得到的扭曲空 间 网格双线性核权重， 表示所涉及的相邻像素； 通过可微双线性采样方法将所述第二预测 流图 的各个映射点 进行线性插值处理， 输出所述第二预测流图 对应的低频特征 的每一个点 ， ， 其中， 由所述第二预测流图 计算得到的扭曲空间 网格双线性核权 重， 表示所涉及的相邻像素； 将所述低频特征 和所述低频特征 进行连接， 得到最终的低频特征 ，  表示连接， 表示 卷积层， 所述 卷积层用于将通道数降维。 5.根据权利要求4所述的小样本语义分割方法， 其特征在于， 所述多频特征还包括高频 特征； 所述将所述支持特 征的频域进行分离， 得到多频 特征， 具体为： 将所述支持特征的中层支持特征 减去低频特征 得到高频特征 ， 所述 高频特征 ， 并将所述支持特征的中层支持特征 减去低频特征 得到高频 特征 ， 所述高频 特征 ； 将低层支持特征 、 高频特征 和高频特征 进行连接， 得到最终的高频特征 ， 所述高频特征 ， 其中， 表示连接， 表示 卷积层， 所述 卷积层用于将通道数降维。 6.根据权利要求5所述的小样本语义分割方法， 其特征在于， 所述多频特征还包括中频 特征； 所述将所述支持特 征的频域进行分离， 得到多频 特征， 具体为： 将所述支持特征的中层支持特征 和所述支持特征的中层支持特征 进行连权　利　要　求　书 2/4 页 3 CN 114529728 A 3