(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210932635.X (22)申请日 2022.08.04 (71)申请人 桂林电子科技大 学 地址 541004 广西壮 族自治区桂林市七 星 区金鸡路1号 (72)发明人 雷晓春　宫照庭　谢浚霖　江泽涛　 梁嘉铭　陈俊彦　 (74)专利代理 机构 桂林市持衡专利商标事务所 有限公司 45107 专利代理师 陈跃琳 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于表征特征的双边 缘图像分割方法 (57)摘要 本发明公开一种基于表征特征的双边缘图 像分割方法， 先构建图像分割模型； 再将训练图 像送入所构建的图像分割模型中进行训练， 得到 训练好的图像 分割模型； 后将待分割图像送入训 练好的图像分割模型中进行预测， 完成待分割图 像的图像分割。 利用表征边缘信息对分割结果进 行优化， 直接从原图表征特征对推理结果进行优 化， 不使用任何特征提取模块， 也不属于双分支 网络， 优化过程参数， 能够无条件附加在任何场 景分割网络中直接使用； 损失函数着重解决边缘 像素与非边缘像素数量严重不均衡的问题， 改善 基于边缘的分割网络效果， 并且 可以用于其他网 络的边缘细节优化； 边缘像 素的dropout方法， 解 决物体边缘像素与物体内部像素数量不均衡， 防 止边缘优化过拟合。 权利要求书2页 说明书7页 附图3页 CN 115294334 A 2022.11.04 CN 115294334 A 1.一种基于表征 特征的双边 缘图像分割方法， 其特 征是， 包括步骤如下： 步骤1、 构建图像分割模型； 该分割网络主要由骨干网络、 边缘提取模块、 上采样模块和 边缘细化模块组成； 其中骨干网络为深度残差网络； 骨干网络的输入和 边缘提取模块的输 入共同形成图像分割模型的第一输入； 骨干网络的输出经由上采样模块连接边缘细化模块 的第二输入； 骨干网络的第一阶段输出连接边缘细化模块的第三输入； 边缘提取模块的输 出连接边缘细化模块的又一个输入； 边 缘提取模块的输出 形成图像分割模型的输出； 步骤2、 训练时， 将训练图像送入到步骤1所构建的图像分割模型中进行训练， 得到训练 好的图像分割模型； 在训练过程中， 骨干网络提取图像的深层特征， 骨干网络的第一阶段提 取图像的浅层特征， 边缘提取模块提取图像的边缘热图； 上采样模块对深层特征进行上采 样； 边缘细化模块先利用上采样的深层特征计算类别损失， 利用浅层特征计算分割损失， 利 用边缘热图计算边缘损失， 再将类别损失、 分割损失和边缘损失的加权和作为图像分割模 型的损失函数； 步骤3、 预测时， 将待分割图像送入到步骤2所得到的训练好的图像分割模型中进行预 测， 完成待分割图像的图像分割。 2.根据权利要求1所述的一种基于表征特征的双边缘图像分割方法， 其特征是， 步骤1 中， 边缘细化模块由5个卷积层、 2个像素相乘层、 3个像素相加层、 2个批量标准化层、 以及1 个Sigmoid激活函数层组成； Sigmoid激活函数层的输入形成边缘细化模块的第一输入， 第一像素相乘层的一个输 入形成边 缘细化模块的第二输入， 第一卷积层形成边 缘细化模块的第三输入； 第一Sigmoid激活函数层的输出同时连接第一像素相加层和第二像素相加层的一个输 入； 第一Sigmoid激活函数层的一个输出连接第一像素相 乘层的另一个输入， 第一Sigmoid 激活函数层的另一个输出 连接第二像素相乘层的一个输入； 第一像素相乘层的输出连接第 一像素相加层的另一个输入， 第 一像素相加层的输出连 接第二卷积层的输入， 第二卷积层的输出连接第一批量标准化层的输入， 第一批量标准化 层的输出 连接第三卷积层的输入； 第一卷积层的输出连接第 二像素相乘层的另一个输入， 第 二像素相乘层的输出连接第 二像素相加层的另一个输入， 第二像素相加层的输出连接第四卷积层的输入， 第四卷积层 的输出连接第二批量标准 化层的输入， 第二批量标准 化层的输出 连接第五卷积层的输入； 第三卷积层的输出连接第 三像素相加层的一个输入， 第五卷积层的输出连接第 三像素 相加层的另一个输入， 第三像素相加层的输出 形成边缘细化模块的输出。 3.根据权利要求1所述的一种基于表征特征的双边缘图像分割方法， 其特征是， 步骤1 中， 边缘提取模块由3个高斯卷积层、 2个x方向导数卷积层、 2个y方向导数卷积层、 2个批量 标准化层、 2个像素相加层、 2个ReLU激活函数层、 1个通道拼接层、 以及1个Sigmoid激活函数 层组成； 第一高斯卷积层和第二高斯卷积层的输出 形成边缘提取模块的输入； 第一高斯卷积层的输出连接第三批量标准化层的输入， 第三批量标准化层2个输出分 别连接第一x方向导数卷积层和第一y方向导数卷积层的输入， 第一x方向导数卷积层和第 一y方向导数卷积层的输出分别连接第四像素相加层的2个输入， 第四像素相加层的输出连 接第一ReLU激活函数层的输入， 第一ReLU激活函数层的输出 连接通道拼接层的一个输入；权　利　要　求　书 1/2 页 2 CN 115294334 A 2第二高斯卷积层的输出连接第 四批量标准化层的输入， 第 四批量标准化层2个输出分 别连接第二x方向导数卷积层和第二y方向导数卷积层的输入， 第二x方向导数卷积层和第 二y方向导数卷积层的输出分别连接第五像素相加层的2个输入， 第五像素相加层的输出连 接第二ReLU激活函数层的输入， 第二ReLU激活函数层的输出连接通道拼接层的另一个输 入； 通道拼接层的输出连接第三高斯卷积层的输入， 第三高斯卷积层的输出连接第二 Sigmoid激活函数层的输入， 第二Sigmo id激活函数层的输出 形成边缘提取模块的输出。 4.根据权利要求1所述的一种基于表征特征的双边缘图像分割方法， 其特征是， 步骤1 中， 骨干网络为深度残差网络ResNet5 0。 5.根据权利要求1所述的一种基于表征特征的双边缘图像分割方法， 其特征是， 步骤2 中， 边缘提取模块对输入图像进行随机失活得到边缘热图， 其中随机失活策略为根据不确 定性进行随机失活或根据随机失活率进行随机失活。 6.根据权利要求5所述的一种基于表征特征的双边缘图像分割方法， 其特征是， 步骤2 中 根据不确定性进行随机失活的过程为： ①产生空的掩码向量， 该全零向量的行和列分 别对应输入图像的通道和像素； ②遍历输入图像的每个通道中的每个像素， 若当前通道的 当前像素的像素值大于α且小于β， 则掩码向量中对应位置处的值置1； 否则， 则掩码向量中 对应位置处的值置0， 由此得到的向量即为随机失活掩码； ③将随机失活掩码与输入图像做 点乘， 得到边 缘热图； 其中α 为设定的丢弃阈值下限， β 为设定的丢弃阈值上限； 根据随机失活率进行随机失活的过程为： ①先产生随机产生长度为W ×H的线性随机数 数列， 其取值范围是[0,1， 再将其转变为宽度是W高度是H的掩码张量； ②将掩码张量中像素 值小于等于δ 的部分置0， 将大于δ 的部分置1后， 将其进行维度扩张至与输入图像的维度相 同， 即在维度通道上复制C份， 由此得到随机失活掩码； ③将随机失活掩码与输入图像做点 乘， 得到边 缘热图； 其中δ 为设定的随机失活率， W,H,C分别输入图像的长度,宽度,深度。权　利　要　求　书 2/2 页 3 CN 115294334 A 3