(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211366374.6 (22)申请日 2022.11.03 (71)申请人 深圳比特微电子科技有限公司 地址 518000 广东省深圳市南 山区高新 南 六道航盛科技大厦801 (72)发明人 涂鹏　艾国　杨作兴　 (74)专利代理 机构 北京德琦知识产权代理有限 公司 11018 专利代理师 张驰　宋志强 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/08(2006.01) (54)发明名称 语义分割模型的训练方法、 识别方法、 装置 和存储介质 (57)摘要 本发明实施方式提出语义分割模型的训练 方法、 识别方法、 装置和存储介质。 方法包括： 确 定有标注的第一训练数据和无标注的第二训练 数据； 基于第一训练数据和第二训练数据， 训练 语义分割模型， 训练过程包括： 基于将第一训练 数据输入语义分割模型所获取的预测值与标注 的差值， 确定第一损失函数值； 基于将第二训练 数据输入语义分割模型所获取的预测值与伪标 签的差值， 确定第二损失函数值， 其中伪标签是 基于第二训练数据的不确定性信息而获取的； 基 于第一损失函数值和第二损失函数值， 确定语义 分割模型的第三损失函数值； 配置语义分割模型 的模型参数， 以使第三损失函数值低于预设阈 值。 基于不确定性信息校正伪标签， 可 以优化模 型的准确率。 权利要求书3页 说明书14页 附图5页 CN 115471662 A 2022.12.13 CN 115471662 A 1.一种语义分割模型的训练方法， 其特 征在于， 包括： 确定有标注的第一训练数据和无 标注的第二训练数据； 基于所述第一训练数据和所述第二训练数据， 训练所述语义分割模型， 其中训练过程 包括： 基于将所述第 一训练数据输入所述语义分割 模型所获取的预测值与 所述标注的差值， 确定所述语义分割模型的第一损失函数值； 基于将所述第 二训练数据输入所述语义分割 模型所获取的预测值与伪标签的差值， 确 定所述语义分割模型的第二损失函数值， 其中所述伪标签是基于所述第二训练数据的不确 定性信息而确定的； 基于所述第 一损失函数值和所述第 二损失函数值， 确定所述语义分割 模型的第 三损失 函数值； 配置所述语义分割模型的模型参数， 以使所述第三损失函数值低于预设阈值。 2.根据权利要求1所述的方法， 其特征在于， 所述语义分割模型包括编码器和解码器， 所述基于将第一训练数据输入语义分割模型所获取的预测值与所述标注的差值， 确定第一 损失函数值包括： 基于所述编码器确定所述第一训练数据的第一特 征向量； 对所述第一特 征向量执 行丢弃处 理； 基于所述解码器对执行丢弃处理的第一特征向量执行语义分割预测以得到第一预测 值； 基于所述第一预测值与所述标注的差值， 确定所述第一损失函数值。 3.根据权利要求1所述的方法， 其特征在于， 所述语义分割模型包括编码器和解码器， 所述基于将第二训练数据输入语义分割模型所获取的预测值与伪标签的差值， 确定第二损 失函数值包括： 确定所述第二训练数据的不确定性信息； 基于所述编码器确定所述第二训练数据的第二特 征向量； 基于所述 解码器对所述第二特 征向量执 行语义分割预测以得到第二预测值； 基于所述 不确定性信息对所述第二预测值进行 校正； 基于校正后的第二预测值 生成所述伪标签； 基于所述编码器确定所述第二训练数据的第三特 征向量； 对所述第三特 征向量执 行丢弃处 理； 基于所述解码器对执行丢弃处理的第三特征向量执行语义分割预测以得到第三预测 值； 基于所述第三预测值与所述伪标签的差值， 确定所述第二损失函数值。 4.根据权利要求3所述的方法， 其特征在于， 所述确定所述第 二训练数据的不确定性信 息包括： 将所述第二训练数据输入到所述语义分割模型中n次， 以得到n个第二预测值； 其中对 于每一次输入： 基于所述编码器确定该次输入的第二训练数据的第二特征向量； 对该次输 入的第二特征向量执行丢弃处理； 基于所述解码 器对执行丢弃 处理的该次输入的第二特征 向量执行语义分割预测以得到该次输入的第二预测值；权　利　要　求　书 1/3 页 2 CN 115471662 A 2确定所述 n个第二预测值的平均值； 确定所述平均值的熵值； 基于所述熵值以及所述 n个第二预测值， 确定所述第二训练数据的不确定性信息 。 5.根据权利要求2 ‑4中任一项所述的方法， 其特 征在于， 所述执 行丢弃处 理包括： 对作为所述丢弃处 理的输入的特 征向量执 行池化处 理， 以得到池化特 征向量； 对所述池化特 征向量包 含的通道维度的预测得分进行排序； 按照从大到小的排序顺序， 从排序结果中确定预定数目的预测得分； 计算所述预定数目的预测得分的求和结果P； 按照从大到小的排序顺序， 从排序结果中确定P个预测得分所对应的P个通道的P个编 号； 在每个编号的空间区域内， 随机 选取预定大小的区域， 将选中区域中的值设置为 零。 6.一种图像识别方法， 其特 征在于， 包括： 利用权利要求1至 5中任一项所述的语义分割模型的训练方法， 训练语义分割模型； 利用所述语义分割模型对待识别图像中的待标注对象进行 标注。 7.一种语义分割模型的训练装置， 其特 征在于， 包括： 确定模块， 用于确定有标注的第一训练数据和无 标注的第二训练数据； 训练模块， 用于基于所述第 一训练数据和所述第 二训练数据， 训练所述语义分割模型， 其中训练过程包括： 基于将所述第 一训练数据输入所述语义分割 模型所获取的预测值与 所述标注的差值， 确定所述语义分割模型的第一损失函数值； 基于将所述第 二训练数据输入所述语义分割 模型所获取的预测值与伪标签的差值， 确 定所述语义分割模型的第二损失函数值， 其中所述伪标签是基于所述第二训练数据的不确 定性信息而确定的； 基于所述第 一损失函数值和所述第 二损失函数值， 确定所述语义分割 模型的第 三损失 函数值； 配置所述语义分割模型的模型参数， 以使所述第三损失函数值低于预设阈值。 8.根据权利要求7 所述的装置， 其特 征在于， 所述语义分割模型包括编码器和解码器； 所述训练模块， 用于基于所述编码器确定所述第一训练数据的第一特征向量； 对所述 第一特征向量执行丢弃 处理； 基于所述解码 器对执行丢弃 处理的第一特征向量执行语义分 割预测以得到第一预测值； 基于所述第一预测 值与所述标注的差值， 确定所述第一损失函 数值。 9.根据权利要求7 所述的装置， 其特 征在于， 所述语义分割模型包括编码器和解码器； 所述训练模块， 用于确定所述第二训练数据的不确定性信息； 基于所述编码器确定所 述第二训练数据的第二特征向量； 基于所述解码 器对所述第二特征向量执行语义分割预测 以得到第二预测值； 基于所述不确定性信息对所述第二预测值进行校正； 基于校正后的第 二预测值生成所述伪标签； 基于所述编码器确定所述第二训练数据的第三特征向量； 对所 述第三特征向量执行丢弃 处理； 基于所述解码器对执行丢弃处理的第三特征向量执行语义 分割预测以得到第三预测值； 基于所述第三预测值与所述伪标签的差值， 确定第二损失函 数值。权　利　要　求　书 2/3 页 3 CN 115471662 A 3