(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211064160.3 (22)申请日 2022.09.01 (71)申请人 成都知道创宇信息技 术有限公司 地址 610000 四川省成 都市高新区中国(四 川)自由贸易试验区天府大道北段28 号C座9楼 (72)发明人 牟波　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 杜杨 (51)Int.Cl. G06V 10/774(2022.01) G06V 20/62(2022.01) G06V 30/19(2022.01) G06V 40/16(2022.01) (54)发明名称 一种模型训练方法、 装置、 电子设备及存储 介质 (57)摘要 本发明的实施例提供了一种模 型训练方法、 装置、 电子设备及存储介质， 方法包括： 通过确定 教师模型和学生模型， 确定初始训练样本数据， 逐步将学生模型中的第二模块将教师模型中的 第一模块进行替换， 每次替换后均进行训练， 得 到新的教师模 型， 直到最新得到的新的教师模型 中的第一模块均被学生模型中的第二模块替换， 得到训练好的目标模型， 实现逐步用学生模型的 模块替换掉教师模型中的模块， 并训练替换模块 后的教师模 型， 从而实现学生模 型学习迁移来自 教师模型的监督信息， 有效降低学生模型学习所 需要的训练数据数量， 减少训练时间并且提高学 生模型的精度。 权利要求书2页 说明书9页 附图4页 CN 115359321 A 2022.11.18 CN 115359321 A 1.一种模型训练方法， 其特 征在于， 所述方法包括： 确定教师模型和学生模型； 确定初始训练样本数据， 其中， 所述初始训练样本数据为训练所述教师模型所使用的 训练样本数据； 将所述教师模型中的部分第 一模块替换为与所述学生模型中对应的第 二模块， 得到更 新后的教师模型， 其中， 所述教师模型包括多个第一模块， 所述学生模型包括多个第二模 块； 基于所述初始训练样本数据对所述更新后的教师模型进行训练， 得到新的教师模型； 返回执行所述将所述教师模型中的部分第一模块替换为与所述学生模型中对应的第 二模块， 得到更新后的教师模型至所述基于所述初始训练样本数据对所述更新后的教师模 型进行训练的步骤， 直到最新得到的新的教师模型中的第一模块均被所述学生模型中的第 二模块替换， 得到训练好的目标模型， 其中， 所述目标模型中的模块为所述学生模型中的第 二模块。 2.根据权利要求1所述的方法， 其特征在于， 所述将所述教师模型中的部分第 一模块替 换为与所述学生模型中对应的第二模块， 得到更新后的教师模型的步骤， 包括： 基于伯努利分布方式， 控制将所述教师模型中的第 一模块替换为与 所述学生模型中对 应的第二模块的替换概 率； 基于所述替换概率， 将所述教师模型中的部分第 一模块替换为与所述学生模型中对应 的第二模块， 得到更新后的教师模型。 3.根据权利要求2所述的方法， 其特 征在于， 所述伯努利分布方式满足以下公式： pd＝min(1, θ(t) )＝min(1,kt＝b)； 其中， b是初始替换率， k是 大于0的系数， t是替换次数。 4.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 将待检测数据输入至所述目标模型， 得到预测数据； 将所述预测数据进行清洗， 得到第一训练数据； 基于所述第一训练数据对所述目标模型进行训练。 5.根据权利要求1所述的方法， 其特征在于， 所述基于所述初始训练样本数据对所述更 新后的教师模型进行训练， 得到新的教师模型的步骤， 包括： 基于交叉熵损失函数， 确定所述初始训练样本数据的真实标签与预测标签的损失； 基于所述损失对所述更新后的教师模型的参数进行调整， 以获得新的教师模型； 返回执行所述基于交叉熵损失函数， 确定所述初始训练样本数据的真实标签与预测标 签的损失至所述基于所述损失对所述更新后的教师模型的参数进 行调整， 以获得新的教师 模型的步骤， 直至 达到预设训练次数， 得到新的教师模型。 6.根据权利要求5所述的方法， 其特 征在于， 所述交叉熵损失函数满足以下公式： L＝‑∑j∈|X|∑c∈C[[zj＝c]·logP(zj＝c∣ xj)]； 其中xj∈X为第j个初始训练样本， X为初始训练样本集合， zj为初始训练样本的真实标 签， c为初始样本的类标签， C为初始训练样本集合的类标签集合， P为初始训练样本的真实 标签与预测标签的概 率差值。 7.根据权利要求4所述的方法， 其特征在于， 所述将所述预测数据进行清洗， 得到第一权　利　要　求　书 1/2 页 2 CN 115359321 A 2训练数据的步骤， 包括： 确定所述预测数据的置信度值； 将置信度小于阈值的第一预测数据进行 人工审核； 接收人工审核后的第一预测数据； 将人工审核后的所述第一预测数据， 作为第一训练数据。 8.一种模型训练装置， 其特 征在于， 所述装置包括： 第一确定模块， 用于确定教师模型和学生模型； 第二确定模块， 用于确定初始训练样本数据， 其中， 所述初始训练样本数据为训练所述 教师模型 所使用的训练样本数据； 替换模块， 用于将所述教师模型中的部分第 一模块替换为与 所述学生模型中对应的第 二模块， 得到更新后的教师模型， 其中， 所述教师模型包括多个第一模块， 所述学生模型包 括多个第二模块； 训练模块， 用于基于所述初始训练样本数据对所述更新后的教师模型进行训练， 得到 新的教师模型； 执行模块， 用于返回执行所述将所述教师模型中的部分第 一模块替换为与 所述学生模 型中对应的第二模块， 得到更新后的教师模型至所述基于所述初始训练样本数据对所述更 新后的教师模型进行训练的步骤， 直到最新得到的新的教师模型中的第一模块均被所述学 生模型中的第二模块替换， 得到训练好的目标模型， 其中， 所述目标模型中的模块为所述学 生模型中的第二模块。 9.一种电子设备， 其特征在于， 包括存储器和 处理器， 所述存储器存储有计算机程序， 所述处理器执行所述计算机程序时实现权利要求1 ‑7任一项所述方法的步骤。 10.一种存储介质， 其上存储有计算机程序， 其特征在于， 该计算机程序被处理器执行 时实现权利要求1 ‑7中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115359321 A 3