(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210813662.5 (22)申请日 2022.07.11 (71)申请人 绿盟科技 集团股份有限公司 地址 100089 北京市海淀区北洼路4 号益泰 大厦5层 申请人 北京神州绿盟科技有限公司 (72)发明人 高翔　刘文懋　陈磊　王真　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 金银花 (51)Int.Cl. G06N 20/20(2019.01) G06F 21/60(2013.01) G06F 21/62(2013.01) (54)发明名称 一种异常模型的检测方法、 装置及电子设备 (57)摘要 本申请公开了一种异常模型的检测方法、 装 置及电子设备， 用以避免联邦 学习中通过服务器 检测异常模 型的方法中存在的安全风险。 该方法 包括： 接收服务器发送的联合模型； 其中， 所述联 合模型为所述服务器针对不同模型提供方所提 供的不同的本地模型进行聚合得到； 确定所述联 合模型输出的第一检测结果与预设标签之间的 第一误差， 以及当前本地模型输出的第二检测结 果与所述预设标签 之间的第二误差； 确定所述第 一误差与所述第二误差之间的差值是否小于异 常阈值； 若是， 则确定所述联合模型安全， 并将所 述当前本地模型更新为所述联合模型； 若否， 则 确定所述联合模型为异常模型。 权利要求书2页 说明书10页 附图4页 CN 115271103 A 2022.11.01 CN 115271103 A 1.一种异常模型的检测方法， 其特 征在于， 包括： 接收服务器发送 的联合模型； 其中， 所述联合模型为所述服务器针对不同模型提供方 所提供的不同的本地模型进行聚合得到； 确定所述联合模型输出的第 一检测结果与 预设标签之间的第 一误差， 以及 当前本地模 型输出的第二检测结果与所述预设标签之间的第二误差； 其中， 所述预设标签与本地训练 数据一一对应， 所述第一检测结果为将所述本地训练数据输入所述联合模型得到， 所述第 二检测结果 为将所述本地训练数据输入所述当前本地模型 得到； 确定所述第一 误差与所述第二 误差之间的差值是否小于异常阈值； 若是， 则确定所述联合模型安全， 并将所述当前本地模型更新为所述联合模型； 若否， 则确定所述联合模型异常。 2.如权利要求1所述的方法， 其特 征在于， 所述异常阈值随着训练轮次的增 加而减小。 3.如权利要求1所述的方法， 其特征在于， 所述确定所述联合模型输出的第 一检测结果 与预设标签之 间的第一误差， 以及当前本地模 型输出的第二检测结果与所述预设标签之间 的第二误差， 包括： 确定对应于所述联合模型的全局损失函数， 以及对应于所述当前本地模型的本地损失 函数； 将所述本地训练数据输入所述联合模型， 得到第一检测结果； 并将所述本地训练数据 输入所述当前本地模型， 得到第二检测结果； 基于所述第一检测结果， 确定指示所述第一误差的全局损 失函数值； 基于所述第二检 测结果， 确定指示所述第二 误差的本地损失函数值。 4.如权利要求1所述的方法， 其特征在于， 所述接收服务器发送的联合模型之前， 还包 括： 将所述本地训练数据输入初始本地模型， 得到初始检测结果； 确定所述初始检测结果与所述预设标签之间的本地 误差； 基于梯度下降法和所述本地 误差， 更新所述初始本地模型， 得到所述当前本地模型； 针对所述当前本地模型进行加密， 得到指示加密模型的加密模型参数； 将所述加密模型参数发送至服务器， 以使所述服务器基于所述加密模型参数生成所述 联合模型； 其中， 所述加密模型参数与本地模型一 一对应。 5.如权利要求4所述的方法， 其特征在于， 所述针对所述当前本地模型进行加密， 得到 指示加密模型的加密模型参数， 包括： 接收共享秘钥； 其中， 所述共享秘钥为所述不同本地模型基于秘钥协商协议生成并发 送的秘钥； 基于所述共享秘钥， 针对所述当前本地模型的参数进行加密， 得到所述加密模型参数； 其中， 所述加密模型参数指示所述加密模型。 6.如权利要求2 ‑5任一项所述的方法， 其特征在于， 所述确定所述联合模型安全， 并将 所述当前本地模型 更新为所述联合模型之后， 还 包括： 获取收敛阈值和训练轮次最大阈值； 当所述差值小于收敛阈值， 和/或所述训练轮次等于所述训练轮次最大阈值， 确定所述 联合模型为目标模型；权　利　要　求　书 1/2 页 2 CN 115271103 A 2输出所述目标模型， 并利用所述目标模型检测待检测数据。 7.一种异常模型的检测装置， 其特 征在于， 包括： 联合单元： 用于接收服务器发送的联合模型； 其中， 所述联合模型为所述服务器针对不 同模型提供 方所提供的不同的本地模型进行聚合得到； 误差单元： 用于确定所述联合模型输出的第一检测结果与预设标签之间的第一误差， 以及当前本地模型输出 的第二检测结果与所述预设标签之间的第二误差； 其中， 所述预设 标签与本地训练数据一一对应， 所述第一检测结果为将所述本地训练数据输入所述联合模 型得到， 所述第二检测结果 为将所述本地训练数据输入所述当前本地模型 得到； 阈值单元： 用于确定所述第一 误差与所述第二 误差之间的差值是否小于异常阈值； 确定单元： 用于若是， 则确定所述联合模型安全， 并将所述当前本地模型更新为所述联 合模型； 若否， 则确定所述联合模型异常。 8.如权利要求7所述的装置， 其特征在于， 所述误差单元具体用于确定对应于所述联合 模型的全局损失函数， 以及对应于所述当前本地模型 的本地损失函数； 将所述本地训练数 据输入所述联合模型， 得到第一检测结果； 并将所述本地训练数据输入所述当前本地模型， 得到第二检测结果； 基于所述第一检测结果， 确定指示所述第一误差的全局损失函数值； 基 于所述第二检测结果， 确定指示所述第二 误差的本地损失函数值。 9.一种可读存 储介质， 其特 征在于， 包括， 存储器， 所述存储器用于存储指令， 当所述指令被处理器执行时， 使得包括所述可读存储介质 的装置完成如权利要求1 ‑6中任一项所述的方法。 10.一种电子设备， 其特 征在于， 包括： 存储器， 用于存放计算机程序； 处理器， 用于执行所述存储器上所存放的计算机程序时， 以实现如权利要求1 ‑6中任一 项所述的方法。权　利　要　求　书 2/2 页 3 CN 115271103 A 3