(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210798075.3 (22)申请日 2022.07.06 (71)申请人 中国科学院计算 技术研究所 地址 100080 北京市海淀区中关村科 学院 南路6号 (72)发明人 陈益强　何雨婷　杨晓东　于汉超　 (74)专利代理 机构 北京律诚同业知识产权代理 有限公司 1 1006 专利代理师 祁建国　陈思远 (51)Int.Cl. G06F 21/62(2013.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06N 20/00(2019.01) G06Q 10/04(2012.01) (54)发明名称 基于自适应调整权重的数据隐私保护方法 及系统 (57)摘要 本发明提出一种基于自适应调整权重的数 据隐私保护方法和系统， 解决了面向非独立同分 布数据带来的模型性能下 降和收敛速度变慢的 问题， 属于联邦学习应用技术领域。 包括： 在每一 轮联邦通信开始时， 服务器端利用辅助数据集评 估全局模型类别层面的可信 度， 将可信度矩阵和 全局模型参数下发到参与该轮联邦的客户端中； 客户端根据本地私有数据集评估全局模型样本 层面的可信度， 进行知 识蒸馏时利用类别可信度 和样本可信度进行加权， 动态指导本地模型的训 练过程， 并上传更新后的本地模 型参数至服务器 端； 服务器端加权聚合各本地模 型参数更新全局 模型。 权利要求书2页 说明书8页 附图2页 CN 115495771 A 2022.12.20 CN 115495771 A 1.一种基于自适应调整权 重的数据隐私保护方法， 其特 征在于， 包括： 步骤1、 将已标注类别标签的辅助数据集输入全局模型， 得到该全局模型在每类数据 上 的分类精度， 作为类别可信度矩阵； 步骤2、 至少一个客户端从云端获取该全局模型， 该客户端初始化其本地模型， 该客户 端本地具有本地私有数据集， 该本地私有数据集中样本对应有类别标签； 将该本地私有数 据集， 输入该本地模型， 得到本地模型 的输出， 以及分类损失； 并将该本地私有数据集输入 位于该客户端本地的该全局模型， 得到该全局模型 的输出， 以及该本地私有数据中每个样 本的分类精度， 作为样本可信度 矩阵； 根据该样本可信度矩阵和该类别可信度 矩阵， 得到蒸 馏损失； 根据由该分类损失和该蒸馏损失构成的总损失， 训练该本地模型； 将训练完成的该 本地模型的模型参数 上传到该云端； 步骤3、 该云端通过对收到的模型参数进行加权聚合， 得到新模型。 2.如权利要求1所述的基于自适应调整权重的数据隐私保护方法， 其特征在于， 该步骤 3包括： 以该新模型替换该全局模型， 循环执行该步骤1到3， 直到该总损失收敛或达到预设 迭代次数， 全局模型训练更新结束， 保存当前的全局模型作为最 终模型， 并对指 定数据进 行 分类或预测。 3.如权利要求1所述的基于自适应调整权重的数据隐私保护方法， 其特征在于， 该蒸馏 损失 其中 是类别的权重向量， ⊙表示元素相 乘； zg为全局模型的输出， z为本地模型的输出； 权重向量M中k1位置的值 为： M(x)[k1]＝Mmax·[Mclass[k1]Msample(x)‑0.1]+， Msample(x)＝1‑(1‑pg(x)[k2])0.5； 其中样本x属于类别k2， Ak1， k1是类别k1的召回率， Ak， k1表示类别k误预 测为类别k2的概率； pg(x)[k2]表示该全局 模型正确预测样本x的类别为k2的概率， Mmax为蒸 馏损失项的上限值。 4.如权利要求1所述的基于自适应调整权重的数据隐私保护方法， 其特征在于， 该客户 端为医疗机构数据中心或金融机构数据中心， 该新模型用于对输入图像进 行分类或对交易 数据进行风险预测。 5.一种基于自适应调整权 重的数据隐私保护系统， 其特 征在于， 包括： 云端， 用于将已标注类别标签的辅助数据集输入全局模型， 得到该全局模型在每类数 据上的分类精度， 作为类别可信度矩阵； 通过对收到的模型参数进行加权聚合， 得到新模 型； 至少一个客户端， 从该云端获取该全局模型， 该客户端初始化其本地模型， 该客户端本 地具有本地私有数据集， 该本地私有 数据集中样本对应有类别标签； 将该本地私有 数据集， 输入该本地模型， 得到本地模型的输出， 以及分类损失； 并将该本地私有 数据集输入位于该 客户端本地的该全局模型， 得到该全局模型 的输出， 以及该本地私有数据中每个样本的分 类精度， 作为样本可信度矩阵； 根据该样本可信度矩阵和该类别可信度矩阵， 得到蒸馏损权　利　要　求　书 1/2 页 2 CN 115495771 A 2失； 根据由该分类损失和该蒸馏损失构成的总损失， 训练该本地模型； 将训练完成的该本地 模型的模型参数 上传到该云端。 6.如权利要求5所述的基于自适应调整权重的数据隐私保护系统， 其特征在于， 该云端 用于： 以该新模型替换该全局模 型， 保存当前的全局模型作为最 终模型， 并对指 定数据进 行 分类或预测。 7.如权利要求5所述的基于自适应调整权重的数据隐私保护系统， 其特征在于， 该蒸馏 损失 其中 是类别的权重向量， ⊙表示元素相 乘； zg为全局模型的输出， z为本地模型的输出； 权重向量M中k1位置的值 为： M(x)[k1]＝Mmax·[Mclass[k1]Msample(x)‑0.1]+， Msample(x)＝1‑(1‑pg(x)[k2])0.5； 其中样本x属于类别k2， Ak1， k1是类别k1的召回率， Ak， k1表示类别k误 预测 为类别k2的概率； pg(x)[k2]表示该全局模型正确预测样本x的类别为k2的概率， Mmax为蒸馏 损失项的上限值。 8.如权利要求5所述的基于自适应调整权重的数据隐私保护系统， 其特征在于， 该客户 端为医疗机构数据中心或金融机构数据中心， 该新模型用于对输入图像进 行分类或对交易 数据进行风险预测。 9.一种存储介质， 用于存储执行如权利要求1到4所述任意一种基于自适应调整权重的 数据隐私保护方法的程序。 10.一种客户端， 用于权利要求5至8中任意一种基于自适应调整权重的数据隐私保护 系统。权　利　要　求　书 2/2 页 3 CN 115495771 A 3