(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210916817.8 (22)申请日 2022.08.01 (71)申请人 浙江大学中原研究院 地址 450000 河南省郑州市高新 技术开发 区长椿路6号7号楼 申请人 浙江大学 (72)发明人 邓水光　秦臻　 (74)专利代理 机构 杭州天勤知识产权代理有限 公司 33224 专利代理师 王琛 (51)Int.Cl. G06N 20/00(2019.01) G06F 21/62(2013.01) G06V 10/764(2022.01) (54)发明名称 一种支持异构模型的自适应个性化联邦学 习方法 (57)摘要 本发明公开了一种支持异构模型的自适应 个性化联邦学习方法， 该方法在支持联邦学习的 各个参与者使用结构不同的模型的基础上， 通过 学习用于模型集成的动态权重和在训练模型参 数的过程中引入针对模型集 成的优化目标， 实现 高准确性的数据异构自适应的个性化联邦学习， 能够在不同程度的数据异构的场景下使参与方 从联邦学习中获益。 本发明自适应个性化联邦学 习方法无需引入新的超参数， 可以便捷地部署在 现有联邦学习系统中； 相较于传统的个性化联邦 学习方法， 本发明具有更强的适应性。 权利要求书2页 说明书5页 附图2页 CN 115271099 A 2022.11.01 CN 115271099 A 1.一种支持异构模型的自适应 个性化联邦学习方法， 包括如下步骤： (1)由中心服 务器初始化全局共享模型的参数； (2)中心服务器将全局共享模型参数下发给联邦学习的各个参与者， 参与者收到全局 共享模型参数后， 利用参数 更新自己持有的全局共享模型； (3)参与者进行自适应力学习以更新私有模型的权 重； (4)参与者利用新获得的私有训练数据基于随机梯度下降算法同时训练私有模型和全 局共享模型； (5)参与者将经 过一轮迭代训练后的全局共享模型参数 上传给中心服 务器； (6)中心服务器收集到足够多的全局共享模型参数后对这些模型参数进行聚合， 得到 新的全局共享模型参数， 进而返回执行步骤(2)将新的全局共享模型参数下发给各个参与 者， 依此循环直至所有模型的损失函数收敛或达 到最大迭代次数。 2.根据权利要求1所述的自适应个性化联邦学习方法， 其特征在于： 所述全局共享模型 由联邦学习的参与者负责训练， 中心服务器负责聚合， 各参与者均持有一份全局共享模型 的拷贝， 该模型一方面在联邦学习训练完成后供各参与者推理时使用， 另一方面则作为各 参与者共享知识的媒介。 3.根据权利要求1所述的自适应个性化联邦学习方法， 其特征在于： 所述私有模型为联 邦学习的参与者各自持有的且结构和参数均不公开的模型， 各参与者持有的私有模型结构 不尽相同。 4.根据权利要求1所述的自适应个性化联邦学习方法， 其特征在于： 所述参与者为联邦 学习系统中的终端设备， 其为了从联邦学习系统中获利即获得更高准确度的模型参数， 向 中心服务器上传模型参数并从中心服 务器上下载聚合后的模型参数。 5.根据权利要求1所述的自适应个性化联邦学习方法， 其特征在于： 所述步骤(3)的具 体实现方式为： 参与者首先从获得的私有训练数据中划分出一小部分作为验证集， 将私有 模型和全局共享模型在验证集上进行推理， 得到私有模型的预测 输出结果ppri和全局共享 模型的预测输出结果psha； 随后参与者通过随机梯度下降法更新私有模型的权重， 更新表达 式如下： 其中： λi为更新前私有模型的权重， λi′为更新后私有模型的权重， η表示学习率， 表 示LCE(paen,y)对 λi求梯度， LCE(paen,y)表示paen与y的交叉熵， paen表示ppri与psha加权平均后的 结果， y为真值标签。 6.根据权利要求1所述的自适应个性化联邦学习方法， 其特征在于： 所述步骤(4)中对 私有模型训练采用的损失函数表达式如下： Lpri＝LCE(ppri,y)+DKL(ppri||psha)+LCE(paen,y) 其中： Lpri为私有模型的损失函数， LCE(ppri,y)表示ppri与y的交叉熵， LCE(paen,y)表示paen 与y的交叉熵， DKL(ppri||psha)表示ppri相对于psha的KL散度， paen表示ppri与psha加权平均后的 结果， y为真值标签， ppri为私有模型的预测输出 结果， psha为全局共享模型的预测输出 结果。 7.根据权利要求1所述的自适应个性化联邦学习方法， 其特征在于： 所述步骤(4)中对 全局共享模型训练采用的损失函数表达式如下：权　利　要　求　书 1/2 页 2 CN 115271099 A 2Lsha＝LCE(psha,y)+DKL(psha||ppri)+LCE(paen,y) 其中： Lsha为全局共享模型的损失函数， LCE(psha,y)表示psha与y的交叉熵， LCE(paen,y)表 示paen与y的交叉熵， DKL(psha||ppri)表示psha相对于ppri的KL散度， paen表示ppri与psha加权平均 后的结果， y为真值标签， ppri为私有模型的预测输出结果， psha为全局共享模型的预测输出 结果。 8.根据权利要求1所述的自适应个性化联邦学习方法， 其特征在于： 所述步骤(6)中在 收集到足够多的全局共享模型参数后， 中心 服务器执行联邦平均算法对这些模型参数进 行 聚合， 随后将聚合后新的全局共享模型参数 下发给各参与者。权　利　要　求　书 2/2 页 3 CN 115271099 A 3