(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211184157.5 (22)申请日 2022.09.27 (71)申请人 南京邮电大 学 地址 214000 江苏省无锡市滨湖区太湖街 道周新苑280 (72)发明人 刘淼　郭亮　夏雨虹　王少鹏　 杨洁　桂冠　 (74)专利代理 机构 无锡市才标专利代理事务所 (普通合伙) 32323 专利代理师 郭金玉 (51)Int.Cl. G06F 30/27(2020.01) G06N 20/00(2019.01) G06Q 10/06(2012.01) G06F 111/16(2020.01) (54)发明名称 个性化联邦学习的训练效率与个性化效果 量化评估方法 (57)摘要 本发明属于个性化联邦学习领域， 尤其是个 性化联邦学习的训练效率与个性化效果量化评 估方法， 包括以下步骤： S1、 创建一个Non ‑IID的 跨域数据集， 作为评测数据集； S2、 选择合适的模 型， 作为个性化联邦学习的初始全局模型； S3、 进 行联邦学习的全局神经网络训练， 聚合出一个收 敛的全局神经网络模型； S4、 各个客户端利用本 地的数据集对 下发的全局模型进行优化， 收敛并 形成个性化的本地神经网络模型； 本发明充分考 虑了跨域异质 的场景， 实现了模型的个性化功 能， 在现有研究的基础上， 针对个性化联邦学习 训练效率和个性化效果给出定性定量的评价指 标， 为在跨域异质场景下， 为衡量不同个性化联 邦学习算法与架构提供了一种具体方法。 权利要求书3页 说明书6页 附图3页 CN 115544873 A 2022.12.30 CN 115544873 A 1.个性化联邦学习的训练效率与个性化效果量化评估方法， 其特征在于， 包括以下步 骤： S1、 创建一个N on‑IID的跨域数据集， 作为评测数据集； S2、 选择合 适的模型， 作为个性 化联邦学习的初始全局模型； S3、 进行联邦学习的全局 神经网络训练， 聚合出一个收敛的全局 神经网络模型； S4、 各个客户端利用本地的数据集对下发的全局模型进行优化， 收敛并形成个性化的 本地神经网络模型； S5、 进行全局模型训练效率和个性 化效果指标设计。 2.根据权利要求1所述的个性化联邦学习的训练效率与个性化效果量化评估方法， 其 特征在于， 所述S1中， 创建一个N on‑IID的跨域数据集， 作为评测数据集， 具体步骤 包括： 采用跨域数据 集： Office ‑Home数据集， 作 为评测数据 集， 对于该数据 集， 使用原始测试 数据集的一半作为 公共数据集， 其余的作为最终测试数据集， 使用Dir ichlet分布 来模拟各 方之间的异构数据分区， 假设有k个客户端， 根据 pk～DirN( β )进行采样， 并将标签m的比例为 pk,j的样本分配客户端j， 作为本地数据集Dj， 其中Dir(.)代 表狄利克 雷分布， 参数β ＝0.5 。 3.根据权利要求2所述的个性化联邦学习的训练效率与个性化效果量化评估方法， 其 特征在于， 所述S2中， 选择合适的模型， 作为个性化联邦学习的初始全局模型， 具体步骤包 括： 使用ResNet18作为全局模型， 模型由1个卷积层和8个残差块以及1个全连接层组成。 4.根据权利要求3所述的个性化联邦学习的训练效率与个性化效果量化评估方法， 其 特征在于， 所述S 3中， 进行联邦学习的全局神经网络训练， 聚合出一个收敛的全局神经网络 模型， 具体步骤 包括： 步骤4‑1， 服务器随机挑选异质客户端， 并将全局模型参数进行广播； 步骤4‑2， 客户端根据全局模型参数， 利用本地测试数据进行训练， 将所得的本地模型 参数传回服 务器； 步骤4‑3， 服务器聚合这些参数得到下一轮初始参数， 重复步骤4 ‑1， 4‑2， 4‑3直至全局 模型收敛。 5.根据权利要求4所述的个性化联邦学习的训练效率与个性化效果量化评估方法， 其 特征在于， 步骤4 ‑1， 服务器随机挑选一批客户端， 并将全局模型参数进 行广播， 具体步骤包 括： 步骤5‑1， 假设所有客户端达到模型优化拟合状态需要的整体通信次数为T， 对于其中 的第t轮模型 联合训练， t＝1,2, …,T； 步骤5‑2， 确定客户端总数为k， 客户端设备异质， 如手机、 平板、 监控摄像头等， 被选中 的客户端个数为 n， 第k个客户端被选中的概 率为pk； 步骤5‑3， 服务器首先根据概 率pk随机选出一批客户端， 它 们的集合为St； 步骤5‑4， 服务器将当前的参数wt发送给被选中的客户端。 6.根据权利要求5所述的个性化联邦学习的训练效率与个性化效果量化评估方法， 其 特征在于， 客户端根据全局模型参数， 利用本地测试数据进 行训练， 将所得的本地模型参数 传回服务器， 具体步骤 包括：权　利　要　求　书 1/3 页 2 CN 115544873 A 2客户端n收到全局模型信息wt,并利用本地数据集进行训练， 得到本地模型 并将 本地模型参数传递给服 务器。 7.根据权利要求6所述的个性化联邦学习的训练效率与个性化效果量化评估方法， 其 特征在于， 每个客户端将得到的不精确 解传递回服务器， 服务器聚合这些参数得到下一轮 初始参数， 重复步骤4 ‑1， 4‑2， 4‑3直至全局模型收敛， 其具体步骤 包括: 步骤7‑1， 服务器在第t个通信轮次中接收到第k个客户端所提交的本地模型信息 步骤7‑2， 服务器通过 对得到的所有的本地模型参数进行加权平均， 聚 合为全局模型； 步骤7‑3， 重复步骤4 ‑1、 4‑2、 4‑3， 直至全局模型收敛。 8.根据权利要求7所述的个性化联邦学习的训练效率与个性化效果量化评估方法， 其 特征在于， 所述S4中， 各个客户端利用本地的数据集对下发的全局模 型进行优化， 收敛并形 成个性化的本地神经网络模型， 具体步骤 包括： 步骤8‑1， 在第i轮前向计算+反向传播过程的第b批中， 每个客户端k求解步骤6 ‑2中的 最优个性 化问题以获得其个性 化模型； 步骤8‑2， 客户端k利用梯度下降的公式进行本地更新， 具体公式为 其中η是学习率， 是客户端n数据批次为b时本地模型 的梯度。 9.根据权利要求8所述的个性化联邦学习的训练效率与个性化效果量化评估方法， 其 特征在于， 所述S5中， 进行全局模型训练效率和个性 化效果指标设计， 具体步骤 包括： 步骤9‑1， 我们将训练效率Sglobal作为全局模型训练效率指标， 具体定义为集中式训练 时的全局准确率 与训练周期T的加权值即： F1Center是初始全局模型ResNet18使用初始最终测试数据集进行训练时的F1分数 是进行全局训练时， 客户端n 其中， P为测试的精确率， 可定义 为： R为召回率， 可定义 为: TP即True Positive， 真阳性， 指模型 预测为正的正样本； FP， FN为计算错误的结果数， 其中FP即False  Positive， 假阳性， 指被模型预测为正 的 负样本； FN即False  Negative， 假阴性， 指模型 预测为负的正样本； TCenter是联邦全局训练时所需收敛周期；权　利　要　求　书 2/3 页 3 CN 115544873 A 3