(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210882955.9 (22)申请日 2022.07.26 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 武汉大学 (72)发明人 吴黎兵　张壮壮　曹书琴　王敏　 张瑞　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 罗飞 (51)Int.Cl. G06F 21/62(2013.01) G06F 16/242(2019.01) G06N 20/20(2019.01) (54)发明名称 一种分组可验证的链式隐私保护联邦学习 方法及装置 (57)摘要 本发明公开了一种分组可验证的链式隐私 保护联邦 学习方法及装置， 首先提出了一种分组 的链式学习机制来保证用户在训练阶段的隐私， 然后提出了一个可验证的安全聚合协议来保证 全局模型的可验证性。 具体来说， 本发明首先将 用户分成不同组进行模型训练， 并每组将训练结 果和验证标签上传到聚合服务器； 然后聚合服务 器对训练结果和验证标签进行聚合， 并返回聚合 结果即全局模 型； 最后用户对聚合后的标签进行 验证， 在验证通过后接受该聚合结果。 本发明在 不引入复杂密码学原语的基础下通过分组的链 式学习机制保证了客户端的隐私， 并通过可验证 的聚合协议实现了聚合结果的可验证性， 计算开 销较低， 可解决资源受限场景下的联邦学习需 求。 权利要求书3页 说明书8页 附图2页 CN 115168902 A 2022.10.11 CN 115168902 A 1.一种分组可验证的链式隐私保护联邦学习方法， 其特 征在于， 包括： S1： 服务器将全局模型参数发送给 联邦学习用户； S2： 联邦学习用户将服务器发送 的全局模型参数作为局部初始模型参数， 并在本地数 据基础上进行训练， 获取新的局部模型参数； S3： 不同组的联邦学习用户基于新的局部模型参数和服务器发送的随机数进行局部模 型的链式聚合； S4： 通过每一组中的最后一位联邦学习用户将局部模型聚合结果以及正确性验证标签 发送给服 务器； S5： 服务器对不同组的联邦学习用户发送的局部模型聚合结果以及正确性验证标签进 行聚合， 得到新的全局模型参数和全局验证标签， 并发送至联邦学习用户； S6： 联邦学习用户根据接收的全局验证标签验证新的全局模型参数的正确性。 2.如权利要求1所述的分组可验证的链式隐私保护联邦学习方法， 其特征在于， 步骤S1 包括： S1.1： 联邦学习用户以分组的方式接入联邦学习训练网络， 每组用户间采用链式结构 进行连接； S1.2： 服务器将全局模型参数到各个联邦学习用户， 并将利用伪随机数生成器生成的 随机数δr发送给每组的第一个联邦学习用户和最后一个联邦学习用户， 其中r表示当前处 于第r轮迭代。 3.如权利要求1所述的分组可验证的链式隐私保护联邦学习方法， 其特征在于， 步骤S2 包括： S2.1： 每个联邦学习用户将接收到的全局模型参数作为局部初始模型参数， 并利用局 部初始模型参数和本地数据集计算梯度， 计算公式为 其中， D(i)表示联邦 学习用户Pi的本地数据集， Wr表示全局模型参数， gi表示Pi在数据集上D(i)训练得到的梯度， 表示计算梯度； S2.2： 每个联邦学习用户计算新的局部模型参数， wir＝Wr‑ηgi， 其中η为学习速率， wir为 第r轮迭代中得到的新的局部模型参数。 4.如权利要求1所述的分组可验证的链式隐私保护联邦学习方法， 其特征在于， 步骤S3 包括： S3.1： 每组中的首个联邦学习用户通过公式进行计算θ1r＝w1r+δr， 获得对应的盲化后的 局部模型参数θ1r， 并将θ1r发送到下一个用户， 其中δr为服务器给每组用户的首个用户和最 后一个用户下发的随机数， 用来保护首个用户的隐私， w1r为r轮首个联邦学习用户训练出的 新的局部模型参数； S3.2： 每组中除了首个联邦学习用户和最后一个联邦学习用户之外的其他联邦学习用 户， 根据公式θir＝wir+θi‑1r进行计算， 获得与该用户对应的盲化局部模型参数θir， 并将θir传 递给后续用户， 其中r表示当前处于第r轮迭代， θi‑1r表示第i‑1个用户得到的盲化后的局部 模型参数， wir为第r轮迭代中第i个用户训练出的新的局部模型参数； S3.3： 每组中的最后一个联邦学习用户根据θlr＝wlr+θl‑1r计算得到经过盲化的局部聚 合模型参数θlr， 并根据θgr＝θlr‑δr计算当前用户组的局部聚合模型参数θgr， 将θgr作为当前权　利　要　求　书 1/3 页 2 CN 115168902 A 2用户组的局部模型聚合结果， 其中， g表示 最后一个联邦学习用户在链式结构中的编号。 5.如权利要求1所述的分组可验证的链式隐私保护联邦学习方法， 其特征在于， 步骤S4 包括： S4.1： 联邦学习用户通过 计算得到用户组Gi的聚合结果正确性验证标 签 其中k和b为服务器不可知的随机向量， j表示当前第j组用户， 为第r轮迭代中第j 组用户得到的局部模型聚合结果； S4.2： 联邦学习用户将 和 一起上传到服 务器中。 6.如权利要求1所述的分组可验证的链式隐私保护联邦学习方法， 其特征在于， 步骤S5 包括： S5.1： 服务器计算 获得第r轮迭代后的全局模型模型参数Wr+1， 其中n为 参与联邦学习训练的用户的数量， m为用户组的数量， 为第r轮迭代中第j组用户的局部 聚合模型参数， 为第r轮迭代中第j组用户的局部模型聚合结果； S5.2： 聚合服务器计算 获得第r轮迭代后的全局验证标签σr+1,并将其 发送给联邦学习用户。 7.如权利要求1所述的分组可验证的链式隐私保护联邦学习方法， 其特征在于， 步骤S6 包括： 联邦学习用户判断 是否成立， 若成立， 则表示当前收到的新的全局 模型参数 是正确的， 否则， 舍弃接收到的新的全局模型参数， 其中m为用户组的数量。 8.一种分组可验证的链式隐私保护联邦学习装置， 其特 征在于， 包括： 全局模型参数同步模块， 用于通过服 务器将全局模型参数发送给 联邦学习用户； 本地训练模块， 用于通过联邦学习用户将服务器发送的全局模型参数作为局部初始模 型参数， 并在本地数据基础上进行训练， 获取新的局部模型参数； 局部聚合模块， 用于通过不同组的联邦学习用户基于新的局部模型参数和服务器发送 的随机数进行局部模型的链式聚合； 聚合结果发送模块， 用于通过每一组中的最后 一位联邦学习用户将局部模型聚合结果 以及正确性验证标签发送给服 务器； 全局聚合模块， 用于通过服务器对不同组 的联邦学习用户发送的局部模型聚合结果以 及正确性验证标签进行聚合， 得到新的全局模型参数和全局验证标签， 并发送至联邦学习 用户； 验证模块， 用于通过联邦学习用户根据接收的全局验证标签验证新的全局模型参数的 正确性。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被执行时实 现如权利要求1至7中任一项权利要求所述的方法。 10.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7中任一项权利要权　利　要　求　书 2/3 页 3 CN 115168902 A 3