(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211052864.9 (22)申请日 2022.08.31 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市栖霞区文苑路9 号 (72)发明人 陈思光　蒋永琦　 (74)专利代理 机构 南京禹为知识产权代理事务 所(特殊普通 合伙) 32272 专利代理师 赵荔 (51)Int.Cl. G06F 21/62(2013.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于双重扰动 的联邦学习对抗推理攻击隐 私保护方法 (57)摘要 本发明公开了基于双重扰动的联邦学习对 抗推理攻击隐私保护方法， 包括生成对抗网络设 置分类特征提取器， 并为条件生成对抗网络的设 置与训练； 使用训练好的条件生成生成伪数据， 并将真实数据与伪数据按一定比例混合构造参 与联邦学习训练的伪训练数据； 通过中央服务器 随机初始化全局模型参数， 并通过通信链路向参 与训练的客户端发送当前通信轮次的全局模型 参数， 客户端在私有数据集上训练本地模型； 模 型训练过程中设计一个目标函数来构造扰动矩 阵对全连接层的梯度进行扰动； 然后更新模型参 数； 更新所有来自客户端的模型， 通过中央服务 器根据样 本量的权重进行聚合， 得到下一轮的全 局模型参数。 安全性有保障， 并且几乎不会降低 模型的性能。 权利要求书3页 说明书9页 附图6页 CN 115481431 A 2022.12.16 CN 115481431 A 1.基于双重扰动的联邦学习对抗推理攻击隐私保护方法， 其特 征在于： 包括， 由客户端为条件生成对抗网络设置分类特征提取器， 并为条件生成对抗网络的生成器 设计模糊函数， 客户端在本地数据集上使用两阶段对抗训练机制训练条件生成对抗网络； 使用训练好的条件生成对抗网络为本地数据集中的每一个数据生成伪数据， 并将真实 数据与伪数据按一定比例混合构造参与联邦学习训练的伪训练数据； 通过中央服务器随机初始化全局模型参数， 并通过通信链路 向参与训练 的客户端发送 当前通信轮次的全局模型参数， 客户端在私有数据集上训练本地模型； 模型训练过程中设计一个目标函数来构造扰动矩阵对 全连接层的梯度进行扰动； 根据被扰动的梯度和当前模型参数每个参与的客户端执行随机梯度下降算法更新模 型参数； 更新所有来自客户端的模型， 通过中央服务器根据样本量的权重进行聚合， 得到下一 轮的全局模型参数。 2.如权利要求1所述的基于双重扰动的联邦学习对抗推理攻击隐私保护方法， 其特征 在于： 所述条件生成对抗网络的设置与训练过程包括， 为生成器的目标设置一个模糊项μ(Vr(G(z|yi))‑Ve)2， 其中， μ是模糊项的系数， z是噪 声， yi是标签， 连同Vr来计算生成器G生成的伪图片G(z|yi)的方差， 预设期望方差Ve； 先训练生成器， 固定鉴别器D， 只更新 生成器G； 从先验分布Pz(z)中随机 选取一批噪声z， 将其输入到生成器G构造伪样本G(z|yi)； 将在ImageNet数据集上预训练好的神经网络第一个卷积层作为分类特征提取器F， 提 取真实数据和伪数据的分类特 征。 3.如权利要求2所述的基于双重扰动的联邦学习对抗推理攻击隐私保护方法， 其特征 在于： 所述伪训练数据的生成过程包括， 客户端i所持有的数据集Di中的每一个数据xi， 将其标签yi和随机噪声z输 ′入到训练好 的条件生成网络的生成器中， 生成一个与xi具有相同标签的伪数据xi； 将xi和xi′按一定的比例 λ 混合构造伪训练数据xi″， 通过如下公式表示： xi″＝ λxi+(1‑λ )xi′ 客户端i(i∈{1,2,. ..,K})得到一个由伪训练数据xi″构成的伪训练数据集Di″。 4.如权利要求3所述的基于双重扰动的联邦学习对抗推理攻击隐私保护方法， 其特征 在于： 协同训练开始时， 中央服务器通过通信链路 向参与训练 的客户端发送当前全局模型参 数θt； 从中央服务器接收全局模型θ后， 客户端在自己的数据集D ″上利用分类损失函数训练 本地模型M， 通过如下公式表示： 。 5.如权利要求4所述的基于双重扰动的联邦学习对抗推理攻击隐私保护方法， 其特征 在于： 所述一个目标函数来构造扰动矩阵对全连接层的梯度进行扰动应遵循两个原则， 包 括攻击者推理出的数据和训练数据之 间的差异尽可能大； 攻击者推理出的数据特征表示和 真实数据特 征表示相似。权　利　要　求　书 1/3 页 2 CN 115481431 A 26.如权利要求5所述的基于双重扰动的联邦学习对抗推理攻击隐私保护方法， 其特征 在于： 所述全连接层 梯度的扰动的过程包括， 给出真实数据特征表示f与推理出的数据特征f ′表示相似度的定义:f ′的部分元素值 为零， 其他元素的值等于f对应位置元素的值； f和f ′之间的相似度可以用0元素的数量来衡 量， α 为0元素个数的阈值； 均方误差被用来作为模型的真实输入数据x ″和重建的输入数据 之间相似性的度量。 7.如权利要求6所述的基于双重扰动的联邦学习对抗推理攻击隐私保护方法， 其特征 在于： 所述 客户端模型 更新过程包括， 计算得到被 扰动的全连接层 梯度 每个参与的客户端根据被扰动的梯度、 当前模型参数、 学习率η执行梯度 下降算法更新 模型参数， 公式如下 所示： 其中， θ表示全局模型。 8.如权利要求7所述的基于双重扰动的联邦学习对抗推理攻击隐私保护方法， 其特征 在于： 所述模型聚合过程包括， 本地模型 更新完成后， 客户端将本地模型 更新 通过通信链路发送到中央服 务器； 当收到所有来自客户端的模型更新后， 中央服务器根据样本量的权重进行聚合， 得到 下一轮的全局模型参数θt+1， 具体如下 所示： 服务器将新的全局模型参数θt+1发送给客户端 进行下一轮训练。 9.如权利要求8所述的基于双重扰动的联邦学习对抗推理攻击隐私保护方法， 其特征 在于： 所述条件生成对抗网络的设置与训练过程还 包括， 将每个伪样本的分类特 征F(G(z|yi))输入鉴别器D， 得到 输出： log(1‑D(F(G(z|yi))) 再训练鉴别器， 在此阶段， 固定生成器G， 只 更新鉴别器D， 将真实数据的分类特征F(xi) 和假样本的分类特征F(G(z|yi))分别输入鉴别器对真假样本进行鉴别， 得到两个输出: logD(F(xi)|yi)和log(1‑D(F(G(z|yi))： 交替训练生成器与鉴别器直至条件生成对抗网络模型收敛。 10.如权利要求9所述的基于双重扰动的联邦学习 对抗推理攻击隐私保护方法， 其特征 在于： 所述全连接层 梯度的扰动的过程还 包括， 根据梯度扰动方法遵循的两个原则， 构建了如下的目标函数：权　利　要　求　书 2/3 页 3 CN 115481431 A 3