(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210816716.3 (22)申请日 2022.07.12 (71)申请人 华中农业大 学 地址 430070 湖北省武汉市洪山区狮子山 街1号 (72)发明人 朱容波　李梦瑶　刘浩　 (74)专利代理 机构 湖北武汉 永嘉专利代理有限 公司 42102 专利代理师 刘琰 (51)Int.Cl. G06F 21/62(2013.01) G06N 20/00(2019.01) H04L 9/00(2022.01) H04L 9/40(2022.01) H04L 67/10(2022.01)H04L 67/12(2022.01) (54)发明名称 车联网中基于MePC-F模型的实时强化联邦 学习数据隐私安全方法 (57)摘要 本发明公开了一种车联网中基于MePC ‑F模 型的实时强化联邦学习数据隐私安全方法， 包 括： 构建多个边缘服务器Ei和一个云服务器CS； 边缘服务器Ei从云服务器CS中下载初始 A型梯度 并解密为 随机初始化B型梯度 进 行局部模型训练； 边 缘服务器Ei通过解码函数从 中获取需要保留的部分梯度信息 并 将剩余的梯度信息 经同态加密为 再 通过MePC算法广播发送给其它所有的边缘服务 器Ej； 所有边缘服务器更新共享后的A类梯度信 息分别为 所有边 缘服务器将 上传到 云服务器CS， 云服务器CS通过PreFLa算 法聚合全局参数； 重复以上步骤直到达到终止条件。 本发 明防止了端与端之间的数据泄露， 实现了数据隐 私安全保护， 在防止原始数据泄露的同时减小通 信开销。 权利要求书5页 说明书16页 附图6页 CN 115310121 A 2022.11.08 CN 115310121 A 1.一种车联网中基于MePC ‑F模型的实时强化联邦学习数据隐私安全方法， 其特征在 于， 该方法包括以下步骤： S1、 构建多个边缘服务器Ei和一个云服务器CS； 获取车辆数据 D＝{D1， D2，…， Di}， 边缘服 务器Ei获取对应车辆数据Di； S2、 在第k轮联邦任务中， 边 缘服务器Ei从云服务器CS中下载初始A型梯度 并解密为 随机初始化B型梯度 边缘服务器Ei根据其车辆数据Di的最小化损失函数来计算本 地网络模型训练中的梯度， 边 缘服务器Ei完成T轮本地训练完后的梯度信息记为 S3、 边缘服务器Ei通过解码函数 从 中获取需要保留的部分梯度信息 并将剩余的梯度信息 经同态加密为 再通过MePC算法广播发送给其它所有的边缘 服务器Ej； 边缘服务器Ei根据解码函 数 获取来自其它边缘服务器Ej的对应部分梯度 信息 所有边缘服务器更新共享后的A类梯度信息分别为 i∈ [1， n]， n为边缘服务器的总数； S4、 所有边缘服务器将 上传到云服务器CS， 云服务器CS通过 PreFLa算法聚合全局参数， PreFLa算法通过强化学习获得最大化回报来选择边缘服务器Ei 的最优参数权重比ai， k， 全局梯度参数 根据ai， k进行聚合； 参数的上传和下载过程是并 行的， 所有参数都经 过HE加密； S5、 重复步骤S2 ‑S4， 直到达到终止条件， 云服务器CS计算最终的全局梯度 参数， 下发给 各边缘服务器， 边缘服务器根据多个车辆数据的特征提取， 计算MePC ‑F模型的精确度和最 优损失函数， 得到训练好的MePC ‑F模型， 完成整个训练过程， 实时输出给车联网对应的服 务。 2.根据权利要求1所述的车联网中基于MePC ‑F模型的实时强化联邦学习数据隐私安全 方法， 其特 征在于， 所述 步骤S2中， 本地网络模型训练的具体方法为： 采用深度神经网络DNN模型， DNN通过将不同车辆数据作 为原始输入来执行端到端的特 征学习和分类 器训练， 使用随机梯度下降作为子程序来 最小化每 个本地训练中损失值； Ei在第k轮通信中从云服务器CS下载基础层参数， 即解密前的初 始A型梯度 并解密 为A型梯度 随机初始化B型梯度 其中， k∈[1， K]， K表示联邦任务的总轮数； 若为第一 轮联邦任务， CS随机初始 化 在本地训练之前， Ei通过使用同态加密对 解密为 并 记为 局部模型的损失函数设置如下： L(wi)＝l(wi)+λ(wi， t‑wi， t+1)2 其中， l()表示网络的损失， 第二项是L2正则化项， λ是正则化系数； wi表示局部模型中 的总权重信息， wi， t是局部模型在t时刻的权重信息， wi， t+1是局部模型在t+1时刻的权重信 息； Ei更新Gk并替换模型的权 重参数wi， 通过最小化损失函数继续进行局部模型训练如下：权　利　要　求　书 1/5 页 2 CN 115310121 A 2wi＝wi‑ηGk 其中， η是 学习率， Gk是 和 的总表示， 这里的 随机初始化； 边缘服务器Ei在达到T轮本地训练后， 此时会得到每个局部模型的准确率aCCi， k和 3.根据权利要求1所述的车联网中基于MePC ‑F模型的实时强化联邦学习数据隐私安全 方法， 其特 征在于， 所述 步骤S3中， MePC算法的具体方法为： 第 k 轮 联 邦 任 务 中 ， 所 有 的 边 缘 服 务 器 使 用 M e P C 来 交 换 基 础 层 梯 度 其中， 表示第k轮联邦任务中第n个边缘服务器的A类 加密数据， 表示第k轮联邦任务中第i个边缘服务器的A类加密数据， 表示第k轮联 邦任务中第i个边缘服务器广播发给其他边缘服务器的A类加密数据， 即为 去除 了自己保留的那一份后的加密数据； 为了避免数据被破解的风险， 在每个网络中取随机比例 χ 的 梯度即为 并保持同 一轮联邦的随机比例χ相同， 再将 加密为 在不同轮的联邦任务中， 随机比例χ是 变化的， χ∈[1， 1/n]； 剩下的梯度通过同态加密为 被均分为n ‑1份 的值划分为： 只有 被保留在Ei中， 其它部分和随机参数χ将会以密文的形式广播发送给其它Ej； 通过这种方式， 即使部分传输内容被攻击， 最初的数据 也不会泄露； 共享给其它Ej的梯度信息是 当Ei接收到由其它服 务器发送的数据包 它在本地执 行数据验证。 4.根据权利要求3所述的车联网中基于MePC ‑F模型的实时强化联邦学习数据隐私安全 方法， 其特 征在于， 所述 步骤S3中， 在本地执 行数据验证的具体方法为： 在第k轮联邦任务中， 使用相应的 “乘法”方法进行验证， 每个边缘服务器自己设计两个 解码函数， 如下： 其中， L0是 的长度， L ’是 的长度； 解码函数的下标k， 表示第k轮联邦任务中的 解码函数；权　利　要　求　书 2/5 页 3 CN 115310121 A 3