(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210996006.3 (22)申请日 2022.08.18 (71)申请人 阿里巴巴 （中国） 有限公司 地址 311121 浙江省杭州市余杭区五常街 道文一西路969号3幢5层5 54室 (72)发明人 刘巍然　彭立　王嘉义　张磊　 (74)专利代理 机构 北京同钧律师事务所 16 037 专利代理师 柴海平　许怀远 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 21/62(2013.01) (54)发明名称 基于分割神经网络的联邦学习及预测的系 统、 方法和设备 (57)摘要 本申请提供一种基于分割神经网络的联邦 学习及预测的系统、 方法和设备。 本申请的方法， 通过在第一端向第二端发送中间参数之前， 由第 一端对中间参数进行差分隐私处理引入噪声， 以 增强中间参数的安全性和隐私性， 并且在第一端 或第二端增加降噪处理过程， 对 经过差分隐私处 理的中间参数进行降噪处理， 以减少中间参数中 的噪声， 基于降噪处理后的中间参数进行后续的 联邦学习， 能够在保护数据隐私的同时， 大大提 高联合学习的训练准确性， 从而提高模型的准确 度。 权利要求书3页 说明书17页 附图8页 CN 115204374 A 2022.10.18 CN 115204374 A 1.一种基于分割神经网络的联邦学习方法， 其特征在于， 所述联邦学习的参与方包括 第一端和第二端， 所述第一端和第二端中的一端为客户端另一端为服务端， 所述分割神经 网络被拆分为第一子网络和第二子网络两部分， 第一子网络部署在第一端， 第二子网络部 署在第二端， 所述方法包括： 在分割神经网络的联邦学习过程中， 第 一端在向第 二端发送通过第 一子网络生成的中 间参数之前， 对所述中间参数进行差分隐私处 理， 得到包 含噪声的中间参数； 对所述包含噪声的中间参数进行降噪处理， 将降噪处理后的中间参数发送给第二端， 以使第二端根据所述降噪处 理后的中间参数基于第二子网络进行后续的联邦学习。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述包含噪声的中间参数进行降噪 处理， 包括： 采用随机掩盖的方法， 对所述包 含噪声的中间参数进行降噪处 理； 或者， 对所述包 含噪声的中间参数进行缩小处 理。 3.一种基于分割神经网络的联邦学习方法， 其特征在于， 所述联邦学习的参与方包括 第一端和第二端， 所述第一端和第二端中的一端为客户端另一端为服务端， 所述分割神经 网络被拆分为第一子网络和第二子网络两部分， 第一子网络部署在第一端， 第二子网络部 署在第二端， 所述方法包括： 在基于分割神经网络的联邦学习过程中， 第 二端接收第 一端发送的经过差分隐私处理 的中间参数， 其中经过差分隐私处理的中间参数是第一端对通过第一子网络生成的中间参 数进行差分隐私处 理后得到的； 第二端对所述经 过差分隐私处 理的中间参数进行降噪处 理； 第二端利用降噪处 理后的中间参数基于第二子网络进行后续的联邦学习。 4.根据权利要求3所述的方法， 其特 征在于， 还 包括： 在需要向第一端发送中间参数时， 第二端对待发送的中间参数进行差分隐私处理， 将 经过差分隐私处 理后的中间参数发送至第一端。 5.根据权利要求3或4所述的方法， 其特征在于， 所述对所述经过差分隐私处理的中间 参数进行降噪处 理， 包括： 采用随机掩盖的方法， 对所述经 过差分隐私处 理的中间参数进行降噪处 理； 或者， 对所述经 过差分隐私处 理的中间参数进行缩小处 理。 6.一种基于分割神经网络的联邦学习系统， 其特征在于， 包括： 参与 联邦学习的第 一端 和第二端， 所述第一端和第二端中的一端为客户端另一端为服务端， 所述分割神经网络被 拆分为第一子网络和第二子网络两部分， 第一子网络部署在第一端， 第二子网络部署在第 二端， 在分割神经网络的联邦学习过程中， 第一端通过第一子网络生成中间参数， 对中间参 数进行差分隐私处 理， 得到包 含噪声的中间参数； 第一端对所述包含噪声的中间参数进行降噪处理， 将降噪处理后的中间参数发送给第 二端； 第二端根据第一端发送的经过降噪处理后的中间参数基于第二子网络进行后续的联权　利　要　求　书 1/3 页 2 CN 115204374 A 2邦学习。 7.一种基于分割神经网络的联邦学习系统， 其特征在于， 包括： 参与 联邦学习的第 一端 和第二端， 所述第一端和第二端中的一端为客户端另一端为服务端， 所述分割神经网络被 拆分为第一子网络和第二子网络两部分， 第一子网络部署在第一端， 第二子网络部署在第 二端， 在分割神经网络的联邦学习过程中， 第一端通过第一子网络生成中间参数， 对生成的 中间参数进行差分隐私处 理， 并将经 过差分隐私处 理的中间参数发送至第二端； 第二端对所述经过差分隐私处理的中间参数进行降噪处理， 并利用降噪处理后的中间 参数基于第二子网络进行后续的联邦学习。 8.一种基于分割神经网络的预测系统， 其特征在于， 包括： 参与联邦学习的客户端和服 务端， 所述分割神经网络被拆分为存储于客户端的第三子网络和存储于服务端的第四子网 络两部分， 响应于对目标对象的预测任务， 客户端将目标对象的数据 特征输入本地的第 三子网络 进行前向传播计算， 将得到的中间参数进 行差分隐私处理， 得到包含噪声的中间参数， 并对 所述包含噪声的中间参数进行降噪处 理， 将降噪处 理后的中间参数发送至服 务端； 服务端将客户端发送的经降噪处理后的中间参数输入第四子网络进行前向传播计算， 得到预测结果。 9.一种基于分割神经网络的预测系统， 其特征在于， 包括： 参与联邦学习的客户端和服 务端， 所述分割神经网络被拆分为存储于客户端的第三子网络和存储于服务端的第四子网 络两部分， 响应于对目标对象的预测任务， 客户端将目标对象的数据 特征输入本地的第 三子网络 进行前向传播计算， 将得到的中间参数进 行差分隐私处理， 得到包含噪声的中间参数， 并将 包含噪声的中间参数发送至服 务端； 服务端对所述包含噪声的中间参数进行降噪处理， 并将降噪处理后的中间参数输入第 四子网络进行 前向传播计算， 得到预测结果。 10.一种基于分割神经网络的联邦学习 装置， 其特征在于， 所述联邦学习的参与方包括 第一端和第二端， 所述第一端和第二端中的一端为客户端另一端为服务端， 所述分割神经 网络被拆分为第一子网络和第二子网络两部分， 第一子网络部署在第一端， 第二子网络部 署在第二端， 所述装置包括： 差分隐私保护模块， 用于在分割神经网络的联邦学习过程中， 第一端在 向第二端发送 通过第一子网络生成的中间参数之前， 对所述中间参数进行差分隐私处理， 得到包含 噪声 的中间参数； 降噪模块， 用于对所述包含噪声的中间参数进行降噪处理， 将降噪处理后的中间参数 发送给第二端， 以使第二端根据所述降噪处理后的中间参数基于第二子网络进行后续的联 邦学习。 11.一种基于分割神经网络的联邦学习 装置， 其特征在于， 所述联邦学习的参与方包括 第一端和第二端， 所述第一端和第二端中的一端为客户端另一端为服务端， 所述分割神经 网络被拆分为第一子网络和第二子网络两部分， 第一子网络部署在第一端， 第二子网络部 署在第二端， 所述装置包括：权　利　要　求　书 2/3 页 3 CN 115204374 A 3