(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210895992.3 (22)申请日 2022.07.28 (65)同一申请的已公布的文献号 申请公布号 CN 115098885 A (43)申请公布日 2022.09.23 (73)专利权人 清华大学 地址 100084 北京市海淀区双清路3 0号清 华大学清华园北京 100084-82信箱 (72)发明人 刘洋　刘洋　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 耿琦 (51)Int.Cl. G06F 21/62(2013.01) G06F 16/2457(2019.01)G06F 16/2458(2019.01) (56)对比文件 CN 113609521 A,2021.1 1.05 CN 112766455 A,2021.0 5.07 CN 112862011 A,2021.0 5.28 CN 112862011 A,2021.0 5.28 CN 111325322 A,2020.0 6.23 US 2021209515 A1,2021.07.08 CN 114626550 A,2022.06.14 审查员 王平 (54)发明名称 数据处理方法、 系统及电子设备 (57)摘要 本发明属于计算机应用技术领域， 提供一种 数据处理方法、 系统及电子设备， 应用于数据处 理系统中的客户端设备， 各客户端设备与服务端 连接， 用于基于服务端模型对客户端设备中的客 户端模型进行协 同训练， 方法包括： 基于获取的 数据样本对客户端模型进行第一训练过程； 获取 第一训练过程中客户端模型中的第一和第二目 标特征； 将第一目标特征用于对服务端模型进行 训练； 接收服务端发送的服务端模 型中的第三目 标特征； 基于第二和第三目标特征对客户端模型 进行第二训练过程。 用以解决现有技术中在基于 服务端模型对客户端模型进行训练时， 模型参数 在模型间传输容易造成数据隐私泄露的缺陷， 实 现在服务端模型对客户端模型的协同训练时数 据隐私的保护。 权利要求书3页 说明书14页 附图5页 CN 115098885 B 2022.11.04 CN 115098885 B 1.一种数据处理方法， 其特征在于， 应用于数据处理系统中的每个客户端设备， 各所述 客户端设备与服务端连接， 所述服务端用于基于服务端模型对所述客户端设备中的客户端 模型进行协同训练， 所述方法包括： 获取数据样本； 基于所述数据样本， 对客户端模型进行第一训练过程； 获取所述第 一训练过程中， 所述客户端模型中的提取层的第 一目标特征和分类层的第 二目标特征； 将所述第一目标特征发送至所述服务端， 所述第 一目标特征用于对服务端模型进行训 练； 接收所述 服务端发送的所述 服务端模型中的分类层的第三目标 特征； 基于所述第二目标 特征和所述第三目标 特征， 对所述 客户端模型进行第二训练过程。 2.根据权利要求1的数据处理方法， 其特征在于， 所述获取所述第一训练过程中， 所述 客户端模型中的提取层的第一目标 特征和分类层的第二目标 特征， 包括： 在所述提取层对所述数据样本进行特征提取， 得到所述数据样本的特征序列feature   maps， 作为所述第一目标 特征； 在所述分类层对所述第一目标特征进行分类， 得到客户端logits向量， 作为所述第二 目标特征。 3.根据权利要求1或2的数据处 理方法， 其特 征在于， 所述获取 数据样本， 包括： 获取在当前时间戳下的所述数据样本； 所述将所述第 一目标特征发送至所述服务端， 所述第 一目标特征用于对服务端模型进 行训练， 包括： 将所述第一目标特征发送至所述服务端， 所述第 一目标特征用于对基于伪特征训练得 到的所述服务端模型进行训练； 所述伪特征通过预设的生成模型对在所述当前时间戳前的 所有时间戳得到的第一目标 特征的重构得到 。 4.根据权利要求3的数据处理方法， 其特征在于， 所述基于所述数据样本， 对客户端模 型进行第一训练过程后， 还 包括： 获取所述数据样本对应的预定义标签； 将所述预定义标签发送至所述服务端， 所述预定义标签与所述服务端内的混合特征用 于对所述 生成模型进行训练； 所述混合特 征通过将所述伪特 征和所述第一目标 特征混合得到 。 5.根据权利要求1的数据处理方法， 其特征在于， 所述基于所述第 二目标特征和所述第 三目标特征， 对所述 客户端模型进行第二训练过程， 包括： 基于所述第三目标 特征对所述第二目标 特征进行知识蒸馏。 6.一种数据处 理方法， 其特 征在于， 包括： 获取待处 理数据； 将所述待处 理数据输入客户端模型， 输出对所述待处 理数据的处 理结果； 其中， 所述客户端模型应用于数据处理系统中的每个客户端设备， 各所述客户端设备 与服务端连接， 所述服务端用于基于服务端模型对所述客户端设备中的客户端模型进 行协 同训练， 所述 客户端模型通过以下 方法训练得到：权　利　要　求　书 1/3 页 2 CN 115098885 B 2获取数据样本； 基于所述数据样本， 对客户端模型进行第一训练过程； 获取所述第 一训练过程中， 所述客户端模型中的提取层的第 一目标特征和分类层的第 二目标特征； 将所述第一目标特征发送至所述服务端， 所述第 一目标特征用于对服务端模型进行训 练； 接收所述 服务端发送的所述 服务端模型中的分类层的第三目标 特征； 基于所述第二目标 特征和所述第三目标 特征， 对所述 客户端模型进行第二训练过程。 7.一种数据处理方法， 其特征在于， 应用于数据处理系统中的服务端， 所述服务端与 各 客户端设备分别连接， 用于基于服务端模型对所述客户端设备中的客户端模型进 行协同训 练， 所述方法包括： 接收客户端设备发送的第 一目标特征， 所述第 一目标特征为所述客户端模型在基于数 据样本进行第一训练过程中， 所述 客户端模型中的提取层产生的特 征； 基于所述第一目标特征， 对服务端模型进行训练， 并获取训练过程中所述服务端模型 中的分类层产生的第三目标 特征； 将所述第三目标特征发送至所述客户端设备， 所述第 三目标特征用于和第 二目标特征 对客户端模型进 行第二训练过程， 所述第二目标特征为所述客户端模型在基于所述数据样 本进行所述第一训练过程中， 所述 客户端模型中的分类层产生的特 征。 8.根据权利要求7的数据处理方法， 其特征在于， 所述接收客户端设备发送的第 一目标 特征， 包括： 接收客户端设备发送的所述客户端模型基于在当前时间戳下获取的数据样本进行第 一训练过程中产生的第一目标 特征； 所述基于所述第一目标 特征， 对服务端模型进行训练前， 还 包括： 获取伪特征， 所述伪特征通过预设的生成模型对在所述当前时间戳前的所有时间戳得 到的第一目标 特征的重构得到； 基于所述伪特 征， 对服务端模型进行训练。 9.根据权利要求8的数据处理方法， 其特征在于， 所述将所述第 三目标特征发送至所述 客户端设备后， 还 包括： 接收所述 客户端设备发送的所述数据样本对应的预定义标签； 将由所述 客户端设备接收的所述第一目标 特征和所述伪特 征混合， 得到混合特 征； 基于所述混合特 征和所述预定义标签， 对所述 生成模型进行调整。 10.一种数据处理系统， 其特征在于， 应用于数据处理系统中的每个客户端设备， 各所 述客户端设备与服务端连接， 所述服务端用于基于服务端模型对所述客户端设备中的客户 端模型进行协同训练， 所述系统包括： 客户端获取模块， 用于获取 数据样本， 所述数据样本中包 含隐私数据； 第一客户端训练模块， 用于基于所述数据样本， 对客户端模型进行第一训练过程； 客户端提取模块， 用于获取所述第一训练过程中， 所述客户端模型中的提取层的第一 目标特征和分类层的第二目标 特征； 客户端发送模块， 用于将所述第一目标特征发送至所述服务端， 所述第一目标特征用权　利　要　求　书 2/3 页 3 CN 115098885 B 3