(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210840986.8 (22)申请日 2022.07.18 (71)申请人 上海阵方科技有限公司 地址 200232 上海市徐汇区丰 谷路315弄24 号1-3层 (72)发明人 刘辉　 (74)专利代理 机构 南昌金轩知识产权代理有限 公司 36129 专利代理师 高娜 (51)Int.Cl. G06F 21/62(2013.01) G06F 9/445(2018.01) G06K 9/62(2022.01) G06N 5/04(2006.01) (54)发明名称 一种基于TensorFlow Serving的隐私计算 推理服务方法 (57)摘要 本发明适用于信息安全技术领域， 提供了一 种基于TensorFlow  Serving的隐私计算推理服 务方法， 包括； 步骤1： 模型训练， 将训练好的模型 分片， 并分配到不同节点中； 步骤2： 模型 发布， 在 模型发布的时候， 由元数据记录保存的隐形模型 放在哪些节点， 所属任务， 训练时间， 验证集 metrics， 还有发布的服务名称及描 述， 服务的输 入与输出接口描述信息； 步骤3： 目录生成， 通过 文件系统插件把一个个分布在不同节点上的位 置在逻辑上构成一个 “目录”。 通过同一个模型分 布在不同组织的不同的机器上， 以及完成客户请 求所需的计算通常也是联合多方来完成的方式 来保障数据的安全性。 权利要求书2页 说明书7页 附图3页 CN 115186297 A 2022.10.14 CN 115186297 A 1.一种基于TensorFl ow Serving的隐私计算推理服 务方法， 其特 征在于， 包括； 步骤1： 模型训练， 将训练好的模型分片， 并分配到不同节点中； 步骤2： 模型发布， 在模型发布的时候， 由元数据记录保存的隐形模型放在哪些节点， 所 属任务， 训练时间， 验证集metr ics， 还有发布的服务名称及 描述， 服务的输入与输出接口描 述信息； 步骤3： 目录生成， 通过文件系统插件把一个个分布在不同节点上的位置在逻辑上构 成 一个“目录”； 步骤4： 将同一目标而训练的不同版本的模型放在不同的逻辑目录； 步骤5： 通过模型加载器利用文件系统插件Rosetta从文件系统获取信息恢复多方模 型。 2.如权利要求1所述的一种基于TensorFlow  Serving的隐私计算推理服务方法， 其特 征在于， 本方案中所有的计算任务由一个P2P网络上动态选取的某些节点 来完成。 3.如权利要求2所述的一种基于TensorFlow  Serving的隐私计算推理服务方法， 其特 征在于， 本方案中一个隐私计算任务通常有多个数据提供方提供输入， 并且各自的数据不 互通。 4.如权利要求3所述的一种基于TensorFlow  Serving的隐私计算推理服务方法， 其特 征在于， 每个隐私计算的结果会保存的指定的一方或多方， 即变换后的数据和训练出 的新 模型均会保存的指定的一方或多方。 5.如权利要求1所述的一种基于TensorFlow  Serving的隐私计算推理服务方法， 其特 征在于， 所述文件系统插 件包括： 多个组织节点， 每 个组织节点均设置有计算单 元、 储存单元和标识单 元； 计算单元， 所述计算单元设置有多个， 且每个组织节点均有自己独立的计算单元， 用于 提供算力； 储存单元， 所述储存单元设置有多个， 且每个组织节点均有自己独立的储存单元， 用于 储存训练模型； 标识单元， 所述标识单元用于对 同一个任务生成的模型分片提供统一标识， 以便于把 同一个任务产生的模型逻辑上构成一个整体。 6.如权利要求5所述的一种基于TensorFlow  Serving的隐私计算推理服务方法， 其特 征在于， 所述文件系统插 件中一个隐私计算任务完成后， 任务输出 结果存于多方。 7.如权利要求6所述的一种基于TensorFlow  Serving的隐私计算推理服务方法， 其特 征在于， 每 个组织节点的储 存模块中均储 存有模型恢复restore程序。 8.如权利要求7所述的一种基于TensorFlow  Serving的隐私计算推理服务方法， 其特 征在于， 每 个组织节点的储 存模块中均储 存停止驱动释放deactivate程序。 9.如权利要求8所述的一种基于TensorFlow  Serving的隐私计算推理服务方法， 其特 征在于， 所述加载器包括： Manager指令接收单元， 所述Manager指令接收单元用于接收Manager指令接收单元发 出的指令信息， 并识别指令信息为 load或者un load； Loder加载单元， 所述Loder加载单元用于调文件系统插件以实现恢复模型； 所述Loder 加载单元包括：权　利　要　求　书 1/2 页 2 CN 115186297 A 2调用单元， 所述restore调用单 元用于调用所述文件系统插 件中的程序以重建模型。 10.如权利要求9所述的一种基于TensorFlow  Serving的隐私计算推理服务方法， 所述 调用单元用于调用所述文件系统插件中的restore程序和所述文件系统插件中的 deactivate程序。权　利　要　求　书 2/2 页 3 CN 115186297 A 3