(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211507939.8
(22)申请日 2022.11.29
(71)申请人 支付宝 (杭州) 信息技 术有限公司
地址 310000 浙江省杭州市西湖区西溪路
556号8层B段801-1 1
(72)发明人 赵闻飙 吴若凡
(74)专利代理 机构 北京亿腾知识产权代理事务
所(普通合伙) 11309
专利代理师 陈霁 周良玉
(51)Int.Cl.
G06F 21/62(2013.01)
G06N 3/08(2006.01)
(54)发明名称
保护数据隐私的两方联合训练预测模型的
方法及装置
(57)摘要
本说明书实施例提供一种保护数据隐私的
两方联合训练预测模型的方法及装置, 其中第一
方和第二方对应部署预测模型中的序列表征层
和预测层。 所述方法应用于第一方, 包括: 利用序
列表征层处理其持有的用户行为序列, 其中包括
样本用户在T个时刻做出的T个行为, 具体地, 利
用行为表征子层确定T个行为对应的T个行为表
征; 利用注意力子层确定该T个行为表征对应的T
个注意力权重, 并用其对T个行为表征进行加权
求和, 得到原始序列表征; 利用加噪子层对该原
始序列表征添加基于行为个数T而确定的差分隐
私噪声, 得到加噪序列表征; 从第二方接收其基
于该加噪序列表征、 其持有的对应用户行为序列
的序列标签和预测层而确定的针对序列表征层
的训练梯度。
权利要求书3页 说明书9页 附图3页
CN 115544580 A
2022.12.30
CN 115544580 A
1.一种保护数据隐私的两方联合训练预测模型的方法, 其中第 一方和第 二方对应部署
所述预测模型中的序列表征层和预测层; 所述方法应用于所述第一方, 包括:
获取其持有的用户行为序列, 其中包括样本用户在T个时刻做出的T个行为;
利用所述序列表征层处理所述用户行为序列, 具体包括: 利用行为表征子层确定所述T
个行为对应的T个行为表征; 利用注意力子层确定所述T个行为表征对应的T个注意力权重,
并用其对 所述T个行为表征进 行加权求和, 得到原始序列 表征; 利用加噪子层对 所述原始序
列表征添加差分隐私噪声, 得到加噪序列表征, 所述差分隐私噪声的噪声分布基于行为个
数T而确定;
将所述加噪序列表征发送给 所述第二方;
从所述第二方接收针对所述序列表征层的训练梯度, 所述训练梯度由所述第 二方基于
所述加噪序列表征、 其持有的对应所述用户行为序列的序列标签和所述预测层而确定 。
2.根据权利要求1所述的方法, 其中, 所述用户行为序列中包含各个行为的行为特征向
量; 其中, 利用行为表征子层确定所述T个行为对应的T个行为表征, 包括:
获取T个行为特 征向量, 作为所述T个行为表征。
3.根据权利要求1所述的方法, 其中, 所述注意力子层中包括对应所述T个行为表征的
可学习的T个参数向量; 其中, 利用注意力子层确定所述T个行为表征对应的T个注意力权
重, 包括:
针对各个行为表征, 将其与对应的参数向量进行点乘, 并基于所述点乘的结果确定其
对应的注意力分数;
对T个注意力分数进行归一 化处理, 得到所述T个注意力权 重。
4.根据权利要求3所述的方法, 其中, 基于所述点乘的结果确定其对应的注意力分数,
包括:
利用值域非负的激活函数处 理所述点乘的结果, 得到所述注意力分数。
5.根据权利要求1所述的方法, 其中, 利用加噪子层对所述原始序列表征添加差分隐私
噪声, 包括:
基于所述原始序列表征的确定方式, 确定差分隐私机制下的查询敏感度, 所述确定方
式涉及所述行为个数T;
基于所述 查询敏感度确定所述噪声分布, 用于采样所述差分隐私噪声。
6.根据权利要求5所述的方法, 其中, 所述噪声分布为高斯噪声分布; 其中, 基于所述查
询敏感度确定所述噪声分布, 包括:
基于所述 查询敏感度和预设的隐私预算确定所述高斯噪声分布中的噪声方差 。
7.根据权利要求6所述的方法, 其中, 基于所述 查询敏感度确定所述噪声分布, 包括:
以0作为所述高斯噪声分布中的均值。
8.根据权利要求1所述的方法, 其中, 所述原始序列表征为D维; 利用加噪子层对所述原
始序列表征 添加差分隐私噪声, 包括:
对所述噪声分布进行D次随机采样, 得到D个采样噪声, 形成对应所述差分隐私噪声的
噪声向量;
在所述原 始序列表征 上叠加所述噪声向量。
9.根据权利要求1所述的方法, 其中, 在从所述第 二方接收针对所述序列表征层的训练权 利 要 求 书 1/3 页
2
CN 115544580 A
2梯度之后, 所述方法还 包括:
利用所述训练梯度更新所述序列表征层中的模型参数。
10.一种保护数据隐私 的两方联合训练预测模型的方法, 其中第一方和第二方对应部
署所述预测模型中的序列表征层和预测层; 所述方法包括:
所述第一方获取其持有的用户行为序列, 其中包括样本用户在T个时刻做出的T个行
为;
所述第一方利用所述序列表征层处理所述用户行为序列, 具体包括: 利用行为表征子
层确定所述T个行为对应的T个行为表征, 利用注意力子层确定所述T个行为表征对应的T个
注意力权重, 并用其对所述T个行为表征进行加权求和, 得到原始序列表征; 利用加噪子层
对所述原始序列表征添加差分隐私噪声, 得到加噪序列表征, 所述差分隐私噪声的噪声分
布基于行为个数T 而确定;
所述第二方利用从所述第 一方接收的所述加噪序列表征、 其持有的对应所述用户行为
序列的序列标签和所述预测层, 确定针对所述预测层的第二训练梯度和针对所述序列表征
层的第一训练梯度;
所述第二方利用所述第 二训练梯度 更新所述预测层中的模型参数, 并将所述第 一训练
梯度发送给 所述第一方。
11.根据权利要求10所述的方法, 其中, 所述第 二方利用从所述第 一方接收的所述加噪
序列表征、 其持有的对应所述用户行为序列的序列标签和所述预测层, 确定针对所述预测
层的第二训练梯度和针对所述序列表征层的第一训练梯度, 包括:
利用所述预测层处 理所述加噪序列表征, 得到序列预测结果;
利用所述序列预测结果和序列标签, 确定训练损失;
基于所述训练损失, 确定所述第二训练梯度;
基于所述第二训练梯度和所述预测层中的模型参数, 确定所述第一训练梯度。
12.一种保护数据隐私 的两方联合训练预测模型的装置, 其中第一方和第二方对应部
署所述预测模型中的序列表征层和预测层; 所述装置集成于所述第一方, 包括:
序列获取单元, 配置为获取其持有的用户行为序列, 其中包括样本用户在T个时刻做出
的T个行为;
序列处理单元, 配置为利用所述序列表征层处 理所述用户行为序列, 具体包括:
行为表征子单 元, 配置为利用行为表征子层确定所述T个行为对应的T个行为表征;
注意力处理子单元, 配置为利用注意力 子层确定所述T个行为表征对应的T个注意力 权
重, 并用其对所述T个行为表征进行加权求和, 得到原 始序列表征;
加噪子单元, 配置为利用加噪子层对所述原始序列表征添加差分隐私噪声, 得到加噪
序列表征, 所述差分隐私噪声的噪声分布基于行为个数T 而确定;
表征发送单 元, 配置为将所述加噪序列表征发送给 所述第二方;
梯度接收单元, 配置为从所述第二方接收针对所述序列表征层的训练梯度, 所述训练
梯度由所述第二方基于所述加噪序列 表征、 其持有的对应所述用户行为序列的序列标签和
所述预测层而确定 。
13.一种计算机可读存储介质, 其上存储有计算机程序, 其中, 当所述计算机程序在计
算机中执 行时, 令计算机执 行权利要求1 ‑11中任一项所述的方法。权 利 要 求 书 2/3 页
3
CN 115544580 A
3
专利 保护数据隐私的两方联合训练预测模型的方法及装置
文档预览
中文文档
16 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
温馨提示:本文档共16页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 SC 于 2024-02-18 22:24:41上传分享