(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210874478.1 (22)申请日 2022.07.21 (71)申请人 江苏刺掌信息科技有限公司 地址 212009 江苏省镇江市新区经十五路 99号16号楼 A302 (72)发明人 徐焱　王伟　冯琬云　 (51)Int.Cl. G06F 21/62(2013.01) G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 标签差分隐私深度学习的启发式审计体系 与方法 (57)摘要 本发明涉及网络安全与隐私计算领域， 尤其 涉及面向标签差分隐私深度学习的启发式审计 体系与方法。 首先， 生成器G生成相差T对样本标 签的数据集 其次， 黑盒模型M分别使用 数据集D0和D1(T)进行训练， 并得到模型输出f0＝M (D0)和f1＝M(D1(T))。 再然后， 鉴别器D将 拆分为T对相邻数据集 并通过观察黑盒 模型输出 fd， 一次性进行T轮猜谜游戏。 最后统计 器S根据猜谜结果获得结果输出概率， 由此度量 得隐私预算下界εLB。 本发明依据标签差分隐私 的独有特点， 将蒙特卡罗重复实验集成在启发式 审计体系 中， 实现了一次模型训练， 重复猜谜游 戏的目的， 在保证审计效用的同时， 有效的降低 了审计耗时。 权利要求书2页 说明书5页 附图2页 CN 115391815 A 2022.11.25 CN 115391815 A 1.标签差分隐私深度学习的启发式审计方法， 其特 征在于： 包括 步骤1： 生成T ‑相邻数据集 步骤2： 黑盒模型M分别使用数据集D0和D1(T)进行训练， 得到模型输出f0， f1； 步骤3： 在f0， f1中随机选择一个模型输出fd， 并依据fd， 样本对(xi,yi)， (xi,yi′)， 猜测训 练集下标d值， 猜测结果记作d ′， 总计猜测T轮； 步骤4： 根据T轮猜谜结果d和d ′， 统计得FN和FP； 步骤5： 将所 得FN和FP带入公式 得到满足( εTH, δ )‑Label DP的算法真实隐私预算 εP区间为( εLB, εTH)。 2.标签差分隐私深度 学习的启发式审计体系， 其特征在于： 包括四个模块： 生成器G、 模 型训练、 鉴别器D和统计 器S， 每个模块执 行权利要求1中不同的步骤； 生成器G： 负责执 行步骤1， 生成两个相差T对样本标签的数据集 模型训练： 负责执行步骤2， 分别利用数据集D0， D1(T)训练黑盒模型M， 得到模型输出f0， f1； 鉴别器D： 负责执行步骤3， 已知样本对(xi,yi)， (xi,yi′)及模型输出f0， f1， 一次性进行T 轮猜谜游戏； 统计器S： 负责执行步骤4、 5， 根据T轮猜谜结果d和d ′， 统计FN值和FP值， 并由此度量隐 私预算下界εLB， 得到真实隐私预算区间为 εP∈( εLB, εTH)。 3.根据权利要求1所述的标签差分隐私深度 学习的启发式审计方法， 其特征在于： 步骤 3具体为： 在每轮游戏开始前， 从f0和f1中随机选择一个模型输出fd进行猜谜游戏， d表示谜 底， 即训练模型的数据集下标； 而后将样本对(xi,yi′)， (xi,yi′)换算为相邻数据集 并根据Dd、 D1‑d、 fd， 猜测d值是0还是1， 猜测结果记作d ′。 4.根据权利要求3所述的标签差分隐私深度 学习的启发式审计方法， 其特征在于： 步骤 1具体为： 步骤1‑1： 已知一个数据集D0和黑盒模型M， 并将M关于D0的模型函数f0作为标签投毒过 程的先验知识； 步骤1‑2： 随机选择T对目标样本(xi,yi)T进行标签投毒， T值 一般不得小于10 00； 步骤1‑3： 令恶意标签(yi′)T为预测向量f0((xi)T)中概率最小的类， 并令恶意标签(yi′)T 代替标签(yi)T可得数据集D1(T)。 5.根据权利要求1所述的标签差分隐私深度 学习的启发式审计方法， 其特征在于： 步骤 3具体为： 步骤3‑1： 鉴别器D训练基于影子模型的成员推理模型Attacker0， Attacker1作为猜谜判 断依据； Attacker0以D0为影子训练集， D1(T)为影子测试集， Attacker1反之； 假设已知fd和样 本为(x,y)， 则Attackerd可以根据预测向量fd(x)和真实标签y， 可以得到该样本(x,y)属于 数据集Dd的可能性。 步骤3‑2： 鉴别器D根据样本对(xi,yi)， (xi,yi′)及模型输出f0， f1， 一次性进行T轮猜谜 游戏。 6.根据权利要求5所述的标签差分隐私深度学习的启发式审计方法， 其特 征在于：权　利　要　求　书 1/2 页 2 CN 115391815 A 2每轮猜谜游戏过程如下： S1： 初始化谜题， 从f0， f1中随机选择一个fd作为谜题； S2： 将(xi,yi)和(xi,yi′)的预测向量fd(x)和真实标签y分别输入Attackerd模型， 得到 关于样本是否属于数据集Dd的预测向量Attackerd(fd(xi),yi)， Attackerd(fd(xi),yi′)， 并 令输出中概 率最大的类分别为a0和a1； S3： a0， a1有四种排列组合可能： 若a0＝"in"， a1＝"out"， 则认为样本(xi,yi)属于数据集 Dd， d′＝0； 若a0＝"out"， a1＝"in"， 则认为样本(xi,yi′)属于Dd， d′＝1； 若a0， a1都等于"out"， 则认为两个样本均不属于Dd， 放弃判断， d ′＝⊥； 若a0， a1都等于"in"， 则认为两个样本均可 能属于数据集Dd， 则比较样本在"in"  分量上的概率大小， 若a0的概率更大则认为d ′＝0， 反 之d′＝1。权　利　要　求　书 2/2 页 3 CN 115391815 A 3