(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211518012.4 (22)申请日 2022.11.30 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 街道八一路2 99号 (72)发明人 王中元　方砚　程季康　王骞　 邵振峰　邹勤　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 肖明洲 (51)Int.Cl. G06F 21/55(2013.01) G06F 21/56(2013.01) G06N 3/08(2006.01) (54)发明名称 一种可迁移黑 盒对抗攻击样 本生成方法、 系 统及电子设备 (57)摘要 本发明公开了一种可迁移黑盒对抗攻击样 本生成方法、 系统及电子设备， 通过对当前对抗 样本连续使用快速梯度符号方法， 超 前预测了对 抗攻击样 本未来可能的生 成路径， 再通过沿生成 路径的邻域进行采样并计算损失函数在采样点 和超前预测点的梯度之和， 得到了累计的梯度， 最后使用动量快速梯度符号方法根据累计的梯 度更新对抗攻击样本。 具体包括对抗攻击样本生 成路径预测， 沿生成路径邻域的采样与梯度计 算， 对抗攻击样本更新等三个主要步骤。 本方法 能有效提高针对替代白盒模型生成的对抗攻击 样本迁移到黑盒攻击的成功率。 同时， 本方法不 限制使用某 一种特定的替代白盒模 型， 具有普适 性强的优点。 权利要求书2页 说明书5页 附图1页 CN 115544499 A 2022.12.30 CN 115544499 A 1.一种可迁移黑盒对抗 攻击样本生成方法， 其特 征在于， 包括以下步骤： 步骤1： 对给定的图像， 采用白盒替代模型进行攻击， 预测下一步更新的对抗攻击样本， 在预测得到的对抗攻击样本的邻域内进行采样， 并计算受攻击的白盒替代模型的损失函数 在采样点和预测的对抗 攻击样本点的梯度的之和； 步骤2： 循环执行步骤1， 使对抗攻击样本更新路径的预测进行更多步， 直到达到预设的 超前预测步数， 累加每一轮 循环得到的梯度和； 步骤3： 使用步骤2中得到的累计梯度更新对抗 攻击样本； 步骤4： 循环执行步骤1 ‑步骤3， 直到对抗攻击样本的更新次数达到预设的迭代次数， 使 用得到的对抗 攻击样本攻击目标黑盒模型。 2.根据权利要求1所述的可迁移黑盒对抗攻击样本生成方法， 其特征在于， 步骤1的具 体实现包括以下子步骤： 步骤1.1： 选择一种深度 学习模型作为白盒替代模型进行攻击， 对于一个作为图像识别 深度神经网络输入的任意尺寸的图像 x， 设定对抗攻击样本更新迭代过程的起点为 xadv=x， 其中xadv为当前的对抗攻击样本； 设定超前预测迭代过程的起点为 xpred=xadv， 其中xpred为当 前预测的对抗 攻击样本； 初始化累加的梯度 gacc=0； 计算白盒替代模型损失函数在当前 预测样本处的梯度， 并累加： 其中gpred是计算得到用于预测的梯度， J()为白盒替代模型的损失函数， x为输入的图 像，y为原输入的标签， θ为白盒替代模型的参数， ∇xpred表示损失函数 J在当前预测的对抗 样本点xpred处的梯度； 步骤1.2： 根据计算得到的梯度， 使用快速梯度符号法预测下一步更新的对抗攻击样 本： 其中 为每次更新对抗样本的步长， γ为描述预测步长相对于更新步长倍数的 一个预设参数， 为加入扰动的 L∞范数， 用于限制对抗攻击样本与原图的差异， T为预设的 对抗攻击样本更新迭代次数， sign()为符号 函数； 步骤1.3： 在预测点的邻域内进行采样， 并计算白盒替代模型损失函数在采样点的梯 度， 并与预测对抗样本点的梯度进行累计求和： 权　利　要　求　书 1/2 页 2 CN 115544499 A 2其中，i代表在该预测样本邻域的第 i次采样，ri是采样点与预测样本的差距， U为均匀分 布，β为一个用于规定邻域半径大小的预设参数， d为输入样本的维度； 步骤1.4： 根据 一个预设的采样次数 Nj重复步骤1.3进行 Nj次采样与梯度累加， Nj表示在 第j步超前预测的对抗 攻击样本邻域内采样的次数。 3.根据权利要求2所述的可迁移黑盒对抗攻击样本生成方法， 其特征在于， 步骤3的具 体实现包括以下子步骤： 步骤3.1： 设定初始的动量梯度为 gadv=0； 步骤3.2： 利用步骤2得到的累加梯度更新 gadv； 其中 是表示动量大小的预设参数， 表示累加梯度 gacc的L1范数； 步骤3.3： 利用动量快速梯度符号法更新对抗 攻击样本 xadv； 步骤3.4： 将更新的对抗 攻击样本与原 始图像的差距约束在规定范围内： 其中clip()为裁剪函数。 4.根据权利要求1 ‑3任意一项所述的可迁移黑盒对抗攻击样本生成方法， 其特征在于： 步骤2中， 在沿预测的对抗样本生成路径的邻域采样的过程中， 为了充分利用邻域信息， 将 采样点分散在若干个预测点周围而非围绕单个预测点采样； 采样总 数不变的前提下， 在更 远的预测对抗攻击样本点的邻域内进 行的更多采样以更好的利用超前预测信息， 提高生成 的对抗攻击样本 迁移到黑盒攻击的成功率， 即 当m>n时， 使Nm≥Nn。 5.一种可迁移黑盒对抗 攻击样本生成系统， 其特 征在于， 包括以下模块： 模块1： 对给定的图像， 采用白盒替代模型进行攻击， 预测下一步更新的对抗攻击样本， 在预测得到的对抗攻击样本的邻域内进行采样， 并计算受攻击的白盒替代模型的损失函数 在采样点和预测的对抗 攻击样本点的梯度的之和； 模块2： 循环执行模块1， 使对抗攻击样本更新路径的预测进行更多步， 直到达到预设的 超前预测步数， 累加每一轮 循环得到的梯度和； 模块3： 使用模块2中得到的累计梯度更新对抗 攻击样本； 模块4： 循环执行模块1 ‑模块3， 直到对抗攻击样本的更新次数达到预设的迭代次数， 使 用得到的对抗 攻击样本攻击目标黑盒模型。 6.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储装置， 用于存储一个或多个程序， 当所述一个或多个程序被所述一个或多个处理 器执行时， 使得所述一个或多个处理器实现如权利要求 1至4中任一项 所述的可迁移黑 盒对 抗攻击样本生成方法。权　利　要　求　书 2/2 页 3 CN 115544499 A 3