(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211058748.8 (22)申请日 2022.08.31 (71)申请人 云知声智能科技股份有限公司 地址 100096 北京市海淀区西三 旗建材城 内1幢一层101号 (72)发明人 胡炳然　刘青松　张泓奕　梁家恩　 (51)Int.Cl. G06V 40/16(2022.01) (54)发明名称 一种定向攻击人脸识别的对抗样本生成方 法和装置、 电子设备 (57)摘要 本发明公开了一种定向攻击人脸识别的对 抗样本生成方法和装置、 电子设备， 包括： 对攻击 者的第一图像和被攻击者的第二图像进行矫正， 得到第一矫正图像和第二矫正图像； 计算所述第 一矫正图像在人脸识别模型上的类别激活映射 图； 基于类别激活映射图和所确定的掩罩矩阵， 确定图像中的攻击部位； 得到归一化后的第一人 脸特征和第二人脸特征； 对第二矫正图像进行扰 动处理， 得到多个扰动图像； 计算损失函数； 计算 攻击者的第一图像对损失函数的第一梯度值； 依 据第一梯度值更新攻击者的第一图像； 在攻击部 位调整迭代次数达到预设上限值时， 将更新后的 第一图像作为目标攻击者图像。 本发 明公开的方 法， 对对抗样本的修改区域小， 生成的对抗样本 不易被识破。 权利要求书2页 说明书8页 附图2页 CN 115457628 A 2022.12.09 CN 115457628 A 1.一种定向攻击人脸识别的对抗样本生成方法， 其特 征在于， 所述方法包括： 对攻击者的第 一图像和被攻击者的第 二图像进行矫正， 得到第 一矫正图像和第 二矫正 图像； 计算所述第一 矫正图像在人脸识别模型 上的类别激活映射图； 基于所述类别激活映射图和所确定的掩罩矩阵， 确定图像中的攻击 部位； 通过人脸识别模型对所述第 一矫正图像和所述第 二矫正图像作 前向推理， 得到归一化 后的第一人脸特征和第二人脸特征； 其中， 所述第一人脸特征为所述第一矫正图像对应的 特征， 所述第二人脸特 征为所述第二 矫正图像对应的特 征； 按照预设扰动规则对所述第二 矫正图像进行扰动处 理， 得到多个 扰动图像； 基于所述第一人脸特 征、 第二人脸特 征以及所述扰动图像， 计算损失函数； 计算攻击者的第一图像对所述损失函数的第一梯度值； 依据所述第一梯度值更新 攻击者的第一图像； 判断攻击 部位调整迭代次数 是否达到预设上限值； 若否， 在满足掩罩矩阵更新条件的情况下， 调整掩罩矩阵返回执行基于所述类别激活 映射图和所确定的掩罩矩阵， 确定图像中的攻击 部位的步骤； 若是， 将更新后的所述第一图像作为目标攻击者图像。 2.根据权利要求1所述的方法， 其特征在于， 所述对攻击者的第 一图像和被攻击者的第 二图像进行矫 正， 得到第一 矫正图像和第二 矫正图像的步骤， 包括： 分别对攻击者的第 一图像和被攻击者的第 二图像进行人脸检测， 得到第 一人脸关键点 和第二人脸关键点； 将所述第一图像中的所述第 一人脸关键点与 标准关键点模板做对齐， 得到第 一矫正图 像； 将所述第二图像中的所述第 二人脸关键点与 标准关键点模板做对齐， 得到第 二矫正图 像。 3.根据权利要求1所述的方法， 其特征在于， 基于所述类别激活映射图和所确定的掩罩 矩阵， 确定图像中的攻击 部位的步骤， 包括： 对所述类别激活映射图划分成预设数量的网格， 并计算每个所述网格中各像素点的像 素均值以及 网格中心点坐标； 将各网格中心点按照对应的像素均值进行排序， 得到中心点 坐标序列； 确定初始掩罩矩阵； 取中心点坐标序列及其对应的宽高序列的前K个值， 组成K个区域， 将所述K个区域内部 像素值置为1， 其中， 所述K个区域 为图像中的攻击 部位。 4.根据权利要求1所述的方法， 其特征在于， 基于所述第一人脸特征、 第二人脸特征以 及所述扰动图像， 计算损失函数的步骤， 包括： 基于所述第二人脸特 征和所述扰动图像， 确定扰动人脸特 征； 依据所述第一人脸特 征和所述扰动人脸特 征， 计算损失函数。 5.根据权利要求1所述的方法， 其特征在于， 在满足掩罩矩阵更新条件的情况下， 调整 掩罩矩阵的步骤， 包括： 在满足掩罩矩阵更新条件的情况 下， 确定调整后的掩罩矩阵的宽序列值和高序列值；权　利　要　求　书 1/2 页 2 CN 115457628 A 2依据调整后的宽序列值和高序列值， 更新掩罩矩阵。 6.一种定向攻击人脸识别的对抗样本生成装置， 其特 征在于， 所述装置包括： 矫正模块， 用于对攻击者的第一图像和被攻击者的第二图像进行矫正， 得到第一矫正 图像和第二 矫正图像； 计算模块， 用于计算所述第一 矫正图像在人脸识别模型 上的类别激活映射图； 第一确定模块， 用于基于所述类别激活映射图和所确定的掩罩矩阵， 确定 图像中的攻 击部位； 第二确定模块， 用于通过人脸识别模型对所述第 一矫正图像和所述第 二矫正图像作 前 向推理， 得到归一化后的第一人脸特征和第二人脸特征； 其中， 所述第一人脸特征为所述第 一矫正图像对应的特 征， 所述第二人脸特 征为所述第二 矫正图像对应的特 征； 扰动处理模块， 用于按照预设扰动规则对所述第二矫正图像进行扰动处理， 得到多个 扰动图像； 第一计算模块， 用于基于所述第 一人脸特征、 第 二人脸特征以及所述扰动图像， 计算损 失函数； 第二计算模块， 用于计算 攻击者的第一图像对所述损失函数的第一梯度值； 更新模块， 用于依据所述第一梯度值更新 攻击者的第一图像； 判断模块， 用于判断攻击 部位调整迭代次数 是否达到预设上限值； 执行模块， 用于若否， 在满足掩罩矩阵更新条件的情况下， 调整掩罩矩阵返回调用所述 第一确定模块； 若是， 将更新后的所述第一图像作为目标攻击者图像。 7.根据权利要求6所述的装置， 其特 征在于， 所述 矫正模块包括： 第一子模块， 用于分别对攻击者的第一图像和被攻击者的第二图像进行人脸检测， 得 到第一人脸关键点和第二人脸关键点； 第二子模块， 用于将所述第一图像中的所述第一人脸关键点与标准关键点模板做对 齐， 得到第一 矫正图像； 第三子模块， 用于将所述第二图像中的所述第二人脸关键点与标准关键点模板做对 齐， 得到第二 矫正图像。 8.根据权利要求6所述的装置， 其特 征在于， 所述第一确定模块包括： 第四子模块， 用于对所述类别激活映射图划分成预设数量的网格， 并计算每个所述网 格中各像素点的像素均值以及网格中心 点坐标； 将各网格中心 点按照对应的像素均值进 行 排序， 得到中心点 坐标序列； 第五子模块， 用于确定初始掩罩矩阵； 第六子模块， 用于取中心点坐标序列及其对应的宽高序列的前K个值， 组成K个区域， 将 所述K个区域内部像素值置为1， 其中， 所述K个区域 为图像中的攻击 部位。 9.根据权利要求6所述的装置， 其特 征在于， 所述第一计算模块包括： 第七子模块， 用于基于所述第二人脸特 征和所述扰动图像， 确定扰动人脸特 征； 第八子模块， 用于依据所述第一人脸特 征和所述扰动人脸特 征， 计算损失函数。 10.一种电子设备， 包括处理器、 存储器及存储在所述存储器上并可在所述处理器上运 行的程序或指令， 所述程序或指令被所述处理器执行时实现如权利要求1 ‑5任一项所述的 定向攻击人脸识别的对抗样本生成方法的步骤。权　利　要　求　书 2/2 页 3 CN 115457628 A 3