(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211277054.3 (22)申请日 2022.10.18 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 颜成钢　王锦欣　高宇涵　孙垚棋　 陈楚翘　王鸿奎　胡冀　朱尊杰　 殷海兵　张继勇　李宗鹏　赵治栋　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 朱月芬 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/82(2022.01) G06V 10/26(2022.01) (54)发明名称 一种多目标的行 人重识别攻击方法 (57)摘要 本发明公开了一种多目标的行人重识别攻 击方法。 首先通过人体区域切割网络确定扰动图 片可叠加的区域， 再计算该区域内的平滑度， 确 定平滑度最大的点作为叠加区域的左上角； 再初 始化大尺寸攻击图， 利用STN缩放为小尺寸攻击 图， 叠加到图片上； 计算针对多目标攻击的多目 标损失函数， 利用梯度反向传播更新攻击图， 得 到多目标扰动图片； 最后将得到的多目标扰动图 片打印出来贴到衣服上， 实现物理层面的攻击。 相比单目标的攻击方法， 本发明可以进行多目标 攻击， 攻击性能更强， 攻击 更多样； 通过人体区域 检测网络， 以及平滑度最小方法， 使得本方法攻 击区域尽可能处于人体的衣物区域， 使得物理攻 击更容易开展。 权利要求书1页 说明书3页 附图1页 CN 115457600 A 2022.12.09 CN 115457600 A 1.一种多目标的行 人重识别攻击方法， 其特 征在于， 包括以下步骤： 步骤1、 通过人体区域切割网络确定扰动图片可叠加的区域， 再计算该区域内的平滑 度， 确定平 滑度最大的点作为叠加区域的左上角； 步骤2、 初始化大尺寸 攻击图， 利用STN缩放 为小尺寸 攻击图， 叠加到图片上； 步骤3、 计算针对多目标攻击的多目标损失函数， 利用梯度反向传播更新攻击图， 得到 多目标扰动图片； 步骤4、 将得到的多目标扰动图片打印出来贴到衣服上， 实现物理层面的攻击 。 2.根据权利要求1所述的一种多目标的行人重识别攻击方法， 其特征在于， 步骤1具体 方法如下： 通过人体区域切割 网络确定扰动图片可叠加的区域， 再计算该区域内的平滑度， 确定 平滑度最大的点作为叠加区域的左上角； 将原始图片经过人体区域切割网络得到人体区域掩膜， 记为M， 人体区域值为1， 非人体 区域值为0， 将掩膜和原始图片进行相乘， 得到仅包含人体区域的图片； 通过计算每个像素 点周围3x3邻域像素值与中心 点的差值之和， 得到人体区域平滑度最低的像素点， 将其作为 干扰图片的中心点。 3.根据权利要求2所述的一种多目标的行人重识别攻击方法， 其特征在于， 步骤2具体 方法如下： 初始化四张大尺寸 攻击图， 利用STN缩放 为小尺寸 攻击图， 叠加到图片上； 初始化攻击图片尺寸为100x200， 通过固定空间变换网络的参数将其缩放为16x32， 将 叠加区域 一分为四， 在中心点四周叠加到图片上 得到攻击图片。 4.根据权利要求3所述的一种多目标的行人重识别攻击方法， 其特征在于， 步骤3具体 方法如下： 计算针对多目标攻击的多目标损失函数， 利用梯度反向传播更新 攻击图； 将步骤2得到的攻击 图片和原始图片分别经过神经网络得到对应特征向量， 计算两者 之间的相似度并根据损失公式优化， 最终得到训练后的扰动图片， 不同区域分别对应攻击 不同目标； 设原始图像为x， 不同视角下的原始图像表示为x1,2,…,m,其中m是摄像机个数， 经神经网 络训练后的扰动图像 δ叠加到攻击图像上的图像为x'， 优化损失 公式(1)： 其中fθ(·,·)输出为两幅图像的相似度， θ 是模型参数， t是该扰动图片攻击的目标； 因 此一共有4个损失 公式， 分别对应不同目标； 经过迭代优化， 最终可以得到四张不同区域的扰动图像； 将它们叠加到一起， 得到最终 的多目标扰动图片。权　利　要　求　书 1/1 页 2 CN 115457600 A 2一种多目标的行人重识别攻 击方法 技术领域 [0001]本发明属于计算机视觉技术领域， 主要应用于基于深度学习的行人重识别攻击方 法。 本发明提出一种可以进行多目标的目标攻击方法。 背景技术 [0002]最近五年间， 随着深度学习技术的兴起， 计算机视觉得到了飞速的发展。 计算机视 觉在车牌识别、 目标检测、 人脸识别、 图像风格迁移、 图像分类等任务都有了 显著的发展。 [0003]在这些中， 行人重识别(Re ‑ID)是计算机视觉中一个重要任务， 它通过多摄像头 获 取的图片来得到行人 的特征， 实现跨摄像头的行人跟踪识别。 它需要解决不同视角下 的行 人识别， 在疑犯跟踪、 出入人员识别等应用有着重要作用。 [0004]随着深度学习的发展， 行人重识别从早期的利用动态贝叶斯网络生成的标签与行 人特征之间的概率关系， 到利用深度学习， 在大量行人数据中找到特征， 大大提高了准确 率。 目前最 好的行人重识别算法可以达 到96％的准确率。 [0005]但是一直以来， 深度学习的缺点也暴露出来， 基于深度学习技术的鲁棒性、 安全性 受到一些学者的质疑， 有学者发现， 在大熊猫图片 中加入一点不可见 的像素扰动就可以让 基于深度学习的分类器得到错误的结果， 误以为是长臂猿。 因此， 通过攻击算法的研究， 可 以为提高行人重识别算法的鲁棒 性提供方向， 并且帮助防御对行 人重识别系统的攻击 。 [0006]目前学界大部分使用的攻击方式为数字攻击， 即在原图像上叠加通过攻击算法得 到的扰动， 这个扰动一般是约束在一定像素范围内。 当然， 这个方式存在一定的弊端， 比如 有些攻击算法得到的扰动图像打印出来后就实现不了先 前的攻击效果。 [0007]AdvPattern是实现物理攻击的攻击方法， 通过将 生成的图片贴衣服上实现物理攻 击， 达到将该行人“伪装”成指定的行 人。 但是该方法并没有提出多目标的攻击方法。 发明内容 [0008]本发明针对行 人重识别任务， 提出一种多目标的行 人重识别攻击方法。 [0009]本发明介绍的多 目标攻击 的行人重识别方法， 具体为： 首先确定扰动图片的四个 区域， 其次通过梯度反向计算分别得到不同区域的扰动图片， 接着打印出来贴到衣服上， 实 现物理层面的攻击 。 [0010]一种多目标的行 人重识别攻击方法， 包括以下步骤： [0011]步骤1、 通过人体区域切割网络确定扰动图片可叠加的区域， 再计算该区域内的平 滑度， 确定平 滑度最大的点作为叠加区域的左上角； [0012]步骤2、 初始化大尺寸 攻击图， 利用STN缩放 为小尺寸 攻击图， 叠加到图片上； [0013]步骤3、 计算针对多 目标攻击的多 目标损失函数， 利用梯度反向传播更新攻击图， 得到多目标扰动图片。 [0014]步骤4、 将得到的多目标扰动图片打印出来贴到衣服上， 实现物理层面的攻击 。 [0015]与现有技 术相比， 本发明的有益效果 为：说　明　书 1/3 页 3 CN 115457600 A 3