(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210979989.X
(22)申请日 2022.08.16
(71)申请人 哈尔滨工业大 学 (深圳)
地址 518000 广东省深圳市南 山区桃源街
道深圳大 学城哈尔滨工业大 学校区
(72)发明人 文杰 邓世杰 刘毅成 刘成亮
郭越超
(74)专利代理 机构 深圳市添源创鑫知识产权代
理有限公司 4 4855
专利代理师 覃迎峰
(51)Int.Cl.
G06V 40/16(2022.01)
G06V 10/32(2022.01)
G06V 10/44(2022.01)
G06V 10/764(2022.01)G06V 10/82(2022.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
(54)发明名称
一种具有光照鲁棒性的特征自分解人脸识
别方法及系统
(57)摘要
本发明公开了一种具有光照鲁棒性的特征
自分解人脸识别方法及系统, 根据每张人脸图片
的灰度值, 得到对应的光照标签, 制作数据集; 设
计网络结构包括主干特征提取网络和特征分解
网络, 主干网络用来提取人脸图像特征, 特征分
解网络用来将人脸图像特征分解为光照相关特
征和光照无关特征, 其中, 光照无关特征即为更
有区分性的人脸特征, 用于后续的人脸识别。 本
发明通过利用特征分解网络将提取的人脸图像
特征分解为光照相关特征向量和光照无关特征
向量, 用于解决光照下的人脸识别问题, 减少光
照信息对人脸特征向量的影 响, 提高人脸识别的
精度。
权利要求书3页 说明书9页 附图6页
CN 115311722 A
2022.11.08
CN 115311722 A
1.一种具有光照鲁棒 性的特征自分解人脸识别方法, 其特 征在于, 包括以下步骤:
图像预处理: 对于给定的人脸数据集, 先进行人脸检测, 对检测后的人脸进行人脸对
齐, 再将对齐后的人脸图片缩放到指定的尺寸;
图像标签制作: 对预处理后的人脸图片求灰度值, 并进行灰度值归一化, 根据归一化后
的灰度值 生成对应的光照标签, 即可获取 具有光照标签的图像数据集;
构建特征自分解人脸识别网络模型: 特征自分解人脸识别网络模型包括主干特征提取
网络和特征分解网络, 主干特征提取网络用于提取人脸图像特征, 特征分解网络用于将提
取的人脸图像特 征分解为光照相关特 征向量和光照无关特 征向量;
网络模型训练: 利用具有光照标签的图像数据集进行网络模型训练, 第一阶段训练主
干特征提取网络, 第二阶段将训练好的主干特征提取网络参数冻 结, 集中训练特征分解网
络;
识别过程: 利用训练好的网络模型进行识别, 识别过程包括人脸验证和人脸识别, 其中
人脸验证具体包括: 给定两张人脸图片, 通过图像预处理, 将两张人脸图片分别送入特征自
分解人脸识别网络模型中, 获取两个光照无关特征向量, 计算两个光照无关特征向量之间
的相似度, 当相似度大于所设置阈值时, 判定两张人脸图片具有相同身份信息, 否则, 两张
人脸图片来自不同人; 人脸识别具体包括: 在特征库中存储大量的人脸特征向量, 所述人脸
特征向量均是利用训练好的特征自分解人脸识别网络模型提取得到的光照无关特征向量,
当给定一张人脸图片, 将给定人脸图片输入特征自分解人脸识别网络模型中得到特征向
量, 根据特征向量在特征库中找到相似度值最大 的人脸图片, 根据相似度最大 的人脸图片
确定其对应的身份信息, 如果相似度值大于设定的阈值, 输出特征库中对应人脸的身份信
息, 否则, 判定为陌生人脸。
2.根据权利要求1所述的具有光照鲁棒性的特征自分解人脸识别方法, 其特征在于, 所
述图像预 处理具体包括: 采用MTCNN方法进行人脸检测, 检测到人脸位置区域的同时获取人
脸五个关键点的位置信息, 利用五个关键点的位置信息以及标准位置 关系求取仿射变化矩
阵, 通过仿射变化矩阵将人脸对齐。
3.根据权利要求1所述的具有光照鲁棒性的特征自分解人脸识别方法, 其特征在于, 所
述图像标签制作步骤具体包括: 将每张人脸图片的灰度值统一在[0,1]区间内, vmax为图像
灰度值的最大值, vmin为图像灰度值的最小值, 其中vmax的标签值为1, vmin的标签值为0, 其他
图片灰度值v的标签值 根据所得灰度值大小在[0,1]区间内变动, 标签值p计算公式如下:
4.根据权利要求1所述的具有光照鲁棒性的特征自分解人脸识别方法, 其特征在于, 所
述主干特征提取网络采用light ‑FaceNet, light ‑FaceNet一共包含四个bottleneck, 每个
bottleneck都含有一个降维操作和一个升维操作, 所述主干特征提取网络最后生成一个
512维的特 征向量。
5.根据权利要求1所述的具有光照鲁棒性的特征自分解人脸识别方法, 其特征在于, 所
述特征分解网络接收到所述主干特征提取网络提取的n维特征向量V后, 将特征向量V通过
所述特征分解网络中的权重生 成模块生 成权重向量W, 将生成的权重向量W与n 维特征向量V
相乘, 得到光照相关特征向量B, 根据权重向量W, 得到向量1 ‑W, 将向量1 ‑W与n维特征向量V权 利 要 求 书 1/3 页
2
CN 115311722 A
2相乘得到剔除光照信息后的光照无关特 征向量F。
6.根据权利要求5所述的具有光照鲁棒性的特征自分解人脸识别方法, 其特征在于, 所
述权重生 成模块由两个全连接层, 一个激活函数, 一个批量归一化层以及一个sigmoid层组
成, 其中两个全连接层一个用来对特征向量V进 行降维, 另一个对降维后的特征向量V升维,
Sigmoid层用于将权 重向量W中对应位置的元 素值输出限制在[0,1]之间。
7.根据权利要求1所述的具有光照鲁棒性的特征自分解人脸识别方法, 其特征在于, 所
述网络模型训练过程中设计两个损失函数进行监督学习, 其中, 光照相关特征向量采用
smooth‑L1损失进行回归, smooth ‑L1损失主要通过预测出的灰度值与标签生成的灰度值进
行回归计算; 人脸图像特征损失采用ArcFace角度损失进行回归, smooth ‑L1损失和ArcFace
角度损失的计算公式如下:
其中, x表示标签值与预测值的差值, N表示批量样本数, θ为样本与分类边界之间的角
度间距, yi为类别标签, j为类别边界标志, i 为当前人脸类别, m为角度间隔, S为半径。
8.一种具有光照鲁棒 性的特征自分解人脸识别系统, 其特 征在于, 所述系统包括:
图像预处理单元, 用于对于给定的人脸数据集, 先进行人脸检测, 对检测后的人脸进行
人脸对齐, 再将对齐后的人脸图片缩放到指定的尺寸;
图像标签制作单元, 用于对预处理后的人脸图片求灰度值, 并进行灰度值归一化, 根据
归一化后的灰度值 生成对应的光照标签, 即可获取 具有光照标签的图像数据集;
构建特征自分解人脸识别网络模型单元, 用于构建特征自分解人脸识别网络模型, 所
述特征自分解人脸识别网络模型包括主干特征提取网络和特征分解网络, 主干特征提取网
络用于提取人脸图像特征, 特征分解网络用于将提取的人脸图像特征分解为光照相关特征
向量和光照无关特 征向量;
网络模型训练单元, 用于利用具有光照标签的图像数据集进行网络模型训练, 第一阶
段训练主干特征提取网络, 第二阶段将训练好的主干特征提取网络参数冻 结, 集中训练特
征分解网络;
识别单元, 用于利用训练好的网络模型进行识别, 识别过程包括人脸验证和人脸识别,
其中人脸验证具体包括: 给定两张人脸图片, 通过图像预 处理, 将两张人脸图片分别送入特
征自分解人脸识别网络模型中, 获取两个光照无关特征向量, 计算两个光照无关特征向量
之间的相似度, 当相似度大于所设置阈值时, 判定两张人脸图片具有相同身份信息, 否则,
两张人脸图片来自不同人; 人脸识别具体包括: 在特征库中存储大量的人脸特征向量, 所述
人脸特征向量均是利用训练好的特征自分解人脸识别网络模型提取得到的光照无关特征
向量, 当给定一张人脸图片, 将人脸图片输入特征自分解人脸识别网络模型中得到特征向
量, 根据特征向量在特征库中找到相似度值最大 的人脸图片, 根据相似度最大 的人脸图片权 利 要 求 书 2/3 页
3
CN 115311722 A
3
专利 一种具有光照鲁棒性的特征自分解人脸识别方法及系统
文档预览
中文文档
19 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共19页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 04:37:04上传分享