(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210428421.9 (22)申请日 2022.04.22 (71)申请人 南京大学 地址 210023 江苏省南京市栖霞区仙林大 道163号 申请人 江苏万维艾斯网络智能产业创新中 心有限公司 (72)发明人 门金锁　高阳　解宇　刘文宇　 (74)专利代理 机构 南京泰普专利代理事务所 (普通合伙) 32360 专利代理师 任玉岚 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/50(2022.01) G06V 20/40(2022.01)G06V 10/20(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/94(2022.01) G06F 16/51(2019.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 一种室内场景下基于深度学习的人脸识别 方法 (57)摘要 本发明提供了一种室内场景下基于深度学 习的人脸识别方法， 属于计算机视觉技术领域。 包括构建多角度人脸特征数据库与对视频中的 人脸进行特征提取和比对， 使用RetinaFac e网络 实现人脸检测， 使用Arc Face网络实现人脸识别； 引入白平衡和自适应直方图均衡化， 来解决室内 场景下光线不足和不均应对于人脸识别造成的 影响； 引入人脸姿态判别， 来解决不同人脸姿态 对于人脸识别造成的影 响。 本发明中提出的人脸 识别方法对于在不同光照条件下的不同室内环 境中进行 人脸识别具有较强鲁棒 性。 权利要求书4页 说明书7页 附图3页 CN 114743246 A 2022.07.12 CN 114743246 A 1.一种室内场景下基于深度学习的人脸识别方法， 其特征在于， 构建多角度人脸特征 数据库和对视频流中的人脸做特 征提取和比对， 包括如下步骤： 一、 构建多角度人脸特征数据库： 对每个入库的人脸， 收集包括至少含有正脸、 侧脸两 个角度以上的人脸图像数据， 提取 人脸特征后构建数据库； 二、 提取人脸图像： 输入待检测图像， 由人脸检测网络提取图像中包 含的人脸图像； 三、 预处理： 对于步骤二所检测到的人脸在进行人脸识别之前， 先进行至少包括人脸姿 态判别、 自适应直方图均衡化的预处 理操作， 以减少人脸姿态， 光照变化的影响； 四、 人脸特征提取及比对： 使用ArcFace网络对步骤三预处理后的人脸图像进行特征提 取， 并根据步骤三中检测得到的人脸姿态选取数据库中对应姿态的人脸特征进行比对， 并 返回最终阈值 最高的结果。 2.如权利要求1所述的室内场景 下基于深度学习的人脸识别方法， 其特 征在于， 所述构建多角度人脸特 征数据库的步骤如下： 2.1收集不同人员的人脸图像， 对每个人员收集包括至少含有正脸、 侧脸两个角度以上 的人脸图像数据； 针对每 个人员， 数据库中至少包 含两条关于该 人员的人脸数据； 2.2将所述人脸图像输入到人脸检测网络RetinaFace中进行人脸框及关键点检测， 确 定人脸所在区域及左眼、 右眼、 鼻子、 左嘴角、 右嘴角五个关键点的位置； 2.3对步骤2.2中截取到的人脸区域进行预处理， 具体操作包括： 白平衡、 以及自适应直 方图均衡化； 2.4对步骤2.3预处理后的人脸图像进行关键点对齐得到校正后的人脸图像， 将其送入 人脸识别网络A rcFace网络中进行 人脸特征的提取与识别； 2.5根据步骤2.2得到的五个关键点 位置， 进行 人脸姿态判别， 得到人脸姿态结果； 2.6将步骤2.4得到人脸特征图以及图像对应的信息， 该信息至少包括： 人员ID、 人员姓 名、 人脸姿态， 将该信息存 储MySQL数据库中。 3.如权利要求1所述的室内场景 下基于深度学习的人脸识别方法， 其特 征在于， 所述对视频流中的人脸做特 征提取和比对的步骤如下： 3.1从视频流中逐帧提取视频帧图片； 3.2将步骤3.1中得到的图片输入到人脸检测网络中进行人脸检测， 检测结果为若干人 脸区域框及 对应的人脸评 分， 以及包括左眼、 右眼、 鼻子、 左嘴角、 右嘴角五个人脸关键点的 位置坐标； 3.3根据步骤3.2得到的人脸区域框， 截取出对应的人脸 图像， 每张人脸图像有且仅有 一个人脸， 对每张人脸图像进行预处理操作， 得到处理后的人脸图像和对应的人脸姿态结 果， 预处理操作包括白平衡、 自适应直方图均衡化、 以及人脸姿态判别； 3.4将步骤3.3得到人脸图像输入到人脸识别网络中进行人脸识别， 获得对应的人脸特 征； 3.5将步骤3.4得到人脸特征与人脸特征数据库中的人脸特征进行比对， 得到人脸识别 结果， 并最终返回该 结果。 4.如权利要求2所述的室内场景 下基于深度学习的人脸识别方法， 其特 征在于， 所述人脸检测网络为RetinaFace网络， 该网络由骨干网络和多任务子网络组成， 骨干 网络是基于ResNet的FPN网络， 接受任意大小的图像作为输入；权　利　要　求　书 1/4 页 2 CN 114743246 A 2多任务子网络同时输出人脸评分、 人脸框、 五个人脸关键点和每个人脸像素的三维位 置以及对应关系； RetinaFace网络需要通过训练得到网络模型， 训练数据集为FaceDB和 WIDER FACE数据集， 训练使用Pytorch深度学习框架， 使用随机梯度下降SGD作为优化器， 并 加入权重衰减和学习率衰减方式进行训练； 为了确保网络对于多人脸画面的检测FPS， 对于训练结束后得到的模型使用TensorRT 的FP16量 化方法进行量 化加速。 5.如权利要求2所述的室内场景 下基于深度学习的人脸识别方法， 其特 征在于， 预处理操作具体步骤如下： 5.1对输入 的人脸图片进行白平衡处理， 图片大小为m*n， 通道数为3， 则根据下面公式 对图片的某个通道i进行白平衡处 理： Image_new(x,y,i)＝ wi*Image_old(x,y,i),i∈[0,2] 其中wi为通道i的权 重， 权重wi的计算公式如下： 其中Image(x,y,j)表示图片在第i的通道的位置(x,y)处的灰度值； 5.2对步骤5.1中得到的白平衡图片进行自适应直方图均衡化， 阈值设置为ClipLimit ＝2.5， 图像块大小设置为8*8； 5.3在预处理之前， 通过人脸检测网络得到了左眼、 右眼、 鼻子、 左嘴角、 右嘴角共5个人 脸关键点， 使用这5个人脸关键点和人脸姿态判别方法对该 人脸姿态进行判别。 6.如权利要求2所述的室内场景 下基于深度学习的人脸识别方法， 其特 征在于， 所述进行 人脸姿态判别， 具体步骤如下： 6.1获得人脸的五个关键点的位置， 包括左眼LeftEye(LEyeX,LEyeY)、 右眼RightEye (REyeX,REyeY)、 鼻子Nose(NoseX,NoseY)、 左嘴角LeftMouth(LMouthX,LMouthY)、 右嘴角 RightMouth(RMouthX,RMouth Y)； 6.2根据五个关键点的位置构造出两个三角形： 以鼻子为顶点， 左眼右眼的连线为底边 的三角形一； 以鼻子为顶点， 左嘴角右嘴角的连线为底边的三角形二； 然后根据下面的公式分别计算 三角形一与三角形二的三条边长： 于是得到三角形一的三条边长为： A1＝Edge(LeftEye,N ose) B1＝Edge(RightEye,N ose) C1＝Edge(LeftEye,RightEye) 三角形二的三条边长为： A2＝Edge(LeftMouth,N ose) B2＝Edge(RightMouth,N ose) C2＝Edge(LeftMouth,RightMouth) 6.3接着将步骤2.2计算得到 两个三角形的边长 输入到下面的公式 中计算三角形的高：权　利　要　求　书 2/4 页 3 CN 114743246 A 3