(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211420960.4 (22)申请日 2022.11.15 (71)申请人 华南理工大 学 地址 510641 广东省广州市天河区五山路 381号 (72)发明人 谭明奎　李代远　陈果　杜卿　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 郑宏谋 (51)Int.Cl. G06V 40/16(2022.01) G06T 7/55(2017.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06V 40/40(2022.01) (54)发明名称 一种人脸活体判别方法、 系统、 装置和存储 介质 (57)摘要 本发明公开了一种人脸活体判别方法、 系 统、 装置和存储介质， 其中方法包括： 获取待判别 的目标图像， 获取所述目标图像的人脸检测框； 根据所述人脸检测框从所述目标图像中获取第 一人脸图像和第二人脸图像； 将所述第一人脸图 像输入第一人脸活体判别模型， 获得第一特征和 第一输出结果； 将所述第二人脸图像输入第二人 脸活体判别模型， 获得第二特征和第二输出结 果； 将所述第一特征和所述第二特征拼接后输入 融合权重 预测子模型， 获得两个人脸活体判别模 型的融合权重； 根据所述融合权重、 第一输出结 果和第二输出结果获取人脸活体判别的最终输 出结果。 本发 明能够在计算资源和存储空间受限 条件下， 有效提升活体判别性能， 可广泛应用于 图像处理领域。 权利要求书3页 说明书9页 附图3页 CN 115512428 A 2022.12.23 CN 115512428 A 1.一种人脸活体判别方法， 其特 征在于， 包括以下步骤： 获取待判别的目标图像， 获取 所述目标图像的人脸检测框； 根据所述人脸检测框从所述目标图像中获取第一人脸图像和第二人脸图像； 其中， 第 一人脸图像为 不包含背景的人脸图像， 第二人脸图像为包 含背景的人脸图像； 将所述第一人脸图像输入第一人脸活体判别模型， 获得第一特 征和第一输出 结果； 将所述第二人脸图像输入第二人脸活体判别模型， 获得第二特 征和第二输出 结果； 将所述第一特征和所述第 二特征拼接后输入融合权重预测子模型， 获得两个人脸活体 判别模型的融合权 重； 根据所述融合权重、 第一输出结果和第二输出结果获取人脸活体判别的最终输出结 果。 2.根据权利要求1所述的一种人脸活体判别方法， 其特征在于， 所述根据 所述人脸检测 框从所述目标图像中获取第一人脸图像和第二人脸图像， 包括： 根据所述人脸检测框从所述目标图像中裁 剪出第一人脸图像； 对所述人脸检测框进行放大处 理， 获得第二检测框； 根据第二检测框从所述目标图像中裁 剪出第二人脸图像。 3.根据权利要求1所述的一种人脸活体判别方法， 其特征在于， 所述第 一人脸活体判别 模型和所述第二人脸活体判别模型的基础框架相同， 且均为轻量级网络模型； 脸活体判别模型通过堆叠多个Mobl ieNetV2的Invert residual block构成。 4.根据权利要求3所述的一种人脸活体判别方法， 其特征在于， 所述第 一人脸活体判别 模型和所述第二人脸活体判别模型通过以下 方式进行训练： 在第一人脸活体判别模型和所述第二人脸活体判别模型的中间层的输出端插入点卷 积层、 批量归一 化层、 线性整流层、 以构建像素级分类 器； 根据训练集获取人脸图像和包含背景的人脸图像， 根据建像素级分类器分别生成人脸 图像和包 含背景的人脸图像的像素级分类标签； 在所述第一人脸活体判别模型和第 二人脸活体判别模型中插入像素级分类损失， 并与 Focal Loss共同构成目标损失函数； 根据二分类标签和所述像素级分类标签优化所述目标损失函数， 根据目标损失函数训 练所述第一人脸活体判别模型和所述第二人脸活体判别模型。 5.根据权利要求4所述的一种人脸活体判别方法， 其特征在于， 所述像素级分类标签的 生成过程， 包括： 对于人脸图像的像素级分类标签： 构建与所述像素级分类器输出同尺寸的标签图， 当 所述人脸图像为欺骗人脸类别， 分类标签图的值全设为0； 当所述人脸图像为真实人脸时， 分类标签图的值全设为1； 对于包含背景的人脸图像的像素级分类标签： 构建与 所述像素级分类器输出同尺寸的 标签图， 当输入图像为欺骗人脸时， 标签图内欺骗人脸区域内对应的值为2， 背景部分的值 为0； 在输入图像为真实人脸时， 标签图内人脸区域的值 为1， 背景部分的值 为0。 6.根据权利要求5所述的一种人脸活体判别方法， 其特征在于， 所述根据目标损失函数 训练所述第一人脸活体判别模型和所述第二人脸活体判别模型， 包括： 将所述第一人脸活体判别模型和所述第二人脸活体判别模型分开进行训练；权　利　要　求　书 1/3 页 2 CN 115512428 A 2训练时， 逐点计算所述像素级分类器输出和标签图中对应位置标签的交叉熵分类损 失， 该损失记为 ， 同时计算模型末端输出和二分类标签的Focal  Loss损失， 记为 ； 目标损失函数定义 为： 式中， 为指定像素级分类损失函数的权 重。 7.根据权利要求1所述的一种人脸活体判别方法， 其特征在于， 所述融合权重预测子模 型通过堆叠卷积层、 批归一化层， 线性整流层构成主干结构， 同时引入通道注意力机制， 以 构建所述融合权 重预测子模型的基础结构； 所述融合权 重预测子模型通过以下 方式进行训练： 获取所述第一人脸活体判别模型输出的第一特征图和所述第二人脸活体判别模型输 出的第二特 征图； 将第一特征图和第二特征图进行拼接后， 输入融合权重预测子模型， 输出所述第一人 脸活体判别模型末端输出和第二人脸活体判别模型末端输出的加权融合权 重； 利用所述加权融合权重对第一人脸活体判别模型的末端输出和第二人脸活体判别模 型的末端输出加权求和， 得到最终输出； 计算所述最终输出与 二分类标签的Focal  Loss， 利用随机梯度下降法优化该损失以训 练融合权 重预测子模型； 其中， 训练时冻结所述第 一人脸活体判别模型和所述第 二人脸活体判别模型的权重参 数。 8.一种人脸活体判别系统， 其特 征在于， 包括： 目标图像获取和人脸检测模块， 用于获取待判别的目标图像， 获取所述目标图像的人 脸检测框； 人脸图像裁剪模块， 用于根据 所述人脸检测框从所述目标图像中获取第 一人脸图像和 第二人脸图像； 其中， 第一人脸图像为不包含背 景的人脸图像， 第二人脸图像为包含背景的 人脸图像； 活体判别预测模块， 用于将所述第一人脸图像输入第一人脸活体判别模型， 获得第一 特征和第一输出； 将所述第二人脸图像输入第二人脸活体判别模型， 获得第二特征和第二 输出； 预测融合模块， 用于将所述第一特征和所述第二特征拼接后输入融合权重预测子模 型， 获得两个人脸活体判别模型的融合权 重； 判断模块， 用于根据所述融合权重、 第一输出和第二输出获取人脸活体判别的最终输 出。 9.一种人脸活体判别装置， 其特 征在于， 包括： 至少一个处 理器； 至少一个存 储器， 用于存 储至少一个程序； 当所述至少一个程序被所述至少一个处理器执行， 使得所述至少一个处理器实现权利 要求1‑7任一项所述方法。 10.一种计算机可读存储介质， 其中存储有处理器可执行的程序， 其特征在于， 所述处权　利　要　求　书 2/3 页 3 CN 115512428 A 3