(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210447154.X (22)申请日 2022.04.26 (71)申请人 杭州云栖智慧视通科技有限公司 地址 310000 浙江省杭州市西湖区转塘街 道转塘科技经济区块16号2幢401室 (72)发明人 李响　李冠华　毕海　 (74)专利代理 机构 天津创智睿诚知识产权代理 有限公司 12 251 专利代理师 王海滨 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/764(2022.01) G06V 10/74(2022.01) (54)发明名称 一种基于口罩遮挡人脸的语义搜索方法 (57)摘要 本发明公开了一种基于口罩遮挡人脸的语 义搜索方法， 首先提取待搜索的人脸图片中的人 脸区域坐标及人脸关键点坐标， 按人脸区域坐标 对待搜索的人脸图片进行剪裁， 得到剪裁后的待 搜索人脸图像， 利用第一人脸特征识别模型获取 待搜索人脸图像的人脸轮廓特征向量； 利用人脸 关键点坐标对待搜索人脸图像进行进一步裁剪 得到未被口罩遮挡的人脸图像， 然后利用第二人 脸特征识别模型获取未被口罩遮挡的人脸图像 的特征向量； 将人脸轮廓特征向量和未被口罩遮 挡的人脸图像的特征向量进行拼接， 形成人脸总 特征向量； 最后将待搜索的人脸总特征向量与数 据库中已知人脸图片对应的人脸特征向量进行 相似度比较； 找到相似度满足要求的已知人脸图 片。 权利要求书2页 说明书6页 附图1页 CN 114842531 A 2022.08.02 CN 114842531 A 1.一种基于口罩遮挡人脸的语义搜索方法， 其特 征在于， 包括以下步骤： 步骤1， 提取待搜索的人脸图片中的人脸区域 坐标及人脸关键点 坐标； 所述人脸关键点 坐标， 包括左眼中心点 坐标、 右眼中心点 坐标和鼻尖坐标； 所述人脸区域 坐标， 包括人脸左上角坐标和人脸右下角坐标； 按人脸区域 坐标对待搜索的人脸图片进行剪 裁， 得到剪裁后的待搜索人脸图像； 步骤2， 利用第 一人脸特征识别模型获取经步骤1剪裁后的待搜索人脸图像的人脸轮廓 特征向量； 步骤3， 利用步骤1得到的待搜索的人脸图片的左眼中心点坐标、 右眼中心点坐标和鼻 尖坐标， 对待搜索人脸图像进 行进一步裁剪， 得到裁剪后的局部人脸图像， 将其作为未被口 罩遮挡的人脸图像； 步骤4， 利用第二人脸特 征识别模型获取 未被口罩遮挡的人脸图像的特 征向量； 步骤5， 将步骤2得到的待搜索人脸图像的人脸轮廓特征向量和步骤4得到的未被口罩 遮挡的人脸图像的特 征向量进行拼接， 形成待搜索的人脸总特 征向量； 步骤6， 将步骤5得到的待搜索的人脸总特征向量与数据库中预先存储的已知人脸图片 对应的人脸特征向量逐一进行相似度比较； 找到相似度满足要求的 已知人脸图片， 再得知 该已知人脸图片所对应的已知相关信息 。 2.根据权利要求1所述的基于口罩遮挡人脸的语义搜索方法， 其特征在于： 步骤2中， 将 步骤1中得到的待搜索人脸图像输入至第一人脸特征识别模 型中， 得到256维的人脸轮廓特 征向量。 3.根据权利要求1所述的基于口罩遮挡人脸的语义搜索方法， 其特征在于： 步骤3中得 到的未被口罩遮挡的人脸图像区域的左上角坐标为(0,0)， 右下角坐标为(wcrop_face_tosearch, max(yleft_eye,yright_eye)+0.6*(ynose‑max(yleft_eye,yright_eye))， 其中wcrop_face_tosearch为步骤1中 的待搜索人脸图像的宽度， yleft_eye是步骤1中提 取的左眼中点的纵坐标， yright_eye是步骤1中 提取的右眼中心点的纵坐标， ynose是步骤1中提取的鼻尖的纵坐标。 4.根据权利要求1所述的基于口罩遮挡人脸的语义搜索方法， 其特征在于： 步骤4中， 获 得的未被口罩遮挡的人脸图像的特 征向量为512维。 5.根据权利要求1所述的基于口罩遮挡人脸的语义搜索方法， 其特征在于： 所述第 一人 脸特征识别模型采用基于U2‑Net网络的人脸特征识别模型， 所述第二人脸特征识别模型采 用基于FaceNet的人脸特 征识别模型。 6.根据权利要求1所述的基于口罩遮挡人脸的语义搜索方法， 其特征在于： 在步骤6 中， 要计算待搜索人脸图片与数据库中已有的人脸图片的人脸相似度分数值， 包括以下步骤： 6.1， 首先计算待搜索的人脸总特征向量与数据库中预先存储的每个已知人脸图片对 应的人脸特 征向量的欧式距离d， 计算公式如下： 其中， fface_tosearch_i表示待搜索的人脸的总特征向量的第i维特征向量， fface_i表示数据 库中人脸特 征向量的第i维特 征向量； 6.2， 根据步骤6.1得到的欧式距离d， 计算出待搜索 人脸图片与数据库中已有的人脸图权　利　要　求　书 1/2 页 2 CN 114842531 A 2片的相似度分数值simi lar_score： 7.根据权利要求6所述的基于口罩遮挡人脸的语义搜索方法， 其特征在于： 将人脸相似 度分数值从 高到低的顺序进行排序， 将排序靠前的k个人脸相似度分数值所对应的k张已知 人脸图片返回给用户， 此k张人脸 就是与用户输入的人脸图片最匹配的k张人脸。 8.根据权利要求6所述的基于口罩遮挡人脸的语义搜索方法， 其特征在于： 设定人脸相 似度分数值阈值， 对大于该阈值的人脸相似度分数值所对应的 已知人脸图片筛选出来， 返 回给用户。 9.根据权利要求1所述的基于口罩遮挡人脸的语义搜索方法， 其特征在于： 数据库中要 预先存储已知的人脸相关信息， 包括以下步骤： a， 在数据库中设立存储字段， 分别用于存储每张人脸图像序列号、 人脸图像信息、 人脸 特征向量； b， 获取n个包含有人脸的人脸 图片， 其中， 每张人脸图片只包含一个人脸， 并且这些人 脸图片对应的人 的相关信息是已知的； 将这些人脸图片输入到人脸检测预训练模型， 输出 得到人脸区域坐标和人脸关键点坐标， 其中， 人脸关键点坐标包括左眼中心 点坐标、 右眼中 心点坐标和鼻尖坐标； 然后按照人脸区域坐标对原始人脸图片进行剪裁， 得到剪裁后的人 脸图像， 并将这些剪裁后的人脸图像按顺序统计每张人脸图像的人脸图像序列号和人脸图 像信息， 记录 到数据库中的相应字段中； c， 将步骤b 中得到的剪裁后的的人脸图像输入至第一人脸特征识别模型中， 得到各人 脸图像各自所对应的25 6维人脸轮廓特 征向量； d， 利用步骤b得到的左眼中心点坐标、 右眼中心点坐标和鼻尖坐标， 对步骤b中得到的 人脸图像进行进一 步裁剪， 得到局部人脸图像； e， 构建区别于步骤c所采用的第一人脸特 征识别模型的第二人脸特 征识别模型； f， 把步骤e得到的局部人脸图像按照人脸图像序列号逐个输入到第 二人脸特征识别模 型， 得到各局部人脸图像各自所对应的512维局部人脸特 征向量； g， 将步骤c得到的人脸轮廓特征向量和步骤f得到的局部人脸特征向量进行拼接， 形成 768维人脸特 征向量， 并逐个存 储到数据库的人脸特 征向量字段中。 10.一种计算机可读存储介质， 其特征在于， 存储有计算机程序， 所述计算机程序被执 行时实现如权利要求1至9中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114842531 A 3