(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211310684.6 (22)申请日 2022.10.25 (71)申请人 南京邮电大 学 地址 210023 江苏省南京市栖霞区文苑路9 号 (72)发明人 楼亦墨　卢官明　 (74)专利代理 机构 南京苏科专利代理有限责任 公司 32102 专利代理师 姚姣阳 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于多特征的人脸表情识别方法和系 统 (57)摘要 本发明公开了一种基于多特征的人脸表情 识别方法和系统， 该方法包含以下步骤： 建立多 特征人脸表情数据库； 构建基于多特征注意力融 合的卷积神经网络模型； 使用人脸表情数据库中 的训练集对多特征注意力融合的卷积网络进行 训练； 以及利用训练好的模型对来自测试集中的 人脸图片进行表情识别。 本发明基于多特征注意 力融合的人脸表情识别方法和系统， 避免了人脸 关键属性如性别、 年龄特征等被无关特征所掩 盖， 加强了 数据之间的关联、 比较， 从而提高了情 感识别的准确率。 权利要求书2页 说明书5页 附图1页 CN 115546869 A 2022.12.30 CN 115546869 A 1.一种基于多特 征的人脸表情识别方法， 该 方法包含以下步骤： 步骤1： 建立多特 征人脸表情数据库； 步骤2： 构建基于多特 征注意力融合的卷积神经网络模型； 步骤3： 使用人脸表情数据库中的训练集对多特征注意力融合的卷积网络进行训练； 以 及 步骤4： 利用训练好的模型对来自测试集中的人脸图片进行表情识别， 输出表情类别。 2.根据权利要求1所述的方法， 其特征在于： 在步骤1中， 从原始图片数据集中提取出每 张图片中的人脸属性数据： 性别， 年龄， 并将这些人脸属 性数据与图片一一对应， 从而建立 多特征人脸表情数据库。 3.根据权利要求1所述的方法， 其特征在于： 在步骤2中， 所述卷积神经网络模型包括数 据处理层、 第一特征提取模块、 第二特征提取模块、 全局最大池化层、 自注意力融合层、 全连 接层。 4.根据权利要求3所述的方法， 其特征在于： 步骤2中的所述数据处理层用于对输入的 图像进行 预处理， 输出大小归一 化后的人脸图像。 5.根据权利要求4所述的方法， 其特征在于： 步骤2中的所述第一特征提取模块， 用于提 取人脸图像的浅层特征——将数据处理层处理后的图像作为特征提取模块的输入， 通过前 向传播经过第一层卷积层， 并经过卷积、 激活一系 列操作后， 图像由3通道图像变为M通道特 征图： 其中i＝1,2,3,…,M,M≥4， 其中， H0为特征图的高， W0表示特征图的宽； 所述第二特征提取模块， 用于提取人脸图像的深层特征——深层特征提取模块将上一卷积 层输出的特征图作为输入， 并使用N个卷积核对输入特征图进行卷积、 激活等操作， 进而得 到N通道特征图： 这里i＝1,2,3, …,N。 6.根据权利要求5所述的方法， 其特征在于： 步骤2中的所述全局最大池化层， 用于提取 特征图V的全局特征——全局最大池化层以特征图V作为输入， 通过提取每个特征图中的最 大值作为该 特征图全局特 征； 经过池化操作后的数值个数与特 征图V的通道数保持一 致。 7.根据权利要求6所述的方法， 其特征在于： 步骤2中的所述自注意力融合层， 用于将人 脸属性： 年龄， 性别与特征图特征进 行交互、 加权融合——特征图的全局特征数目为N,人脸 属性特征数据为： 性别、 年龄； 即自注意力层的输入为： Featurei,i∈[1,N]， 经过各特征之 间交互、 加权融合调整后输出为Outputi,i∈[1,N]； 所述全连接层， 用于对将N维特征映射 到与情绪类别相同的维度； 全连接层用于映射空间的转换， 通过全连接层的映射， 将自注 意 力层的N维特 征映射为与类别数C相等的C维空间， 以达 到分类的目的。 8.根据权利要求7所述的方法， 其特征在于： 设数据源为Source有一系列键值对<Key, Value>构成， 其查询有三个基本元素： 查询(Query)， 键(Key)， 值(Value)， 注意力数值计算 过程如下： 计算每一个Query和各个Key的相关性从而得到Key,Value之间的权重系数， 接着将权 重及与其相对应的Value进行加权求和， 可以认为， 注意力机制的本质是由查询到一系列 键‑值对的映射， 其数 学形式如下： 权　利　要　求　书 1/2 页 2 CN 115546869 A 2其中， Lx＝||Source||代表数据源长度； 具体而言， 在第一阶段， 逐个计算查询Query和 键Key之间的相关性从而得 出Key， Value之间对应的系数， 相关性计算方法有： Sim(Q,Ki)＝Q·Ki Sim(Q,Ki)＝MLP(Q,Ki) 第二阶段， 引入类Softmax函数对权 重进行归一 化处理， 从而突出重要元 素： 第三阶段， 将权 重ai和相应的Value加权平均从而得 出最终的注意力值， 如下 所示： 9.根据权利要求2所述的方法， 其特征在于： 所述池化层与多特征注意力融合， 与局部 池化方法相比， 全局池化能够有效降维： 设当前特征图矩阵为Featurew×h， 全局平均池化的 数学形式为： 全局最大池化的数 学形式为： OutputFeature＝Max(Featurei,j)i∈[1,w],j∈[1,h]。 10.一种基于多特征的人脸表情识别系统， 其特征在于， 包括至少一台计算机设备， 该 设备拥有存储器、 处理器和存储在 存储器并可在CPU 上运行的计算机程序， 该程序被加载至 处理器时， 可实施权利要求1 ‑9任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115546869 A 3