(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211079758.X (22)申请日 2022.09.05 (71)申请人 河海大学 地址 211100 江苏省南京市江宁开发区佛 城西路8号 (72)发明人 刘小峰　倪蓉蓉　李杰　周旭　 蔡慧丽　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 陆烨 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/20(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于局部多样性驱动深度网络的面部 微表情识别方法 (57)摘要 本发明提供一种基于局部多样性驱动深度 网络的面部微表情识别方法， 具体为： 步骤1： 对 样本数据进行预处理， 所述预处理包括： 计算数 据集中原始图像的原始表情流图像， 对计算得到 的原始表情流图像进行运动细 节增强， 最后对运 动细节增强后的表情流图像进行扩充； 步骤2： 建 立局部多样性的面部微表情识别网络， 从扩充后 的表情流图像中提取微表情相关的特征； 步骤3： 采用softmax分类器对 步骤2中的特征进行分类。 本发明提高了微表情识别的准确性。 权利要求书2页 说明书6页 附图3页 CN 115439911 A 2022.12.06 CN 115439911 A 1.一种基于局部多样性驱动深度网络的面部微表情识别方法， 其特征在于， 该方法具 体包括如下步骤： 步骤1： 对样本数据进行预处理， 所述预处理包括： 计算数据集中原始图像的原始表情 流图像， 对计算得到的原始表情流图像进行运动细节增强， 最后对运动细节增强后的表情 流图像进行扩充； 步骤2： 建立局部多样性的面部微表情识别网络， 从扩充后的表情流图像 中提取微表情 相关的特 征； 步骤3： 采用softmax分类 器对步骤2中的特 征进行分类。 2.根据权利要求1所述的一种基于局部多样性驱动深度网络的面部微表情识别方法， 其特征在于， 所述 步骤1中的预处 理具体为： 步骤1.1： 将数据集中的原始图像的尺寸进行调整， 然后提取微表情的起始帧与峰值帧 之间的面部 肌肉运动属性， 得到微表情的起始帧和峰值帧之间的表情流： It(x， y)＝It+a(x+ut(x， y)δt， y+vt(x， y)δt) 其中， t表示起始帧， It(x,y)表示起始帧中坐标为(x,y)的像素点的光强度， a表示起始 帧与峰值帧之间的间隔时间， ut(x,y)和vt(x,y)分别表示表情流的水平和垂直分量， It+a(x+ ut(x， y)δt， y+vt(x， y)δt)表示峰值帧中坐标为(x+ut(x， y)δt， y+vt(x， y)δt)像素点的光强 度； 步骤1.2： 基于ut(x,y)和vt(x,y)计算应变分量 s： 其中u＝[u(x,y), v(x,y)]T， T表示转置， 表示求导； 根据ut(x,y)， vt(x,y)和s得到原 始表情流图像； 步骤1.3： 对数据 集中的原始的起始帧与峰值帧进行下采样， 并根据步骤1.1和步骤1.2 计算下采样后的起始帧与峰值帧之 间表情流图像； 并将该表情流图像上采样到原始表情流 图像的尺寸， 得到与微表情无关的运动的模糊表情流图像； 步骤1.4： 将原始表情流图像按像素减去模糊表情流图像， 得到与微表情相关的细节表 情流图像； 并将该细节表情流图像按像素加入到原始表情流图像中， 得到运动细节增强的 表情流图像； 步骤1.5： 调 节运动细节增强的表情流图像的水平分量和垂直分量的权重， 并计算相应 的应变分量， 从而对运动细节增强的表情流图像的数量进行扩充。 3.根据权利要求1所述的一种基于局部多样性驱动深度网络的面部微表情识别方法， 其特征在于， 所述局部多样性的面部微表情识别网络包括第一～第 五特征降采样模块， 第 一～第九特征增强模块， 第一自适应池化层以及全连接层； 所述第一特征降采样模块， 第一 特征增强模块， 第二特征降采样模块， 第二特征增强模块， 第三特征增强模块， 第三特征降 采样模块， 第四～第七特征增强模块， 第四特征降采样模块， 第八特征增强模块， 第 五特征 降采样模块， 第九特 征增强模块， 第一自适应池化层以及全连接层依次连接 。 4.根据权利要求3所述的一种基于局部多样性驱动深度网络的面部微表情识别方法， 其特征在于， 所述第一～第 五特征降采样模块结构相同均包括依 次连接的第一卷积层， 第 一批处理归一化层， 最大池化层以及第一P ‑Relu激活函数层。 5.根据权利要求3所述的一种基于局部多样性驱动深度网络的面部微表情识别方法， 其特征在于， 所述特征增强模块用于对微表情相关特征进行增强， 第一～第九特征增强模权　利　要　求　书 1/2 页 2 CN 115439911 A 2块结构相同均包括依次连接的第二卷积层， 第二批处理归一化层， 第三卷积层， 第三批处理 归一化层， 第二P ‑Relu激活函层， 空间通道 注意力模块以及局部多样性特 征挖掘模块。 6.根据权利要求5所述的一种基于局部多样性驱动深度网络的面部微表情识别方法， 其特征在于， 对于 输入特征 X， 所述空间通道注意力模块输出相应的特征 Sa(·)表示空间注意力模块， Ca( ·)表示通道注意力模块； 所述空间注意力模块包括第四、 第五卷积层和sigmoid函数激活； 第四、 第五卷积层将 输入尺寸为C ×H×W的特征， 转化为1 ×H×W的空间注意力地图， 其中C表示通道数， H为高 度， W为宽度， sigmoid函数激活将空间注意力地图与输入特征逐元素相乘， 得到C ×H×W大 小的输出 特征； 所述通道注意力 模块包括第二自适应池化层， 多层感知器和softmax激活函数； 所述第 二自适应池化层将输入尺寸为C ×H×W的特征转化为C维向量， 并将C维向量输入至多层感 知器， 得到通道注意力地图， softmax激活函数层将通道注意力地图与输入特征逐元素相 乘， 得到C×H×W大小的输出 特征。 7.根据权利要求5所述的一种基于局部多样性驱动深度网络的面部微表情识别方法， 其特征在于， 所述局部多样性特征挖掘模块包括第六卷积层， 用于将输入特征转化为模式 特征， 在局部多样性特征挖掘模块中设置局部多样性损失函数Ll‑d， 实现局部多样性特征的 挖掘， Ll‑d的表达式为： 其中， σ2为所有通道间方差， λ为常数， N为模式特征的通道数， fi为模式特征的第i个通 道， Llc的表达式为： 其中τ 为常数， θ(fi)表示第i个通道的激活区域。 8.根据权利要求7所述的一种基于局部多样性驱动深度网络的面部微表情识别方法， 其特征在于， 对局部多样性的面部微表情识别网络和softmax分类器进 行训练时， 损失函数 为： 其中， ω(epoch)为随历元变换的权重， 为所有局部多样性损失Ll‑d的均值， LCE为交 叉熵损失函数， 其中K为样本数， pk表示真实的概率分布， qk表示 预测的概 率分布。权　利　要　求　书 2/2 页 3 CN 115439911 A 3