(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210540837.X (22)申请日 2022.05.17 (71)申请人 中南大学 地址 410083 湖南省长 沙市岳麓区麓山 南 路932号 (72)发明人 奎晓燕　刘乃铭　杜华坤　夏佳志　 张潮　 (74)专利代理 机构 长沙永星专利商标事务所 (普通合伙) 43001 专利代理师 周咏　米中业 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 40/16(2022.01) G06V 40/19(2022.01)G06V 40/20(2022.01) G06V 10/82(2022.01) G06Q 50/20(2012.01) (54)发明名称 在线课程的学生参与度实时可视化分析方 法 (57)摘要 本发明公开了一种在线课程的学生参与度 实时可视化 分析方法， 包括实时获取在线课程中 学生的视频； 对视频数据进行预处理提取得到学 生的面部 特征； 从注意力、 情感、 疲劳程度和认知 状态四个方面建立学生参与度分析模 型； 对学生 参与度分析模型的分析结果进行可视化完成在 线课程的学生参与度实时可视化 分析。 本发明使 用计算机视觉方法提取学生面部特征， 然后建立 学生参与度分析模型， 然后使用可视分析方法帮 助教师从多角度分析学生参与度； 相比于传统的 线性查看学生视频方法， 本发明方法可以自动提 取学生参与度信息并进行可视化展示， 可靠性 高、 准确性 好、 实时性高且方便快捷。 权利要求书6页 说明书14页 附图6页 CN 114973126 A 2022.08.30 CN 114973126 A 1.一种在线课程的学生 参与度实时可视化分析 方法， 包括如下步骤： S1.实时获取在线课程中学生的视频； S2.对步骤S1 获取的视频 数据进行 预处理， 从而提取 得到学生的面部特 征； S3.从注意力、 情感、 疲劳程度和认知状态四个方面， 建立学生 参与度分析模型； S4.对步骤S3建立的学生参与度分析模型的分析结果进行可视化， 从而完成在线课程 的学生参与度实时可视化分析。 2.根据权利要求1所述的在线课程的学生参与度实时可视化分析方法， 其特征在于步 骤S1所述的实时获取在线课程中学生的视频， 具体包括如下步骤： 采用摄像头采集在线课程中学生的实时视频； 根据人眼的眨眼频率， 设定每秒采集图像的帧数； 在采集视频开始之前， 采集学生正视屏幕中心和在屏幕中心观察屏幕四周四个顶点 时 的图像{Ic,Ilt,Ilb,Irt,Irb}， 用于头部方向和视线方向的检验； 其中Ic为学生正视屏幕中心 的图像， Ilt为学生在屏幕中心观察屏幕左上角顶点时的图像， Ilb为学生在屏幕中心观察屏 幕左下角顶点时的图像， Irt为学生在屏幕中心观察屏幕右上角顶点时的图像， Irb为学生在 屏幕中心 观察屏幕右下角顶点时的图像。 3.根据权利要求2所述的在线课程的学生参与度实时可视化分析方法， 其特征在于步 骤S2所述的对步骤S1获取的视频数据进行预处理， 从而提取得到学生的面部特征， 具体包 括如下步骤： 在学生所在的客户端进行预处理； 预处理包括人脸识别预处理、 人脸对齐预处理、 情感 识别预处 理、 头部姿态估计预处 理和视线估计预处 理； 其中， 人脸识别预处理为采用深度学习模型检测所采集到的图像中是否存在人脸信 息； 人脸对齐预处理为采用神经网络模型提取所采集的图像中的人脸坐标位置信息； 情感 识别预处理为采用神经网络模型识别学生的实时情感； 所述情感包括愤怒、 自然、 悲伤、 惊 讶、 开心、 厌恶和害怕； 头部姿态估计预处理为采用头部姿态技术从所采集的图像中提取人 的头部姿态角， 并根据头部姿态角判断学生头部与屏幕之间的关系； 视线估计预处理为采 用基于全脸的视线估计算法提取学生的视线方向， 并根据视线方向判断学生视线与屏幕之 间的关系。 4.根据权利要求3所述的在线课程的学生参与度实时可视化分析方法， 其特征在于所 述的人脸识别预处 理， 具体包括如下步骤： 采用多任务级联卷积神经网络深度 学习模型检测图像中是否包含人脸信 息； 多任务级 联卷积神经网络深度学习模型检测出图像中人脸矩阵在图像中的位置(x,y,w,h)， 其中(x, y)表示以图像左上角为坐标原点时人脸矩阵的左上角的坐标， w表示检测到的人脸矩阵所 对应的矩形区域的宽度， h为检测到的人脸矩阵所对应的矩形区域的高度； 具体实施 时， 若 检测得到 了人脸矩阵， 则表示识别到 了人脸信息 。 5.根据权利要求4所述的在线课程的学生参与度实时可视化分析方法， 其特征在于所 述的人脸对齐预处 理， 具体包括如下步骤： 采用级联卷积神经网络模型提取人脸关键点坐标； 提取坐标时， 以图像的左上角为原 点， 提取得到的人脸关键点 坐标为[xi,yi]。 6.根据权利要求5所述的在线课程的学生参与度实时可视化分析方法， 其特征在于所权　利　要　求　书 1/6 页 2 CN 114973126 A 2述的情感识别预处 理， 具体包括如下步骤： 采用ResNet ‑50作为卷积神经网络模型， 并采用FER2013面部表情识别公开数据 集进行 训练， 得到最 终的预处理模型； 预处理模型输出的情感包括愤怒、 自然、 悲伤、 惊 讶、 开心、 厌 恶和害怕。 7.根据权利要求6所述的在线课程的学生参与度实时可视化分析方法， 其特征在于所 述的头部姿态估计预处 理， 具体包括如下步骤： 采用头部姿态估计算法从图像中获取人的头部姿态； 头部姿态用三个欧拉角表示， 分 别为俯仰角、 偏航角和滚转角， 并依次用于表示 点头、 摇头和转头； 采用基于关键点2D投影到3D方法作为头部姿态估计算法， 提取得到的头部姿态； 头部 姿态采用三维向量[Pitch,Yaw,Roll]表示， 其中Pitch为俯仰角， Yaw为偏航角， Roll为滚转 角； 在头部姿态估计预处理前， 进行事先校验； 校验时， 提取学生正视屏幕中心的头部姿态 角， 以及学生的头部在屏幕中心时观 察屏幕四周时的四个方向的头部姿态角； 校验时， 对学 生头部姿态进行比例转换处理， 使 得学生观看屏幕中心时的Pitch值和Yaw值均为0， 学生观 看屏幕上 下沿时头 部的俯仰角和左右沿时的偏航角的绝对值 为0.5； 校验时， 采用如下公式计算校验后的俯仰角Pitch2为 式中Pitch1为检测得到的俯仰角， Pitchc为学生正视屏幕中心时的俯仰角， Pitcht为学生观 看屏幕上边界时的俯仰角； 校验后， 若偏转的角度值大于1， 则直接修 正为最大值1； 最后， 当偏转角度在 ‑0.5～0.5之间时， 认定学生的头 部方向面向屏幕。 8.根据权利要求7所述的在线课程的学生参与度实时可视化分析方法， 其特征在于所 述的视线估计预处 理， 具体包括如下步骤： 采用基于全脸的视线估计算法提取学生的视线方向， 得到学生的视线方向为[X,Y]， 其 中X为视线在水平方向的旋转角度， Y为视线在垂直方向的旋转角度； 在视线估计预处理前， 进行事先校验； 校验时， 提取学生头部在屏幕正中心时注视屏幕 正中和屏幕四周的视线角； 然后根据校验结果， 对视线 数据进行转换， 使 学生观看屏幕中心 时的视线为[0,0]， 学生观看屏幕四周的视线所对应的角度的绝对值 为0.5； 校验时， 采用如下公式计算校验后的视线方向的角度值Y2为 式中Y1 为检测得到的视线方向的角度值， Yc为学生正视屏幕中心时的视线方向的角度值， Yt为学生 观看屏幕上边界时的视线方向的角度值； 校验后， 若视线方向的 的角度值大于1， 则直接修 正为最大值1； 最后， 当视线方向的角度值在 ‑0.5～0.5之间时， 认定学生的注视屏幕。 9.根据权利要求8所述的在线课程的学生参与度实时可视化分析方法， 其特征在于步 骤S3所述的从注意力、 情感、 疲劳程度和认知状态 四个方面， 建立学生参与度分析模型， 具 体包括如下步骤： 注意力方面：权　利　要　求　书 2/6 页 3 CN 114973126 A 3