(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210559893.8 (22)申请日 2022.05.23 (65)同一申请的已公布的文献号 申请公布号 CN 114724229 A (43)申请公布日 2022.07.08 (73)专利权人 北京英华在线科技有限公司 地址 100070 北京市大兴区黄 村镇京良路1 号2幢2层213室 (72)发明人 杨剑宁　李超　赵勰　范仁龙　 (74)专利代理 机构 北京知汇林知识产权代理事 务所(普通 合伙) 11794 专利代理师 叶晨晖 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/52(2022.01)G06Q 10/10(2012.01) G06Q 50/20(2012.01) (56)对比文件 CN 112883851 A,2021.0 6.01 CN 105739707 A,2016.07.0 6 CN 10934 4682 A,2019.02.15 WO 2013039062 A1,2013.0 3.21 审查员 孙娟 (54)发明名称 在线教育平台用的学习状态检测系统及方 法 (57)摘要 本发明涉及在 线教育技术领域， 提供了一种 在线教育平台用的学习状态检测系统及方法， 包 括： 采集模块， 用于采集学生在学习时的实时图 像数据， 以及学生的正面图像数据和侧面图像数 据； 特征信息获取模块， 用于获取实时图像数据、 正面图像数据和侧面图像数据中的特征信息； 数 据处理模块， 用于根据实时面部占比 △S与正面 面部占比Sa和侧面面部占比Sb之间的关系判断 学生实时的学习状态； 报警模块， 用于输出提示 信息和报警信息。 本方明将实时面部位置变化后 的面部占比与正面面部占比和侧面面部占比进 行比对， 根据比对结果判断学生当前的学习状 态， 从而在学生进行线上课程学习时， 及时的根 据学生的实时学习状态进行警示和提醒， 使其能 够专心的进行 学习。 权利要求书7页 说明书18页 附图3页 CN 114724229 B 2022.09.02 CN 114724229 B 1.一种在线教育平台用的学习状态检测系统， 其特 征在于， 包括： 采集模块， 用于实时采集学生在学习时的实时图像数据， 还用于采集所述学生的正面 图像数据和 侧面图像数据； 特征信息获取模块， 用于获取所述实时图像数据、 正面图像数据和侧面图像数据中的 特征信息； 其中， 所述特征信息获取模块还用于在获取所述特征信息时， 分别从所述实时图像数据、 正 面图像数据和侧 面图像数据中提取一图像 帧， 确定每一所述图像 帧中的面部区域， 并在所 述图像帧中设置一包含所述面部区域的矩形框， 所述矩形框的宽度与所述面部区域的最大 宽度相等， 所述矩形框的高度与所述面部区域的最大高度相等， 确定每一所述矩形框中的 面部区域的面积占比， 以获取所述 实时图像数据中的实时面部占比 △S、 正面图像数据中的 正面面部占比Sa和 侧面图像数据中的侧面 面部占比Sb； 数据处理模块， 用于根据所述实时面部占比 △S与所述正面面部占比Sa和侧面面部占 比Sb之间的关系 判断所述学生实时的学习状态： 当△S=Sa时， 则判断所述学生当前为 正常学习状态； 当(Sa+Sb)/2≤ △S＜Sa时， 则判断所述学生为待确认学习状态， 并在间隔预设时长后， 再次判断所述学生当前的学习状态； 当Sb≤△S＜(Sa+Sb)/2时， 则判断所述学生 为异常学习状态； 当△S＜Sb时， 则判断所述学生 为未学习状态； 报警模块， 用于在判断所述学生为异常学习状态时， 输出提示信 息； 还用于在判断所述 学生为未学习状态时， 输出报警信息； 所述数据处理模块还用于设定第一预设面部占比S1、 第二预设面部占比S2、 第三预设 面部占比S3和第四预设面部占比S4， 且(Sa+Sb)/2＜S1＜S2＜S3＜S4＜Sa； 所述数据处理模 块还用于设定第一预设时长T1、 第二预设时长T2、 第三预设时长T3、 第一预设时长T4和第五 预设时长T5， 且T1＜ T2＜T3＜T4＜T5； 所述数据处理模块还用于当(Sa+Sb)/2≤ △S＜Sa， 判断所述学生为待确认学习状态， 并在间隔预设时长， 再次判断所述学生当前的学习状态时， 根据所述实时面部占比 △S与各 预设时长之间的关系设定再次判断所述学生当前的学习状态时的间隔时长： 当△S≤S1时， 则将再次判断所述学生当前的学习状态时的间隔时长设定为第一预设 时长T1； 当S1＜△S≤S2时， 则将再次判断所述学生当前的学习状态时的间隔时长设定为第二 预设时长T2； 当S2＜△S≤S3时， 则将再次判断所述学生当前的学习状态时的间隔时长设定为第三 预设时长T3； 当S3＜△S≤S4时， 则将再次判断所述学生当前的学习状态时的间隔时长设定为第四 预设时长T4； 当S4＜△S＜Sa时， 则将再次判断所述学生当前的学习状态时的间隔时长设定为第五 预设时长T5， 且T5 =T1+T4； 在将再次判断所述学生当前的学习状态时的间隔时长设定为第x预设时长Tx后， x=1， 2， 3， 4， 5， 则在间隔第x预设时长Tx后， 再次获取实时面部占比 △S， 以根据再次获取的实时权　利　要　求　书 1/7 页 2 CN 114724229 B 2面部占比 △S判断所述学生当前的学习状态； 所述特征信 息获取模块还用于在确定所述图像帧中的面部区域后， 分别确定面部区域 的左眼、 右眼和鼻尖的中心点位置， 并分别获取双眼之间的间距、 左眼与鼻尖之间的间距、 右眼与鼻尖之 间的间距、 左眼与图像帧右侧边缘之 间的间距以及右眼与图像帧左侧边缘之 间的间距； 所述数据处理模块还用于根据 所述正面图像数据建立正面图像距离信 息矩阵L0， 设定 L0 （L1， L2， L3， L4， L5） ， 其中， L1为正面图像数据中双眼之间的间距， L2为正面图像数据中右 眼与鼻尖之间的间距， L3为正面图像数据中左眼与鼻尖之间的间距， L4为正面图像数据中 右眼与图像帧左侧边缘之 间的间距， L5为正面图像数据中左眼与图像帧右侧边缘之 间的间 距； 所述数据处理模块还用于根据第n时刻获取的实时图像数据建立第n距离信息矩阵Pn， 设定Pn （Pn1， Pn2， Pn3， Pn4， Pn5） ， 其中， Pn1为第 n时刻双眼之间的间距， Pn2为第n 时刻右眼 与鼻尖之间的间距， Pn3为第n时刻左眼与鼻尖之间的间距， Pn4为第n时刻右眼与第n图像帧 左侧边缘之间的间距， Pn5为第n时刻左眼与第n图像帧右侧边 缘之间的间距； 所述数据处理模块还用于设定第一预设距离差值A1、 第二预设距离差值A2、 第三预设 距离差值A3和第四预设距离 差值A4， 且A1＜A 2＜A3＜A4； 所述数据处理模块还用于在判断所述学生为待确认学习状态， 并在间隔所述第x预设 时长Tx后， 再次判断所述学生当前的学习状态时， 根据L1、 L2、 L3、 L4和L5分别与Pn1、 Pn2、 Pn3、 Pn4和Pn5 之间的差值之和确定第n时刻时所述学生的学习状态， 并在根据L1、 L2、 L3、 L4 和L5分别与Pn1、 Pn2、 Pn3、 Pn4和Pn5之间的差值之和确定第n时刻时所述学生的学习状态 时， 将L1、 L2、 L3、 L4和L5分别与Pn1、 Pn2、 Pn3、 Pn4和Pn5之间的差值之和与 各预设距离差值 进行比对， 根据比对结果确定所述学生当前的学习状态： 当[(L1‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5 ‑Pn5)]＜A1时， 则判断所述学生当前 为正常学习状态； 当A1≤[(L1 ‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]＜A2时， 则判断所述学生 当前为待确认学习状态； 当A2≤[(L1 ‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]＜A3时， 则判断所述学生 当前为异常学习状态； 当A3≤[(L1 ‑Pn1)+(L2‑Pn2)+(L3‑Pn3)+(L4‑Pn4)+(L5‑Pn5)]＜A4时， 则判断所述学生 当前为未 学习状态。 2.根据权利要求1所述的在线教育平台用的学习状态检测系统， 其特 征在于， 所述特征信息获取模块还用于在获取所述实时图像数据时， 获取第n时刻的实时图像 数据， 并从所述第n时刻的实时图像数据中获取第n时刻实时面部占比 △Sn； 所述数据处理模块还用于在将L1、 L2、 L3、 L4和L5分别与Pn1、 Pn2、 Pn3、 Pn4和Pn5之间的 差值之和与各预设距离差值进 行比对， 并根据比对 结果确定学习状态时， 根据所述第n时刻 实时面部占比 △Sn与第n‑1时刻实时面部占比 △Sn‑1之间的差值对L1、 L2、 L3、 L4和L5分别与 Pn1、 Pn2、 Pn3、 Pn 4和Pn5之间的差值之和进行修 正； 其中， 所述数据处理模块还用于设定第一预设占比差值m1、 第二预设占比差值m2、 第三预设 占比差值m3和第四预设占比差值m4， 且m1＜m2＜m3＜m4； 所述数据处理模块还用于设定第权　利　要　求　书 2/7 页 3 CN 114724229 B 3