(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211176037.0 (22)申请日 2022.09.26 (71)申请人 浙江柔灵科技有限公司 地址 311200 浙江省杭州市萧 山区宁围街 道利一路18 8号天人大厦2503 (72)发明人 刘文华　刘冰　徐超立　 (74)专利代理 机构 北京棘龙知识产权代理有限 公司 11740 专利代理师 尹立 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/16(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于3D头部姿态估计的青少年专注度 评价方法 (57)摘要 本发明涉及专注度 识别技术领域， 且公开了 一种基于3D头部姿态估计的青少年专注度评价 方法， 包括以下步骤： S1、 在教室多方位安装摄像 头， 用于采集教室中学生上课视频数据； S2、 对采 集的视频数据进行预处理， 将采集视频数据保存 为图片； S3、 通过labeling对人脸数据进行boxes 标注； S4、 搭建yolov5模型， 训练头部检测模型。 通过使用模型剪枝量化技术， 使模型更轻量， 在 高分辨率的视频数据可以达到实时效果， 从而实 时关注学生的专注度。 使用3D头部姿态估计技术 可以实现任意角度的姿态估计， 以适应不同的场 景， 在训练中使用了单独标注的学生数据， 模型 精度更高。 根据教室高密度场景设计了非常轻量 的slimpe‑net网络， 在满足精度的同时减少识别 时间。 权利要求书1页 说明书4页 附图1页 CN 115497025 A 2022.12.20 CN 115497025 A 1.一种基于 3D头部姿态估计的青少年专 注度评价方法， 其特 征在于， 包括以下步骤： S1、 在教室多方位 安装摄像头， 用于采集教室中学生上课 视频数据； S2、 对采集的视频 数据进行 预处理， 将采集视频 数据保存为图片； S3、 通过label ing对人脸数据进行boxes标注； S4、 搭建yo lov5模型， 训练头 部检测模型； S5、 对保存的模型yo lov5进行剪枝， 量 化， 并保存 模型； S6、 构建卷积神经网络simple ‑net； S7、 下载数据300W ‑LP对模型进行初始训练， 对采集的数据进行头部姿态估计， 并保存 标签， 建立人工矫 正标签， 重新训练模型， 得到 头部姿态估计模型并保存。 2.根据权利要求1所述的一种基于3D头部姿态估计的青少年专注度评价方法， 其特征 在于： 所述采集视频 数据对应实时人脸图像， 图像处 理包括： 确定实时对应的人脸图像视频； 视频采集时间与人脸图像视频时间同步； 依据预设的截取频率及时间间隔， 对采集的实时人脸图像视频进行跟踪截取， 提取人 脸图像视频中人脸图像。 3.根据权利要求2所述的一种基于3D头部姿态估计的青少年专注度评价方法， 其特征 在于： 提取每幅人脸图像的特征点， 并对提取的所述特征点进 行处理， 通过labeling对 人脸 数据进行boxes标注。 4.根据权利要求3所述的一种基于3D头部姿态估计的青少年专注度评价方法， 其特征 在于： 所述 通过label ing对人脸数据进行boxes标注的具体过程 为： 读取摄像头视频数据， 确定图像数据特 征点； 对实时人脸图像进行yo lov5人脸检测， 搭建yo lov5模型； 根据simple ‑net对人脸进行姿态估计， 获得统计学 上上课头部姿态； 依据预设的人脸图像专注程度类别与专注度值区间之间的映射关系， 将所述采集人脸 图像对应的专注程度类别 设为所述实时人脸图像所属的预设专注度值区间所映射的专注 程度类别； 得到学生上课专 注度。 5.根据权利要求1所述的一种基于3D头部姿态估计的青少年专注度评价方法， 其特征 在于： 所述 步骤5的具体过程 为： 对采集视频 数据进行 数据保存， 将数据进行 标注分流； 包括进行yolov5模型训练， 对训练模型保存， 根据保存模型进行剪枝量化， 并对剪枝量 化模型进行保存； 还包括根据人脸头部姿态估计打标签， 确定人工矫正有误标签， 根据simple ‑net对人 脸进行姿态模型训练， 进行模型保存。 6.根据权利要求1所述的一种基于3D头部姿态估计的青少年专注度评价方法， 其特征 在于： 所述卷积神经网络simple ‑net网络结构设置为9层。 7.根据权利要求6所述的一种基于3D头部姿态估计的青少年专注度评价方法， 其特征 在于： 所述卷积神经网络simple ‑net网络结构全部使用卷积。权　利　要　求　书 1/1 页 2 CN 115497025 A 2一种基于3D头部姿态估计的青少年专注度评价 方法 技术领域 [0001]本发明涉及专注度识别技术领域， 具体为一种基于3D头部姿态估计的青少年专注 度评价方法。 背景技术 [0002]人工智能技术进入校园， 带来的重要变化之一是： 用数据丈量课堂， 课堂关注度在 衡量课堂质量、 优化教学设计方面的价值受到教育工作者的认可， 课堂上学生的专注力如 此重要， 传统课堂缺少工具帮助老师了解学生是否进入学习状态。 在这种情况下， 课堂专注 度应用而生， 以时间反应了课堂上学生专注力变化的趋势， 以及在哪个时间专注度最高， 哪 个时间度最低。 学生是否集中注意力， 会透过他们的头部行为体现出来。 例如， 老师在讲课 时， 学生抬头听讲被看作是注 意的集中表现， 所以， 判断学生在课堂上头部姿态是计算课堂 专注度的重要依据。 [0003]目前基于计算机视觉的方法是通过人脸关键点去估计头部姿态， 由于在教室场景 中人脸小/遮挡/光照/等因素影响， 很难检测出人脸关键点， 而在3D空间中， 表示物体的旋 转可以由三个欧拉角来表示： 分别计算pitch(围绕X轴旋转),yaw(围绕y轴旋转)和roll(围 绕Z轴旋转)， 如图1， 通过计算三个自由度， 很容易估计出头部各个姿态， 从而适应与不同的 场景。 基本都是基于计算机视觉人脸关键点计算头部姿态或对头部几个姿态打标签训练一 个多分类模型， 通过人脸关键点对遮挡 人脸和侧 脸人脸效果特别差， 通过头部几分类打标 签， 使用性差， 估计的姿态有限， 应用范围比较小。 发明内容 [0004]针对现有技术的不足， 本发明提供了一种基于3D头部姿态估计的青少年专注度评 价方法， 具备模型轻量化， 在高分辨率的视频数据可以达到实时效果， 从而实时关注学生的 专注度， 使用3D头部姿态估计技术可以实现任意角度的姿态估计， 以适应不同的场景 的优 点。 [0005]为实现上述目的， 本发明提供如下技术方案： 一种基于3D头部姿态估计 的青少年 专注度评价方法， 包括以下步骤： [0006]S1、 在教室多方位 安装摄像头， 用于采集教室中学生上课 视频数据； [0007]S2、 对采集的视频 数据进行 预处理， 将采集视频 数据保存为图片； [0008]S3、 通过label ing对人脸数据进行boxes标注； [0009]S4、 搭建yo lov5模型， 训练头 部检测模型； [0010]S5、 对保存的模型yo lov5进行剪枝， 量 化， 并保存 模型； [0011]S6、 构建卷积神经网络simple ‑net； [0012]S7、 下载数据300W ‑LP对模型进行初始训练， 对采集的数据进行头部姿态估计， 并 保存标签， 建立人工矫 正标签， 重新训练模型， 得到 头部姿态估计模型并保存。 [0013]优选的， 所述采集视频 数据对应实时人脸图像， 图像处 理包括：说　明　书 1/4 页 3 CN 115497025 A 3