(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210358453.6 (22)申请日 2022.04.06 (71)申请人 深圳锐取信息技 术股份有限公司 地址 518000 广东省深圳市南 山区粤海街 道科技园社区科丰路2号特发信息港 大厦A栋6楼北及7楼北 (72)发明人 廖海　瞿新　谢金元　 (74)专利代理 机构 深圳中细软知识产权代理有 限公司 4 4528 专利代理师 袁文英 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/10(2022.01) G06V 20/40(2022.01) G06V 20/52(2022.01) (54)发明名称 一种高效识别课堂学生私语行为的方法以 及装置 (57)摘要 本发明实施例公开了一种高效识别课堂学 生私语行为的方法以及装置， 其中所述方法包 括： 获取课堂学生的预设时长内的录像视频流， 识别所述录像视频流中的每一视频帧中人物对 象的脸部与头部之间的位置关系、 身体中心点和 头部中心点； 通过连续视频帧中的同一个人物对 象的身体中心点和头部中心点检测所述人物对 象的第一移动方向、 第二移动方向、 第一移动距 离以及第二移动距离； 根据所述头部与脸部之间 的位置关系、 所述第一移动方向、 所述第二移动 方向、 所述第一移动距离以及所述第二移动距 离， 确定疑似对象； 根据所述疑似对象之间的位 置关系， 确定进行私语行为的目标对象。 权利要求书3页 说明书13页 附图4页 CN 114882583 A 2022.08.09 CN 114882583 A 1.一种高效识别课 堂学生私语行为的方法， 其特 征在于， 所述方法包括： 获取课堂学生的预设时长 内的录像视频流， 识别所述录像视频流中的每一视频帧中人 物对象的脸部与头部之间位置关系、 身体中心点以及头部中心点； 所述身体中心点为人物 对象的双肩中心位置； 所述头 部中心点 为人物对象的头 部中心位置； 通过连续视频帧中的同一个人物对象的身体中心点以及头部中心点检测所述人物对 象的第一移动方向、 第二移动方向、 第一移动距离以及第二移动距离； 所述第一移动方向为 身体中心点的移动方向； 所述第二移动方向为头部中心点的移动方向； 所述第一移动距离 为身体中心点移动的距离； 所述第二移动距离为头 部中心点移动的距离； 根据所述脸部与头部之间位置关系、 所述第一移动方向、 所述第二移动方向、 所述第一 移动距离以及所述第二移动距离， 确定 疑似对象； 根据所述疑似对象之间的位置 关系， 确定 进行私语行为的目标对象； 所述疑似 对象为疑似进行私语行为的人物对象。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述脸部与头部之间位置关系、 所述第一移动方向、 所述第二移动方向、 所述第一移动距离以及所述第二移动距离， 确定疑 似对象， 包括： 当预设时长 内脸部在头部的左侧或者右侧、 第 一移动方向与 水平线方向构 成的角度小 于阈值度数、 第一移动距离大于阈值距离以及第二移动方向与第一移动方向一致时， 则所 述人物对象为第一类疑似 对象； 当预设时长内脸部在头部的左侧或者右侧、 第一移动距离为零、 第二移动方向与水平 线方向构成的角度小于阈值度数以及第二移动距离大于阈值距离时， 则所述人物对象为第 二类疑似 对象； 当预设时长内脸部在头部的左侧或者右侧、 第一移动距离与第二移动距离都为零时， 则所述人物对象为第三类疑似 对象。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述疑似对象之间的位置关系， 确定进行私语行为的目标对象， 包括： 遍历第一类疑似对象， 将遍历到的第一类疑似对象作为第一目标对象， 根据所述第一 目标对象与其他剩余疑似对 象的位置关系， 确定所述第二 目标对象； 所述第一目标对 象为 疑似进行私语行为的发起者； 所述其他剩余疑似对象包括： 第二类疑似对象、 第三类疑似对 象， 及未遍历到的第一类疑似对 象； 所述第二 目标对象为与第一 目标对象进行私语行为的 响应者。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述第 一目标对象与其他剩余疑 似对象的位置关系， 确定所述第二目标对象， 包括： 从所述其他剩余疑似对象中获取候选疑似对象， 所述候选疑似对象为在预设时长内， 身体中心点离所述第一目标对象的身体中心点的距离小于预设距离的疑似 对象； 当所述候选疑似对象为第 一类疑似对象时， 识别所述候选疑似对象的第 一移动方向是 否与第一目标对象的第一移动方向相向、 所述候选 疑似对象的第一移动方向与所述第一目 标对象的第一移动方向构成的夹角是否小于第一预设夹角以及所述候选疑似对 象的脸部 与头部之 间的位置 关系是否与所述第一目标对象的脸部与头部之 间的位置 关系相对， 若 所 述候选疑似对象的第一移动方向与第一目标对象的第一移动方向相向、 所述候选疑似对象 的第一移动方向与所述第一目标对 象的第一移动方向构成的夹角小于第一预设夹角以及权　利　要　求　书 1/3 页 2 CN 114882583 A 2所述候选疑似对象的脸部与头部之间的位置关系与所述第一目标对 象的脸部与头部之间 的位置关系相对， 则所述 候选疑似 对象为第二目标对象； 当所述候选疑似对象为第 二类疑似对象时， 识别所述候选疑似对象的第 二移动方向是 否与第一目标对象的第一移动方向相向、 所述候选 疑似对象的的第二移动方向与所述第一 目标对象的第一移动方向构成的夹角是否小于第二预设夹角以及所述候选疑似对 象的脸 部与头部之 间的位置关系是否与所述第一目标对象的脸部与头部之 间的位置关系相对， 若 所述候选疑似对象的第二移动方向与第一目标对象的第一移动方向相向、 所述候选 疑似对 象的的第二移动方向与所述第一目标对 象的第一移动方向构成的夹角小于第二预设夹角 以及所述候选疑似对 象的脸部与头部之间的位置关系与所述第一目标对 象的脸部与头部 之间的位置关系相对， 则确定所述 候选疑似 对象为第二目标对象； 当所述候选疑似对象为第 三类疑似对象时， 识别所述候选疑似对象的身体中心点与头 部中心点连接的直线与所述第一目标对 象的第一移动方向构成的角度是否小于阈值角度 以及所述候选疑似对 象的脸部与头部之间的位置关系是否与所述第一目标对 象的脸部与 头部之间的位置关系相对， 若 所述候选 疑似对象的身体中心 点与头部中心 点连接的直线与 所述第一目标对象的第一移动方向构成的角度小于阈值角度以及所述候选疑似对 象的脸 部与头部之 间的位置关系与所述第一目标对象的脸部与头部之 间的位置关系相对， 则确定 所述候选疑似 对象为第二目标对象。 5.根据权利要求1所述的方法， 其特征在于， 所述通过连续视频帧中的同一个人物对象 的身体中心点和头 部中心点检测所述人物对象的第一移动方向、 第二移动方向， 包括： 根据同一个人物对象在上一帧视频帧中的身体中心点的图像坐标与下一帧视频帧的 身体中心点的图像坐标， 计算上一帧视频帧中的身体中心点与下一帧视频帧的身体中心 点 连接构成的第一直线方程， 确定各相 邻视频帧确定的各所述第一直线方程的斜率是否处于 第一范围内， 若处于所述第一范围内， 则将所述斜率为中心值的第一直线方程所指向的方 向确定为第一移动方向； 第一范围为以各所述第一直线方程的斜率的中心值为中心， 加减 预设数值构成的范围； 根据同一个人物对象在上一帧视频帧中的头部中心点的图像坐标与下一帧视频帧的 头部中心点的图像坐标， 计算上一帧视频帧中的头部中心点与下一帧视频帧的头部中心 点 连接构成的第二直线方程， 确定各相 邻视频帧确定的各所述第二直线方程的斜率是否处于 第二范围内， 若处于所述第二范围内， 则将所述斜率为中心值的第二直线方程所指向的方 向确定为第二移动方向； 第二范围为以各所述第二直线方程的斜率的中心值为中心， 加减 预设数值构成的范围。 6.根据权利要求1所述的方法， 其特征在于， 所述通过连续视频帧中的同一个人物对象 的身体中心点和头 部中心点检测所述人物对象的第一移动距离、 第二移动距离， 包括： 当确定了第 一移动方向后， 根据同一个人物对象在所述上一帧视频帧中的身体中心点 的图像坐标与下一帧视频帧的身体中心 点的图像坐标， 将根据相 邻两帧确定的身体中心 点 的图像坐标计算相邻两 帧确定的身体中心点之间的直线距离进行累加得到所述人物对 象 的第一移动距离； 当确定了第 二移动方向后， 根据同一个人物对象在所述上一帧视频帧中的头部 中心点 的图像坐标与下一帧视频帧的头部中心 点的图像坐标， 将根据相 邻两帧确定的头部中心 点权　利　要　求　书 2/3 页 3 CN 114882583 A 3