(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210420579.1 (22)申请日 2022.04.20 (71)申请人 西安商汤智能科技有限公司 地址 710075 陕西省西安市西咸 新区沣西 新城西部云谷二期1号楼15层15 01室 (72)发明人 杨慧　孙其功　马堃　吴杰　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 何倚雯 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/52(2022.01) (54)发明名称 动作识别方法、 动作识别装置以及计算机可 读存储介质 (57)摘要 本申请提供一种动作识别方法、 动作识别装 置以及计算机可读存储介质。 该动作识别方法包 括： 获取用户的脸部图像， 其中， 所述脸部图像至 少包括脸部热力图； 在所述脸部图像中定位嘴巴 区域； 获取所述脸部热力图中嘴巴区域对应的部 分图像的温度值； 在所述 温度值大于第一温度阈 值或小于第二温度阈值的情况下， 确定所述用户 处于嘴巴运动状态； 其中， 所述第一温度阈值大 于所述第二温度阈值。 通过上述方式， 动作识别 装置可以通过热力图中的温度数据判断用户的 嘴巴运行情况， 不受光线干扰， 能够获得高精度 的识别结果， 得到更好的鲁棒 性。 权利要求书2页 说明书8页 附图4页 CN 114926875 A 2022.08.19 CN 114926875 A 1.一种动作识别方法， 其特 征在于， 所述动作识别方法包括： 获取用户的脸部图像， 其中， 所述 脸部图像至少包括 脸部热力图； 在所述脸部图像中定位嘴巴区域； 获取所述脸部热力图中嘴巴区域对应的部分图像的温度值； 在所述温度值大于第 一温度阈值或小于第 二温度阈值的情况下， 确定所述用户处于嘴 巴运动状态； 其中， 所述第一温度阈值大于所述第二温度阈值。 2.根据权利要求1所述的动作识别方法， 其特 征在于， 所述在所述温度值大于第 一温度阈值或小于第 二温度阈值的情况下， 确定所述用户处 于嘴巴运动状态， 包括： 在所述温度值大于所述第一温度阈值的情况 下， 确定所述用户处于张嘴状态； 在所述温度值小于所述第二温度阈值的情况 下， 确定所述用户处于闭嘴状态。 3.根据权利要求1所述的动作识别方法， 其特 征在于， 所述脸部图像还 包括脸部可见光图； 所述在所述 脸部图像中定位嘴巴区域， 包括： 获取所述脸部可见光图的人脸关键点； 基于所述人脸关键点中的嘴巴关键点定位所述嘴巴区域。 4.根据权利要求3所述的动作识别方法， 其特 征在于， 所述基于所述人脸关键点中的嘴巴关键点定位所述嘴巴区域， 包括： 获取所述嘴巴关键点的外 接矩阵； 利用所述外接矩阵在所述脸部可见光图上生成嘴巴区域框， 所述嘴巴区域框包围所述 嘴巴区域； 将所述脸部可见光图的嘴巴区域框映射到所述脸部热力图， 从而定位所述脸部热力图 上的嘴巴区域。 5.根据权利要求1或3所述的动作识别方法， 其特 征在于， 所述获取用户的脸部图像， 包括： 获取监控图像； 获取所述监控图像中的人脸关键点； 基于所述人脸关键点定位所述 监控图像中的人脸区域； 按照所述人脸区域对所述 监控图像进行裁 剪， 获取所述脸部图像。 6.根据权利要求1所述的动作识别方法， 其特 征在于， 所述动作识别方法还 包括： 获取连续多帧脸部图像； 在所述连续多帧脸部图像的至少一帧脸部图像中存在所述用户处于嘴巴运动状态的 行为时， 执 行预设指令 。 7.根据权利要求6所述的动作识别方法， 其特 征在于， 所述在所述连续多帧脸部图像的至少一帧脸部图像中存在所述用户处于嘴巴运动状 态的行为时， 执 行预设指令， 包括： 按照所述连续多帧脸部图像的时间顺序， 检测每一帧脸部图像中是否存在所述用户处权　利　要　求　书 1/2 页 2 CN 114926875 A 2于嘴巴运动状态的行为； 若是， 嘴巴运动次数累计加1； 在所述嘴巴运动次数累计达 到预设次数时， 执 行预设指令 。 8.根据权利要求7 所述的动作识别方法， 其特 征在于， 所述动作识别方法， 还 包括： 在检测到当前帧脸部图像存在所述用户处于嘴巴运动状态的行为 时， 获取当前帧脸部 图像的第一时间戳； 获取上一帧存在所述用户处于嘴巴运动状态的行为的脸部图像的第二时间戳； 判断所述第一时间戳与所述第二时间戳的差值是否超出 预设时间阈值； 若是， 重置所述嘴巴运动次数。 9.根据权利要求7 所述的动作识别方法， 其特 征在于， 所述在所述嘴巴运动次数累计达 到预设次数时， 执 行预设指令， 包括： 在所述嘴巴运动 次数累计达到第一预设次数时， 执行第一预设指令， 基于所述第一预 设指令显示预设交 互界面； 在所述嘴巴运动 次数累计达到第二预设次数时， 执行第二预设指令， 基于所述第二预 设指令输出报警信息； 其中， 所述第一预设次数小于所述第二预设次数。 10.根据权利要求7 所述的动作识别方法， 其特 征在于， 所述在所述嘴巴运动次数累计达 到预设次数时， 执 行预设指令， 包括： 在所述嘴巴运动 次数累计达到第三预设次数时， 执行第一预设指令， 基于所述第一预 设指令显示预设交 互界面； 重置所述嘴巴运动次数； 在预设时间段内， 所述嘴巴运动次数累计达到第四预设次数时， 执行第 二预设指令， 基 于所述第二预设指令 输出报警信息 。 11.一种动作识别装置， 其特征在于， 所述动作识别装置包括处理器和存储器， 所述存 储器中存储有程序数据， 所述处理器用于执行所述程序数据以实现如权利要求 1‑10任一项 所述的动作识别方法。 12.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质用于存储程序数 据， 所述程序数据在被处 理器执行时， 用以实现权利要求1 ‑10任一项所述的动作识别方法。权　利　要　求　书 2/2 页 3 CN 114926875 A 3