(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211030618.3 (22)申请日 2022.08.26 (71)申请人 广东博华超高清创新中心有限公司 地址 518116 广东省深圳市龙岗区龙城街 道黄阁坑社区腾飞路9号创投大厦 3701 申请人 深圳龙岗智能视听研究院 (72)发明人 陶键源　张世雄　魏文应　黎俊良　 安欣赏　 (74)专利代理 机构 北京京万通知识产权代理有 限公司 1 1440 专利代理师 万学堂　王跃交 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/44(2022.01)G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于人体关键点检测的动作行为识别 方法 (57)摘要 本发明的基于人体关键点检测的动作行为 识别方法， 包括以下步骤： S1.数据采样： 在要进 行识别的应用场景上加装摄像头或者调用已有 的摄像头， 再连接服务器并传输实时的画面； S2. 模型训练： 在服务器上创建目标识别模型、 人体 关键点检测模型和行为识别模型三个算法模型 的训练任务； S3.目标检测、 人体关键点检测和行 为识别； S4.输 出实际应用。 本发明方法利用摄像 头对应用场景进行数据采集并上传到服务器中； 然后利用深度学习的卷积递归神经网络模型进 行实时的三步检测： 目标识别、 人体关键点检测 和行为识别进行实际应用， 也可以指定特定的识 别需求但需要时间对数据集进行收集、 整理、 训 练和运用， 最后根据每个步骤的输出结果进行实 际运用操作。 权利要求书1页 说明书4页 附图2页 CN 115393958 A 2022.11.25 CN 115393958 A 1.一种基于人体关键点检测的动作行为识别方法， 其特 征在于， 包括以下步骤： S1.数据采样： 在要进行识别的应用场景上加装摄像头或者调用已有的摄像头， 再连接 服务器并传输实时的画面； S2.模型训练： 在所述服务器上创建目标识别 模型、 人体关键点检测模型和行为识别模 型三个算法模型的训练任务； S3.目标检测、 人体关键点检测 和行为识别； S4.输出实际应用： 将所述行为识别模型输出的行为分类信息运用到对应的应用当中。 2.根据权利要求1所述的基于人体关键点检测的动作行为识别方法， 其特征在于， 在步 骤S1中， 需要在应用场景安装所述摄 像头， 再把实时的画面上传到所述 服务器。 3.根据权利要求1所述的基于人体关键点检测的动作行为识别方法， 其特征在于， 在步 骤S2中， 其中， 所述目标识别模型、 所述人体关键点检测模 型和所述行为识别模 型每个模型 均使用两个数据集进 行训练， 所述两个数据集为补充有标注的开源数据集和应用场景采集 的数据集。 4.根据权利要求1所述的基于人体关键点检测的动作行为识别方法， 其特征在于， 在步 骤S2中， 实时的识别和训练运算服务是托管在所述服务器上进行 的， 所述服务器会实时进 行Yolo目标识别、 HRnet人体 关键点检测和Slowfast行为识别， 每个识别算法输出都有一个 单独的输出 口， 用于基于其本身的应用使用， 这些附加的功能是和行为识别应用同步处理 使用的。 5.根据权利要求1所述的基于人体关键点检测的动作行为识别方法， 其特征在于， 在步 骤S3中， 当所述服务器接收到视频数据时， 会创建对应当前用户的任务， 把所述服务器接收 到的实时画 面输入训练后的所述目标识别模型中得到画 面中人的位置， 再根据所述人的位 置进行人体关键点检测得到人体骨架信息， 最后拼接多帧具有人体骨架信息的图像以形成 一个短动画， 将所述短动画输入所述行为识别模型 得到当前画面人的行为分类。 6.根据权利要求1所述的基于人体关键点检测的动作行为识别方法， 其特征在于， 在步 骤S3中， 把步骤S1上传的实时画面按输入到所述目标识别模型中， 然后按照顺序经过所述 人体关键点检测模型和所述行为识别模型， 所述 目标识别模型中得到画面中人 的位置， 再 对根据人的位置进行人体关键点检测得到人体骨架信息， 最后在拼接多帧具有骨架信息的 图像形成一个短动画， 将短动画输入所述行为识别模型 得到当前画面人的行为分类。 7.根据权利要求1所述的基于人体关键点检测的动作行为识别方法， 其特征在于， 在步 骤S4中， 根据所述三个算法模型输出 的结果进行不同的应用， 目标检测输出目标的位置信 息， 人体关键点检测会输出人体的动作骨架， 行为识别会输出当前画 面人的行为分类， 根据 后续的应用拓展， 实现行为识别输出的应用。权　利　要　求　书 1/1 页 2 CN 115393958 A 2一种基于人体关键点检测的动作行为识别方 法 技术领域 [0001]本发明属于计算机视觉领域， 特别涉及一种基于人体关键点检测的动作行为识别 方法。 背景技术 [0002]随着人工智能技术的发展， 特别是基于深度神经网络 的大规模应用， 智能化的应 用产品也越来越多， 其中就包 含动作行为检测设备。 [0003]基于深度卷积神经网络的动作行为识别系统算法， 是当前主流的数字识别算法实 现方式之一， 其中的深度卷积神经网络模型， 包含 数以万计的神经元， 未经优化模型的神经 元数量更是可能达到百万数量级。 如果只是为了实现以上功能效果， 其中需要消 耗的资源 是很大的。 在保持功能效果的情况下换种实现方法， 实际让其更加的效率化， 先进 行目标识 别在人体关键点检测在到行为检测。 常规的行为识别是不需要用到前面两部的， 这两部的 添加是为了增加最后行为识别的准确率和拓展功能使用的， 其中添加的步骤都是可以单独 提出来做成一种应用或者符合应用的。 [0004]这种基于人体关键点检测的行为识别方法使用Yolo+HRnet+Slowfast算法可以让 系统可以在不同的场景 条件下进行 行为识别功能并以进一 步的提高了精度。 [0005]上述存在的主要问题和难点在于： 常规采用RGB为输入的行为识别效果会受到很 多方面的影响如受光照条件各异、 视角多样性、 背景复杂、 类内变化大等诸多因素的影响， 从而导致准确率较低， 与RGB信息相比人体骨架信息具有 特征明确简单、 不易受外观因素的 影响。 但人体骨架信息是不具备时空信息的而行为是一连串的动作， 需要这些时空信息进 行识别工作， 怎样让人体骨架具有时空信息是主要的难点。 解决上述主要问题的意义为： 不 只是能提高在 复杂场景识别的准确 性， 在应用方面也进行了拓展， 比如说常规的行为识别 绝大部部分应用都是在安防领域但基于骨架的行为识别不只是能应用在安防领域也可以 用在娱乐 媒体领域。 发明内容 [0006]本发明提供了一种基于人体关键点检测的动作行为识别方法， 解决了基于行为识 别在应用场景低精度的问题， 尤其是在小 型场景中的精度， 如家庭、 办公室、 工厂等场景； 同 时因为使用的是三步骤行为识别所以可以同时实现其他的应用功能， 比如用目标检测结果 进行物体摆放、 遗失提醒等。 [0007]本发明的技 术方案如下： [0008]本发明的基于人体关键点检测的动作行为识别方法， 包括以下步骤： S1.数据采 样： 在要进行识别的应用场景上加装摄像头或者调用已有的摄像头， 再连接服务器并传输 实时的画面；  S2.模型训练： 在服务器上创建目标识别模型、 人体 关键点检测模型和行为识 别模型三个算法模 型的训练任务； S3.目标检测、 人体 关键点检测和行为识别； S4.输出实际 应用： 将行为识别模型输出的行为分类信息运用到对应的应用当中。说　明　书 1/4 页 3 CN 115393958 A 3