(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210933601.2 (22)申请日 2022.08.04 (71)申请人 武汉启创赋能智能科技有限公司 地址 430073 湖北省武汉市东湖新 技术开 发区东信路11号武汉留学生创业园 E3186 (72)发明人 蒲诗睿 夏勇  (74)专利代理 机构 武汉蓝宝石专利代理事务所 (特殊普通 合伙) 42242 专利代理师 邹航 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/20(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/764(2022.01) G06V 10/74(2022.01) (54)发明名称 一种基于多特征融合的动作识别方法及系 统 (57)摘要 本发明涉及一种基于多特征融合的动作识 别方法及系统, 其方法包括: 获取目标连续视频 帧及其对应的动作角度序列, 利用第一识别模型 和恰可察觉对 所述目标连续视频帧进行预处理, 消除其中的噪声和反射; 利用第二识别模型对预 处理后的目标连续视频帧, 进行边界评估和多特 征提取, 并将提取到的多个特征与目标的动作角 度序列进行对齐, 得到特征向量; 将所述特征向 量和目标的动作角度序列, 输入到DT W模型中, 得 到目标连续视频帧的动作类别。 本发 明通过结合 SIRR和多个识别模型减小动作角度序列照中的 边界不清晰, 并将特征向量与D TW模型中, 提高其 多场合的适应性以及不连续动作识别的鲁棒 性。 权利要求书2页 说明书5页 附图3页 CN 115410115 A 2022.11.29 CN 115410115 A 1.一种基于多特 征融合的动作识别方法, 其特 征在于, 包括: 获取目标连续视频帧及其对应的动作角度序列, 利用第 一识别模型和恰可察觉对所述 目标连续视频帧进行 预处理, 消除其中的噪声和反射; 利用第二识别模型对预处理后的目标连续视频帧, 进行边界评估和多特征提取, 并将 提取到的多个特 征与目标的动作角度 序列进行对齐, 得到特 征向量; 将所述特征向量和目标的动作角度序列, 输入到DTW模型中, 得到目标连续视频帧的动 作类别。 2.根据权利要求1所述的基于多特征融合的动作识别方法, 其特征在于, 所述第 二识别 模型包括: 所述第二识别模型包括第一卷积神经网络和第二卷积神经网络, 所述第一卷积神经网络, 用于对预处理后的目标连续视频帧, 进行边界评估和多特征 提取, 得到每 个目标的边界及其多维图像特 征; 所述第二卷积神经网络, 用于将目标连续视频帧中并按预设时间长度, 将每个目标的 边界和图像特 征进行对齐和融合, 得到目标 连续视频帧的特 征向量。 3.根据权利要求2所述的基于多特征融合的动作识别方法, 其特征在于, 所述第 一卷积 神经网络为Center ‑net, 所述第二卷积神经网络为Transformer。 4.根据权利要求1所述的基于多特征融合的动作识别方法, 其特征在于, 所述将所述特 征向量和目标的动作角度 序列, 输入到DTW模型中, 得到目标 连续视频帧的动作类别包括: 确定目标 连续视频帧的一个或多个模板动作序列; 基于所述特 征向量和欧式距离计算每 个模板动作序列 与目标连续视频帧的相似度; 将匹配到的相似度最高的模板动作序列的类别, 作为目标 连续视频帧的动作类别。 5.根据权利要求4所述的基于多特征融合的动作识别方法, 其特征在于, 所述基于所述 特征向量和欧式距离计 每个模板动作序列 与目标连续视频帧的相似度包括: 基于特征向量和规整路径, 确定并计算匹配的目标连续视频帧序列与模板动作序列的 最小路径; 根据所述 最小路径计算每 个模板动作序列 与目标连续视频帧的相似度。 6.根据权利要求1至5任一项所述的基于多特征融合的动作识别方法, 其特征在于, 所 述获取目标 连续视频帧及其对应的动作角度 序列包括: 利用kinect提取目标连续视频帧中每个目标的3D骨架, 并计算所述3D骨架中每个关节 的角度特 征; 根据所述每个关节的角度特征和预设模板进行匹配, 得到目标连续视频帧对应的动作 角度序列。 7.一种基于多特 征融合的动作识别系统, 其特 征在于, 包括: 获取模块, 用于获取目标连续视频帧及其对应的动作角度序列, 利用第一识别模型和 恰可察觉对所述目标 连续视频帧进行 预处理, 消除其中的噪声和反射; 提取模块, 用于利用第二识别模型对预处理后的目标连续视频帧, 进行边界评估和多 特征提取, 并将提取到的多个特 征与目标的动作角度 序列进行对齐, 得到特 征向量; 识别模块, 用于将所述特征向量和目标的动作角度序列, 输入到DTW模型中, 得到目标 连续视频帧的动作类别。权 利 要 求 书 1/2 页 2 CN 115410115 A 28.根据权利要求7所述的基于多特征融合的动作识别系统, 其特征在于, 所述获取模块 包括: 计算单元, 用于利用kinect提取目标连续视频帧中每个目标的3D骨架, 并计算所述3D 骨架中每 个关节的角度特 征; 匹配单元, 用于根据所述每个关节的角度特征和预设模板进行匹配, 得到目标连续视 频帧对应的动作角度 序列。 9.一种电子设备, 包括: 一个或多个处理器; 存储装置, 用于存储一个或多个程序, 当所 述一个或多个程序被所述一个或多个处理器执行, 使得所述一个或多个处理器实现如权利 要求1至6任一项所述的基于多特 征融合的动作识别方法。 10.一种计算机可读介质, 其上存储有计算机程序, 其中, 所述计算机程序被处理器执 行时实现如权利要求1至 6任一项所述的基于多特 征融合的动作识别方法。权 利 要 求 书 2/2 页 3 CN 115410115 A 3

PDF文档 专利 一种基于多特征融合的动作识别方法及系统

文档预览
中文文档 11 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共11页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种基于多特征融合的动作识别方法及系统 第 1 页 专利 一种基于多特征融合的动作识别方法及系统 第 2 页 专利 一种基于多特征融合的动作识别方法及系统 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-18 22:28:50上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。