文库搜索
切换导航
首页
频道
联系我们
国家标准目录
国际ISO标准目录
行业标准目录
地方标准目录
首页
联系我们
国家标准目录
国际ISO标准目录
行业标准目录
地方标准目录
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210933601.2 (22)申请日 2022.08.04 (71)申请人 武汉启创赋能智能科技有限公司 地址 430073 湖北省武汉市东湖新 技术开 发区东信路11号武汉留学生创业园 E3186 (72)发明人 蒲诗睿 夏勇 (74)专利代理 机构 武汉蓝宝石专利代理事务所 (特殊普通 合伙) 42242 专利代理师 邹航 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/20(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/764(2022.01) G06V 10/74(2022.01) (54)发明名称 一种基于多特征融合的动作识别方法及系 统 (57)摘要 本发明涉及一种基于多特征融合的动作识 别方法及系统, 其方法包括: 获取目标连续视频 帧及其对应的动作角度序列, 利用第一识别模型 和恰可察觉对 所述目标连续视频帧进行预处理, 消除其中的噪声和反射; 利用第二识别模型对预 处理后的目标连续视频帧, 进行边界评估和多特 征提取, 并将提取到的多个特征与目标的动作角 度序列进行对齐, 得到特征向量; 将所述特征向 量和目标的动作角度序列, 输入到DT W模型中, 得 到目标连续视频帧的动作类别。 本发 明通过结合 SIRR和多个识别模型减小动作角度序列照中的 边界不清晰, 并将特征向量与D TW模型中, 提高其 多场合的适应性以及不连续动作识别的鲁棒 性。 权利要求书2页 说明书5页 附图3页 CN 115410115 A 2022.11.29 CN 115410115 A 1.一种基于多特 征融合的动作识别方法, 其特 征在于, 包括: 获取目标连续视频帧及其对应的动作角度序列, 利用第 一识别模型和恰可察觉对所述 目标连续视频帧进行 预处理, 消除其中的噪声和反射; 利用第二识别模型对预处理后的目标连续视频帧, 进行边界评估和多特征提取, 并将 提取到的多个特 征与目标的动作角度 序列进行对齐, 得到特 征向量; 将所述特征向量和目标的动作角度序列, 输入到DTW模型中, 得到目标连续视频帧的动 作类别。 2.根据权利要求1所述的基于多特征融合的动作识别方法, 其特征在于, 所述第 二识别 模型包括: 所述第二识别模型包括第一卷积神经网络和第二卷积神经网络, 所述第一卷积神经网络, 用于对预处理后的目标连续视频帧, 进行边界评估和多特征 提取, 得到每 个目标的边界及其多维图像特 征; 所述第二卷积神经网络, 用于将目标连续视频帧中并按预设时间长度, 将每个目标的 边界和图像特 征进行对齐和融合, 得到目标 连续视频帧的特 征向量。 3.根据权利要求2所述的基于多特征融合的动作识别方法, 其特征在于, 所述第 一卷积 神经网络为Center ‑net, 所述第二卷积神经网络为Transformer。 4.根据权利要求1所述的基于多特征融合的动作识别方法, 其特征在于, 所述将所述特 征向量和目标的动作角度 序列, 输入到DTW模型中, 得到目标 连续视频帧的动作类别包括: 确定目标 连续视频帧的一个或多个模板动作序列; 基于所述特 征向量和欧式距离计算每 个模板动作序列 与目标连续视频帧的相似度; 将匹配到的相似度最高的模板动作序列的类别, 作为目标 连续视频帧的动作类别。 5.根据权利要求4所述的基于多特征融合的动作识别方法, 其特征在于, 所述基于所述 特征向量和欧式距离计 每个模板动作序列 与目标连续视频帧的相似度包括: 基于特征向量和规整路径, 确定并计算匹配的目标连续视频帧序列与模板动作序列的 最小路径; 根据所述 最小路径计算每 个模板动作序列 与目标连续视频帧的相似度。 6.根据权利要求1至5任一项所述的基于多特征融合的动作识别方法, 其特征在于, 所 述获取目标 连续视频帧及其对应的动作角度 序列包括: 利用kinect提取目标连续视频帧中每个目标的3D骨架, 并计算所述3D骨架中每个关节 的角度特 征; 根据所述每个关节的角度特征和预设模板进行匹配, 得到目标连续视频帧对应的动作 角度序列。 7.一种基于多特 征融合的动作识别系统, 其特 征在于, 包括: 获取模块, 用于获取目标连续视频帧及其对应的动作角度序列, 利用第一识别模型和 恰可察觉对所述目标 连续视频帧进行 预处理, 消除其中的噪声和反射; 提取模块, 用于利用第二识别模型对预处理后的目标连续视频帧, 进行边界评估和多 特征提取, 并将提取到的多个特 征与目标的动作角度 序列进行对齐, 得到特 征向量; 识别模块, 用于将所述特征向量和目标的动作角度序列, 输入到DTW模型中, 得到目标 连续视频帧的动作类别。权 利 要 求 书 1/2 页 2 CN 115410115 A 28.根据权利要求7所述的基于多特征融合的动作识别系统, 其特征在于, 所述获取模块 包括: 计算单元, 用于利用kinect提取目标连续视频帧中每个目标的3D骨架, 并计算所述3D 骨架中每 个关节的角度特 征; 匹配单元, 用于根据所述每个关节的角度特征和预设模板进行匹配, 得到目标连续视 频帧对应的动作角度 序列。 9.一种电子设备, 包括: 一个或多个处理器; 存储装置, 用于存储一个或多个程序, 当所 述一个或多个程序被所述一个或多个处理器执行, 使得所述一个或多个处理器实现如权利 要求1至6任一项所述的基于多特 征融合的动作识别方法。 10.一种计算机可读介质, 其上存储有计算机程序, 其中, 所述计算机程序被处理器执 行时实现如权利要求1至 6任一项所述的基于多特 征融合的动作识别方法。权 利 要 求 书 2/2 页 3 CN 115410115 A 3
专利 一种基于多特征融合的动作识别方法及系统
文档预览
中文文档
11 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
赞助2元下载(无需注册)
温馨提示:本文档共11页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2元下载
本文档由 SC 于
2024-02-18 22:28:50
上传分享
举报
下载
原文档
(662.9 KB)
分享
友情链接
T-CPSS 1013—2021 开关电源电子元器件降额技术规范.pdf
DB6528-T 189-2023 加工辣椒品种InDel指纹数据库构建规范 巴音郭楞蒙古自治州.pdf
GM-T 0019-2023 通用密码服务接口规范.pdf
GB-T 18916.1-2021 取水定额 第1部分:火力发电.pdf
GM-T 0114-2021 诱骗态BB84量子密钥分配产品检测规范.pdf
GB 22021-2008 国家大地测量基本技术规定.pdf
GB-T 7826-2012 系统可靠性分析技术 失效模式和影响分析 FMEA 程序.pdf
GB-T 3621-2022 钛及钛合金板材.pdf
DB14-T 1980-2020 检测设备计量溯源管理规范 山西省.pdf
GB-T 22264.3-2022 安装式数字显示电测量仪表 第3部分:功率表和无功功率表的特殊要求.pdf
T-BISSC 01—2022 专科疾病标准数据集建设规范.pdf
GM-T 0035.1-2014 射频识别系统密码应用技术要求 第1部分:密码安全保护框架及安全级别.pdf
tc260 汽车采集数据处理安全指南.pdf
DB11-T 1641-2019 非工业领域节能量审核指南 北京市.pdf
公安部 网络安全等级保护条例 征求意见稿 .pdf
DB43-T 2632.6-2023 烟叶生产收购站管理规范 第6部分:数字化管理 湖南省.pdf
GB-T 41121-2021 玻璃水滑道安全技术要求.pdf
DB34-T 3433.2-2019 计量检测数据信息 第 2 部分:采集规范 安徽省.pdf
GB-T 40665.1-2021 中医四诊操作规范 第1部分:望诊.pdf
GB-T 42332-2023 海岛及周边海域地形图测绘规范.pdf
1
/
11
评价文档
赞助2元 点击下载(662.9 KB)
回到顶部
×
微信扫码支付
2
元 自动下载
点击进入官方售后微信群
支付 完成后 如未跳转 点击这里下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。