standard download
文库搜索
切换导航
文件分类
频道
仅15元无限下载
联系我们
问题反馈
文件分类
仅15元无限下载
联系我们
问题反馈
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210815080.0 (22)申请日 2022.07.12 (71)申请人 北京交通大 学 地址 100044 北京市海淀区西直门外上园 村3号 (72)发明人 金一 王佳艺 冯松鹤 郎丛妍 王涛 李浥东 (74)专利代理 机构 北京市商 泰律师事务所 11255 专利代理师 邹芳德 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 任务自适应的小样本行为识别方法及系统 (57)摘要 本发明提供一种任务自适应的小样本行为 识别方法及系统, 属于计算机视觉技术领域, 获 取待识别的视频数据; 利用预先训练好的识别模 型, 对获取的所述待识别的视频数据进行处理, 得到动作类别结果加入注意力层, 提取行为主体 在图片帧中的位置信息以及图像内容信息, 通过 注意力机制对提取的特征特征进行调制, 获取同 一类动作的类内特征共性 以及不同类动作的类 间的差异性。 本发明提取特征时加入注意力层, 产生更具分辨性的特征表示; 对同类行为中不同 样本进行随机多模态融合, 扩充了支持集数据, 使得模型对行为主体所在环境的变换鲁棒性更 强; 通过task级的特征调制, 使特征更符合当前 任务的需求并聚焦于行为主体, 有助于提高分类 准确率。 权利要求书2页 说明书9页 附图2页 CN 115240106 A 2022.10.25 CN 115240106 A 1.一种任务自适应的小样本行为识别方法, 其特 征在于, 包括: 获取待识别的视频 数据; 利用预先训练好的识别模型, 对获取的所述待识别的视频数据进行处理, 得到动作类 别结果; 其中, 所述预先训练好的识别模型中, 加入注意力层, 提取行为主体在图片帧中的 位置信息以及图像内容信息, 将RGB特征和Depth特征进行融合, 通过注意力机制对提取的 特征特征进行调制, 获取同一类动作的类内特 征共性以及不同类动作的类间的差异性。 2.根据权利要求1所述的任务自适应的小样本行为识别方法, 其特征在于, 训练所述识 别模型包括: 将准备好的视频 数据集做分帧处 理, 得到RGB图像集和深度图像集; 将RGB图像集和深度图像集送入ResNet ‑50中提取特征, 并去除ResNet ‑50最后的平均 池化层和全连接层, 送入注意力层生成注意力图; 将一对RGB特 征和深度特 征进行多模态融合, 得到加强后的特 征表示; 利用支持集类特 征对支持集类特 征和查询集特 征做特征加强; 采用欧几里得距离作为距离度量计算配对的支持集类原型表示和查询集特征之间的 相似度, 以得到待查询视频的预测动作类别标签。 3.根据权利要求2所述的任务自适应的小样本行为识别方法, 其特征在于, 送入注意力 层生成注意力图, 包括: 去除ResNet ‑50最后的平均池化层和全连接层; 将ResNet ‑50的 layer4输出的特征图送入CAM模块生 成通道注 意力图; 将空间注 意力图与特征图相乘, 得到 通道注意力加权后的特征图; 将加权后的特征图送入SAM模块生成空间注意力图; 将空间注 意力图与特 征图相乘, 得到空间注意力加权后的特 征图。 4.根据权利要求2所述的任务自适应的小样本行为识别方法, 其特征在于, 多模态融合 包括: 每对来自 同一个样 本, 加入一组随机配对的RGB特征和Depth特征对, 共同作为样 本特 征送入DGAdaIN模块; 在DGAdaIN模块中, 输入为一对RGB特征和深度特征, 输出为融合后的 特征。 5.根据权利要求2所述的任务自适应的小样本行为识别方法, 其特征在于, 任务自适应 的过程如下: 将支持集样本特征按类整合; 计算每类的通道注意力map; 对支持集每类样本 乘map做特征增强, 强化类内共同特征; 对查询集样本乘map做特征类区分, 得到N个查询特 征, 强化类间差异, 使特 征更具有判别性。 6.根据权利要求2所述的任务自适应的小样本行为识别方法, 其特征在于, 获取调制后 的N个类原型表示和N个查询样本特征, 按类匹配分别做相似度计算; 对于每对类原型表示 和查询特征表示, 采用欧几里得距离作为距离度量计算待查询视频的特征向量与所有类的 原型表示之间的相似度, 以得到待查询视频的预测动作类别标签。 7.一种任务自适应的小样本行为识别系统, 其特 征在于, 包括: 获取模块, 用于获取待识别的视频 数据; 识别模块, 用于利用预先训练好的识别模型, 对获取的所述待识别的视频数据进行处 理, 得到动作类别结果; 其中, 所述预先训练好的识别模型中, 加入注意力 层, 提取行为主体 在图片帧中的位置信息以及图像内容信息, 将RGB特征和Depth特征进行融合, 通过注意力 机制对提取的特征特征进 行调制, 获取同一类动作的类内特征共性以及不同类动作的类间 的差异性。权 利 要 求 书 1/2 页 2 CN 115240106 A 28.一种非暂态计算机可读存储介质, 其特征在于, 所述非暂态计算机可读存储介质用 于存储计算机指 令, 所述计算机指 令被处理器执行时, 实现如权利要求 1‑6任一项所述的任 务自适应的小样本行为识别方法。 9.一种计算机程序产品, 其特征在于, 包括计算机程序, 所述计算机程序当在一个或多 个处理器上运行时, 用于实现如权利要求1 ‑6任一项所述的任务自适应的小样本行为识别 方法。 10.一种电子设备, 其特征在于, 包括: 处理器、 存储器以及计算机程序; 其中, 处理器与 存储器连接, 计算机程序被存储在 存储器中, 当电子 设备运行时, 所述处理器执行所述存储 器存储的计算机程序, 以使电子设备执行实现如权利要求1 ‑6任一项所述的任务自适应的 小样本行为识别方法的指令 。权 利 要 求 书 2/2 页 3 CN 115240106 A 3
专利 任务自适应的小样本行为识别方法及系统
文档预览
中文文档
14 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
赞助2.5元下载(无需注册)
温馨提示:本文档共14页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2.5元下载
本文档由 SC 于
2024-02-18 22:28:54
上传分享
举报
下载
原文档
(459.8 KB)
分享
友情链接
专利 资产暴露面信息获取方法、装置、设备以及存储介质.PDF
GM-T 0132-2023 信息系统密码应用实施指南.pdf
JR-T0138-2016 银团贷款业务技术指南.pdf
GM-T 0112-2021 PDF格式文档的密码应用技术要求.pdf
GB-T 20822-2007 固液法白酒.pdf
GB-T 14264-2009 半导体材料术语.pdf
GB-T 3880.3-2012 一般工业用铝及铝合金板、带材 第3部分:尺寸偏差.pdf
BR 566-1989.pdf
GM T 0130-2023 基于SM2算法的无证书及隐式证书公钥机制.pdf
DB61-T 1497-2021 人间充质干细胞库建设与管理规范 陕西省.pdf
GB-T 223.82-2018 钢铁 氢含量的测定 惰性气体熔融-热导或红外法.pdf
DB5301-T 82-2023 农业废弃物 冷库蔬菜废弃物处置规范 昆明市.pdf
GM-T 0011-2012 可信计算 可信密码支撑平台功能与接口规范.pdf
JY-T 0584-2020 扫描电子显微镜分析方法通则.pdf
GB-T 13575.1-2022 普通和窄V带传动 第1部分:基准宽度制.pdf
专利 一种智能语音调节的电动升降桌.PDF
T-CESA 1036—2019 信息技术 人工智能 机器学习模型及系统的质量要素和测试方法.pdf
GB-T 35273-2017 信息安全技术 个人信息安全规范.pdf
德勤 数字化时代下的网络安全战略框架系列之四 .pdf
ISO 17825-2016.pdf
1
/
14
评价文档
赞助2.5元 点击下载(459.8 KB)
回到顶部
×
微信扫码支付
2.5
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。