standard download
文库搜索
切换导航
文件分类
频道
仅15元无限下载
联系我们
问题反馈
文件分类
仅15元无限下载
联系我们
问题反馈
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210815080.0 (22)申请日 2022.07.12 (71)申请人 北京交通大 学 地址 100044 北京市海淀区西直门外上园 村3号 (72)发明人 金一 王佳艺 冯松鹤 郎丛妍 王涛 李浥东 (74)专利代理 机构 北京市商 泰律师事务所 11255 专利代理师 邹芳德 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 任务自适应的小样本行为识别方法及系统 (57)摘要 本发明提供一种任务自适应的小样本行为 识别方法及系统, 属于计算机视觉技术领域, 获 取待识别的视频数据; 利用预先训练好的识别模 型, 对获取的所述待识别的视频数据进行处理, 得到动作类别结果加入注意力层, 提取行为主体 在图片帧中的位置信息以及图像内容信息, 通过 注意力机制对提取的特征特征进行调制, 获取同 一类动作的类内特征共性 以及不同类动作的类 间的差异性。 本发明提取特征时加入注意力层, 产生更具分辨性的特征表示; 对同类行为中不同 样本进行随机多模态融合, 扩充了支持集数据, 使得模型对行为主体所在环境的变换鲁棒性更 强; 通过task级的特征调制, 使特征更符合当前 任务的需求并聚焦于行为主体, 有助于提高分类 准确率。 权利要求书2页 说明书9页 附图2页 CN 115240106 A 2022.10.25 CN 115240106 A 1.一种任务自适应的小样本行为识别方法, 其特 征在于, 包括: 获取待识别的视频 数据; 利用预先训练好的识别模型, 对获取的所述待识别的视频数据进行处理, 得到动作类 别结果; 其中, 所述预先训练好的识别模型中, 加入注意力层, 提取行为主体在图片帧中的 位置信息以及图像内容信息, 将RGB特征和Depth特征进行融合, 通过注意力机制对提取的 特征特征进行调制, 获取同一类动作的类内特 征共性以及不同类动作的类间的差异性。 2.根据权利要求1所述的任务自适应的小样本行为识别方法, 其特征在于, 训练所述识 别模型包括: 将准备好的视频 数据集做分帧处 理, 得到RGB图像集和深度图像集; 将RGB图像集和深度图像集送入ResNet ‑50中提取特征, 并去除ResNet ‑50最后的平均 池化层和全连接层, 送入注意力层生成注意力图; 将一对RGB特 征和深度特 征进行多模态融合, 得到加强后的特 征表示; 利用支持集类特 征对支持集类特 征和查询集特 征做特征加强; 采用欧几里得距离作为距离度量计算配对的支持集类原型表示和查询集特征之间的 相似度, 以得到待查询视频的预测动作类别标签。 3.根据权利要求2所述的任务自适应的小样本行为识别方法, 其特征在于, 送入注意力 层生成注意力图, 包括: 去除ResNet ‑50最后的平均池化层和全连接层; 将ResNet ‑50的 layer4输出的特征图送入CAM模块生 成通道注 意力图; 将空间注 意力图与特征图相乘, 得到 通道注意力加权后的特征图; 将加权后的特征图送入SAM模块生成空间注意力图; 将空间注 意力图与特 征图相乘, 得到空间注意力加权后的特 征图。 4.根据权利要求2所述的任务自适应的小样本行为识别方法, 其特征在于, 多模态融合 包括: 每对来自 同一个样 本, 加入一组随机配对的RGB特征和Depth特征对, 共同作为样 本特 征送入DGAdaIN模块; 在DGAdaIN模块中, 输入为一对RGB特征和深度特征, 输出为融合后的 特征。 5.根据权利要求2所述的任务自适应的小样本行为识别方法, 其特征在于, 任务自适应 的过程如下: 将支持集样本特征按类整合; 计算每类的通道注意力map; 对支持集每类样本 乘map做特征增强, 强化类内共同特征; 对查询集样本乘map做特征类区分, 得到N个查询特 征, 强化类间差异, 使特 征更具有判别性。 6.根据权利要求2所述的任务自适应的小样本行为识别方法, 其特征在于, 获取调制后 的N个类原型表示和N个查询样本特征, 按类匹配分别做相似度计算; 对于每对类原型表示 和查询特征表示, 采用欧几里得距离作为距离度量计算待查询视频的特征向量与所有类的 原型表示之间的相似度, 以得到待查询视频的预测动作类别标签。 7.一种任务自适应的小样本行为识别系统, 其特 征在于, 包括: 获取模块, 用于获取待识别的视频 数据; 识别模块, 用于利用预先训练好的识别模型, 对获取的所述待识别的视频数据进行处 理, 得到动作类别结果; 其中, 所述预先训练好的识别模型中, 加入注意力 层, 提取行为主体 在图片帧中的位置信息以及图像内容信息, 将RGB特征和Depth特征进行融合, 通过注意力 机制对提取的特征特征进 行调制, 获取同一类动作的类内特征共性以及不同类动作的类间 的差异性。权 利 要 求 书 1/2 页 2 CN 115240106 A 28.一种非暂态计算机可读存储介质, 其特征在于, 所述非暂态计算机可读存储介质用 于存储计算机指 令, 所述计算机指 令被处理器执行时, 实现如权利要求 1‑6任一项所述的任 务自适应的小样本行为识别方法。 9.一种计算机程序产品, 其特征在于, 包括计算机程序, 所述计算机程序当在一个或多 个处理器上运行时, 用于实现如权利要求1 ‑6任一项所述的任务自适应的小样本行为识别 方法。 10.一种电子设备, 其特征在于, 包括: 处理器、 存储器以及计算机程序; 其中, 处理器与 存储器连接, 计算机程序被存储在 存储器中, 当电子 设备运行时, 所述处理器执行所述存储 器存储的计算机程序, 以使电子设备执行实现如权利要求1 ‑6任一项所述的任务自适应的 小样本行为识别方法的指令 。权 利 要 求 书 2/2 页 3 CN 115240106 A 3
专利 任务自适应的小样本行为识别方法及系统
文档预览
中文文档
14 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
赞助2.5元下载(无需注册)
温馨提示:本文档共14页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2.5元下载
本文档由 SC 于
2024-02-18 22:28:54
上传分享
举报
下载
原文档
(459.8 KB)
分享
友情链接
GB-T 21219-2023 磁性材料 分类.pdf
GB-T 3979-2008 物体色的测量方法.pdf
GB-T 39156-2020 大规格陶瓷板技术要求及试验方法.pdf
T-CES 145—2022 换流变压器用振动测量仪技术规范.pdf
GB-T 32038-2015 照明工程节能监测方法.pdf
GB-T 38114-2019 纳米技术 石墨烯材料表面含氧官能团的定量分析 化学滴定法.pdf
GB-T 33480-2016 党政机关电子公文元数据规范.pdf
DB3310-T 93-2022 公共数据授权运营指南 台州市.pdf
T-CEC 672—2022 变压器油中溶解气体在线监测装置现场校验器技术条件.pdf
GB-T 37093-2018 信息安全技术 物联网感知层接入通信网的安全要求.pdf
NB-T 10561-2021 风力发电机叶片检修规范.pdf
GB-T 34953.1-2017 信息技术 安全技术 匿名实体鉴别 第1部分:总则.pdf
攻击面管理平台技术白皮书202304.pdf
T-GDTA 005—2023 粤地优品 评价通用要求.pdf
GB-T 38667-2020 信息技术 大数据 数据分类指南.pdf
之江实验室 - 2023.6.6 - 生成式大模型安全与隐私白皮书.pdf
GB-T 1499.3-2022 钢筋混凝土用钢 第3部分:钢筋焊接网.pdf
DB5117-T 75—2023 磷石膏无害化处理技术规范 达州市.pdf
T-ZBLM 0001—2022 数据中心容灾备份能力建设评价规范.pdf
德勤数字化转型新篇章.pdf
1
/
14
评价文档
赞助2.5元 点击下载(459.8 KB)
回到顶部
×
微信扫码支付
2.5
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。