(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210641120.4 (22)申请日 2022.06.08 (71)申请人 中国兵器 工业计算机 应用技术研究 所 地址 100089 北京市海淀区车道沟10号 (72)发明人 赵小川　董忆雪　徐凯　王子彻　 樊迪　邵佳星　何云峰　 (74)专利代理 机构 北京天达知识产权代理事务 所(普通合伙) 11386 专利代理师 刘丰艺 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/762(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/34(2022.01) G06V 10/25(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种融合装备与行为特征的武装人员识别 方法和系统 (57)摘要 一种融合装备与行为特征的武装人员识别 方法和系统， 方法包括以下步骤： 获取装备检测 数据集， 基于所述装备检测数据集训练装备检测 模型； 获取武装人员行为视频流数据， 基于所述 视频流数据构建武装人员行为识别训练样本集； 基于所述武装人员 行为识别训练样本集训练武 装人员行为识别模型； 提取待识别视频流中的每 帧图像输入训练好的装备检测模 型， 得到每帧图 像的装备检测结果； 提取待识别视频流中每帧图 像的骨骼关节 点数据； 将所述骨骼关节点数据输 入训练好的武装 人员行为识别模 型， 得到视频流 中每帧图像的人员行为识别结果； 基于所述装备 检测结果和行为识别结果， 计算每帧图像人员的 危险系数， 若危险系数高于预设阈值， 则判断该 人员为武装人员。 权利要求书2页 说明书12页 附图4页 CN 115035599 A 2022.09.09 CN 115035599 A 1.一种融合装备与行为特 征的武装人员识别方法， 其特 征在于， 包括以下步骤： 获取装备检测数据集， 基于所述装备检测数据集训练装备检测模型； 获取武装人员行为视频流数据， 基于所述视频流数据构建武装人员行为识别训练样本 集； 基于所述武装人员行为识别训练样本集训练 武装人员行为识别模型； 提取待识别视频流中的每帧图像输入训练好的装备检测模型， 得到每帧图像的装备检 测结果； 提取待识别视频流中每 帧图像的骨骼关节点数据； 将所述骨骼关节点数据输入训 练好的武装人员行为识别模型， 得到视频流中每帧图像的人员行为识别结果； 基于所述装 备检测结果和行为识别结果， 计算每帧图像人员的危险系数， 若危险系数高于预设阈值， 则 判断该人员为武装人员。 2.根据权利要求1所述的融合装备与 行为特征的武装人员识别方法， 其特征在于， 采用 如下方式计算每帧图像人员的危险系数： Danger＝Pi·IoUi+Pact， 其中， Pi表示检测的第i种装备的置信度， IoUi表示检测的第i种 装备与人类ROI的交并比， Pact表示行为识别结果的危险度。 3.根据权利要求2所述的融合装备与 行为特征的武装人员识别方法， 其特征在于， 根据 以下公式计算行为识别结果的危险度： 其中， Pj表示第j种行为类别的置信度， βj表示第j种行为类别的危险系 数， 表示行为类别数量。 4.根据权利要求1所述的融合装备与 行为特征的武装人员识别方法， 其特征在于， 所述 装备检测模型为动态神经网络模型； 所述动态神经网络模型包括第一子网络和第二子网 络， 所述第一子网络用于检测图像中的人类； 当所述第一子网络检测图像中包含 人类时， 提 取人类ROI传输至第二子网络； 所述第二子网络用于根据图像的不同分辨率采用不同网络 深度处的分类器进行装备检测； 基于所述装备检测数据集训练所述动态神经网络模型， 得 到训练好的武装人员装备检测模型。 5.根据权利要求1所述的融合装备与 行为特征的武装人员识别方法， 其特征在于， 基于 所述视频流数据构建武装人员行为识别训练样本集， 包括： 提取所述视频流数据中每帧图像的骨骼关节点数据； 为每帧图像添加行为标签； 将所 述行为标签与所述骨骼关节点数据对应， 得到初始训练样本集； 对所述初始训练样本集中的行为标签进行 标签平滑， 得到行为识别训练样本集。 6.根据权利要求5所述的融合装备与 行为特征的武装人员识别方法， 其特征在于， 对所 述初始训练样本集中的行为标签进行 标签平滑， 得到行为识别训练样本集， 包括： 对初始训练样本集中的所有行为标签进行整体平 滑； 确定初始训练样本集中的行为转换帧， 对行为转换帧前的一组图像进行组内行为标签 平滑； 所述骨骼关节点数据包括骨骼关节点的置信度； 基于骨骼关节点的置信度对每个图像 的行为标签进行置信度平 滑， 得到行为识别训练样本集。 7.根据权利要求6所述的融合装备与 行为特征的武装人员识别方法， 其特征在于， 采用 以下公式对初始训练样本集中的所有行为标签进行整体平 滑：权　利　要　求　书 1/2 页 2 CN 115035599 A 2其中， Label表示样本行为标签， 表示分类数， ε表示平 滑参数。 8.根据权利要求6所述的融合装备与 行为特征的武装人员识别方法， 其特征在于， 对行 为转换帧前的一组图像进行组内行为标签平 滑， 包括： 对于每个行为转换帧， 根据 行为转换帧前一帧图像的标签值和行为转换帧的标签值确 定转换前图像组的活跃索引和目标索引； 根据公式Labels[j][活跃索引]＝标签最大值*(i ‑j)/k， 计算行为转换帧前k个图像的 标签中活跃索引对应的标签值； 根据公式 计算行为 转换帧前k个图像的标签中目标索引对应的标签值； 其中， j＝i ‑k,i‑(k‑1),i.‑1.， 第i帧为行为转换帧， Labels[j][活跃索引]表示第j帧 图像的行为标签中活跃索引对应的标签值； Labels[j][目标索引]表 示第j帧图像的行为标 签中目标索引对应的标签值， 活跃索引是第i ‑1帧图像的行为标签中标签最大值所在的索 引， 目标索引是第i帧图像的行为标签中标签最大值所在的索引。 9.根据权利要求6所述的武装人员行为识别方法， 其特征在于， 基于骨骼关节点的置信 度对每个图像的行为标签进行置信度平 滑， 包括： 对每帧图像帧， 将主要骨骼关节点的置信度设置为1， 其他骨骼关节点置信度不变， 计 算所有骨骼关节点的置信度的均值； 将所述置信度的均值与该帧图像的标签值相乘， 得到该帧图像基于置信度的平滑标 签。 10.一种融合装备与行为特 征的武装人员识别系统， 其特 征在于， 包括以下模块： 装备检测模型训练模块， 用于获取装备检测数据集， 基于所述装备检测数据集训练装 备检测模型； 行为识别模型训练模块， 用于获取武装人员行为视频流数据， 基于所述视频流数据构 建武装人员行为识别训练样本集； 基于所述武装人员行为识别训练样本集训练武装人员行 为识别模型； 武装人员识别模块， 用于提取待识别视频流中的每帧图像输入训练好的装备检测模 型， 得到每帧图像的装备检测结果； 提取待识别视频流中每帧图像的骨骼关节 点数据； 将所 述骨骼关节点数据输入训练好的武装人员行为识别模型， 得到视频流中每帧图像的人员行 为识别结果； 基于所述装备检测结果和行为识别结果， 计算每帧图像人员的危险系数， 若危 险系数高于预设阈值， 则判断该 人员为武装人员。权　利　要　求　书 2/2 页 3 CN 115035599 A 3