(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211052697.8 (22)申请日 2022.08.31 (71)申请人 国电南瑞科技股份有限公司 地址 211106 江苏省南京市江宁区诚信大 道19号 (72)发明人 李斌　杨栩　丁施磊　王伟　周捷　 杨晓旭　胡锟　王辉　范寅秋　 郭霞　王刚　车明仁　周宏宇　 顾勇祥　崔婧格　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 张赏 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01)G06V 40/10(2022.01) G06V 40/16(2022.01) G06V 40/20(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/74(2022.01) G06V 10/40(2022.01) G06V 10/26(2022.01) (54)发明名称 一种现场作业人员身份特征融合识别方法 与系统 (57)摘要 本发明公开了一种现场作业人员身份特征 融合识别方法与系统， 该方法包括： 对监控视频 文件或实时监控视频流进行解码抽帧， 得到序列 帧； 对所得到序列 帧进行行人检测、 行人重识别 和行人跟踪， 提取待识别对象的步态图像序列和 步态轮廓序列， 构成目标特征集； 将待识别对象 的目标特征集与预先构建的目标库中的目标特 征集进行匹配， 识别出待识别对象的身份； 本发 明中对目标库中的每一个目标特征集预先绑定 一个作业人员身份。 本发明能够 有效解决统一着 装作业人员在人脸难以获取和无法捕捉完整步 态周期等场景下身份识别难的问题， 实现覆盖全 场景的现场作业人员身份识别， 有效提升厂站安 全管控水平。 权利要求书3页 说明书8页 附图4页 CN 115359405 A 2022.11.18 CN 115359405 A 1.一种现场作业人员身份特 征融合识别方法， 其特 征在于， 包括： 对监控视频文件或实时监控视频流进行解码抽帧， 得到序列帧； 对所述序列帧进行行人检测、 行人重识别和行人跟踪， 提取待识别对象的步态图像序 列和步态轮廓序列， 构成目标 特征集； 将待识别对象的目标特征集与预先构建的目标库进行匹配， 识别出待识别对象的身 份； 所述目标库中包括预 先绑定作业人员身份的目标 特征集和作业人员的人脸库。 2.根据权利要求1所述的一种现场作业人员身份特征融合识别方法， 其特征在于， 预先 构建目标库的步骤， 包括： 获取包含作业人员的监控视频文件或实时监控视频流进行解码抽帧， 得到序列帧； 对所述序列帧进行行人检测、 行人重识别和行人跟踪， 得到每一目标的步态图像序列 和步态轮廓序列构成目标 特征集； 一个目标为 一个作业人员； 基于作业人员 信息库将作业人员身份与每一目标的目标特征集进行绑定， 得到绑定有 作业人员身份的目标 特征集构成的目标库。 3.根据权利要求1或2所述的一种现场作业人员身份特征融合识别方法， 其特征在于， 对所述序列帧进行 行人检测、 行 人重识别和行 人跟踪， 包括： 采用行人目标检测模型对所得到的序列帧进行行人检测， 检测到包含行人目标的行人 目标框的位置， 根据行 人目标框位置从所述序列帧图像中截取 行人图像； 根据行人图像提取 行人重识别特 征； 将所提取的行人重识别特征与前一帧中的行人重识别特征进行匹配， 对行人进行跟 踪； 基于行人跟踪， 获取行人目标在连续n帧中的行人图像作为步态图像序列； n为预设的 阈值， n∈N+； 对所述步态图像序列每一帧中的行人图像进行人形分割， 并对分割结果进行归一化和 二值化处理得到步态轮廓图， 并得到连续 n帧的步态轮廓图作为 步态轮廓序列； 将每一行 人目标的步态图像序列和步态轮廓序列 作为该行人目标的目标 特征集。 4.根据权利要求3所述的一种现场作业人员身份特征融合识别方法， 其特征在于， 所述 行人目标检测模型采用yo lov5模型。 5.根据权利要求3所述的一种现场作业人员身份特征融合识别方法， 其特征在于， 所述 根据行人图像提取 行人重识别特 征， 包括： 采用OSNet模型提取 行人重识别特 征。 6.根据权利要求3所述的一种现场作业人员身份特征融合识别方法， 其特征在于， 对所 述步态图像序列每一帧中的行 人图像进行 人形分割， 包括： 采用语义分割模型 Fast‑SCNN对行人图像进行 人形分割。 7.根据权利要求3所述的一种现场作业人员身份特征融合识别方法， 其特征在于， 所述 基于作业人员信息库将作业人员身份与每一目标的目标 特征集进行绑定， 包括： 通过人脸检测算法从每一目标的目标 特征集的步态图像序列中提取 人脸； 以作业人员信 息库中的人脸库作为底库， 对从步态图像序列中提取的人脸进行人脸识 别； 若识别成功， 则将作业人员 信息库中的对应作业人员身份与 该人脸对应的目标特征集权　利　要　求　书 1/3 页 2 CN 115359405 A 2进行绑定， 并将作业人员信息库中的人脸和从步态图像序列中提取的人脸添加至目标库的 人脸库； 若识别不成功， 或者无法检测到人脸， 则通过查看目标特征集的步态图像序列生成的 步态视频， 确认作业人员身份并绑定， 并将作业人员信息库中该作业人员的人脸添加到目 标库的人脸库； 所有已绑定身份的目标 特征集和人脸库构成目标库。 8.根据权利要求7所述的一种现场作业人员身份特征融合识别方法， 其特征在于， 所述 人脸检测算法采用人脸检测模型MTCN N。 9.根据权利要求7所述的一种现场作业人员身份特征融合识别方法， 其特征在于， 所述 对从步态图像序列中提取的人脸图像进行 人脸识别， 包括： 采用人脸识别模型Mobi leFaceNet对人脸图像进行 人脸识别。 10.根据权利要求1所述的一种现场作业人员身份特征融合识别方法， 其特征在于， 所 述将待识别对 象的目标特征集与预先构建的目标库进行匹配， 识别出待识别对 象的身份， 包括： 通过人脸检测算法从待识别对象的目标 特征集的步态图像序列中提取 人脸； 以目标库中的人脸库为底库， 计算待识别对象的人脸与目标库 所有作业人员的人脸之 间的相似度， 若最大相似度大于预设阈值Thf， 则将待识别对象识别为该具有最大相似度的 作业人员； 若无法提取人脸或通过人脸计算的相似度不存在大于阈值Thf的作业人员， 则以目标 库中的步态轮廓序列为底库， 计算待识别对象的步态特征与目标库所有作业人员的步态特 征之间的相似度， 若最大相似度大于预设阈值Thg， 则将待识别对象识别为该具有最大相似 度的作业人员； 若通过人脸和步态特征均 未识别出待识别对象身份， 则以从 目标库中的步态图像序列 提取的行人重识别特征为底库， 计算待识别对象的行人重识别特征与目标库所有作业人员 的行人重识别特征之 间的相似度并排序， 对相似度排名的前五， 按排名顺序赋不同权重， 并 将相同目标库作业人员的相似度进行相加， 最终得到比对结果， 取排名第一的目标库作业 人员作为待识别对象的身份识别结果。 11.根据权利要求10所述的一种现场作业人员身份特征融合识别方法， 其特征在于， 采 用步态识别模型GaitSet进行步态特 征提取。 12.根据权利要求10所述的一种现场作业人员身份特征融合识别方法， 其特征在于， 所 述计算待识别对象的行 人重识别特 征， 包括： 对待识别对象提取头肩特征与全局特征， 并对提取的两类特征赋予不同权重进行融 合， 作为待识别对象的行 人重识别特 征。 13.根据权利要求1或2所述的一种现场作业人员身份特征融合识别方法， 其特征在于， 所述对监控视频文件或实时监控视频流进行解码抽帧， 得到序列帧， 包括： 采用开源工具OpenCV进行视频抽帧， 得到序列帧。 14.用于实现权利要求1至13任意一项所述的现场作业人员身份特征融合识别方法的 现场作业人员身份特 征融合识别系统， 其特 征在于， 包括： 视频解码单元， 用于对监控视频文件或实时监控视频流进行解码抽帧， 得到序列帧并 缓存；权　利　要　求　书 2/3 页 3 CN 115359405 A 3