(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210639851.5 (22)申请日 2022.06.08 (71)申请人 西安邮电大 学 地址 710061 陕西省西安市长安 南路563号 (72)发明人 郝羽　罗肖东　刘颖　 (74)专利代理 机构 北京国坤专利代理事务所 (普通合伙) 11491 专利代理师 赵红霞 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/20(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/62(2022.01) (54)发明名称 一种面向公共安全的密集人群异常行为的 检测方法 (57)摘要 本发明属于密集人群异常行为的检测技术 领域， 公开了一种面向公共安全的密集人群异常 行为的检测方法。 本发明通过对密集人群异常行 为识别方法无需人工进行识别， 自动化程度高、 效率高； 同时， 通过构建密集人群异常行为风险 评估模型方法采集密集人群数据， 所述密集人群 数据用于评估异常行为； 对所述密集人群数据进 行预处理， 得到密集人群目标向量， 并根据所述 密集人群目标向量构建数据集； 构建神经网络模 型， 所述神经网络模型包括多层全连接网络， 且 各层全连接层都包括批标准化； 通过所述数据集 对所述神经网络模型进行训练， 得到异常行为风 险评估模型， 可以准确对异常行为风险进行评 估。 权利要求书3页 说明书7页 附图2页 CN 115049977 A 2022.09.13 CN 115049977 A 1.一种面向公共安全的密集人群异常行为的检测方法， 其特征在于， 所述面向公共安 全的密集人群异常行为的检测方法包括以下步骤： 步骤一、 采集监控公共场景图像， 并以特征点形式对监控公共场景图像内群体目标进 行跟踪； 利用混合高斯模型进 行背景建模， 从公共场景图像分离出背 景像素； 从公共场景图 像中提取运动目标； 步骤二、 利用几何自适应高斯响应技术估计密集人群图中单个人头的尺度大小， 生成 监督预测密度图； 利用初级高分辨率特征提取网络提取输入图像的高分辨率特征； 利用高 分辨率特征预测初级密集人群对应密度图； 基于初级高分辨率特征提取网络， 构建级联高 分辨特征提取网络， 提取第二级高分辨率特征； 采用分区域损失加权方式， 使用MSE和 计数 误差两种损失函数进行网络参数优化； 利用第二级高分辨率特征预测最终密集人群密度 图； 利用最终密集人群密度图， 对密度图像素值进行累加求和， 得到最终密集人群计数结 果； 步骤三， 对密集人群异常行为识别； 构建密集人群异常行为 风险评估 模型； 步骤四， 当密集人群目标的运动轨 迹超出正常行为阈值时， 发出报警信息 。 2.如权利要求1所述面向公共安全的密集人群异常行为的检测方法， 其特征在于， 所述 对密集人群异常行为识别方法如下： (1)获取公共场所密集人群视频数据， 所述公共场所密集人群视频数据是视觉采集设 备监控预设区域得到的； 将所述密集人群视频送入预先建立的网络进行识别， 输出特征信息； 其中所述预先建 立的网络是密集时空图卷积网络， 其网络结构如下： 在ST ‑GCN中的结构加入密集连接结构， 将ST‑GCN中输入通道等于输出通道的单元作为一个denseblock， 每个denseblock块内部的 每层的输入是前面所有层concatnate结果； 输入通道数不等于输出通道的单元作为 transition层； 通过OpenPose工具提取图像中的人体骨架数据构成骨架拓扑图， 并将所属骨架拓扑图 送入所述预先建立的网络； OpenPose对图像进行关键点提取， 获得的人体关键点信息由18 个(X,Y,C)组成， 其中(X,Y)为关键点在视频中的位置， C为该关键点的置信度； 所述的人体 骨架数据为2D数据； 采用和ST ‑GCN相同的时空卷积函数； 将所述特 征信息送入 池化层和softmax层输出 结果判断是否为异常行为； (2)根据所述公共场所密集人群视频数据， 检测所述预设区域内是否发生预设异常行 为； (3)当发生所述预设异常行为 时， 根据所述公共场所密集人群视频数据， 生成异常行为 记录， 所述异常行为记录包括所述预设异常行为的标识信息 。 3.如权利要求2所述面向公共安全的密集人群异常行为的检测方法， 其特征在于， 所述 异常行为记录还 包括以下至少一种： 发生所述预设异常行为的帧画面； 所述帧画面中所述预设异常行为的实施人员的边界框； 所述帧画面中所述预设异常行为的被实施人员的边界框； 所述帧画面对应的时间戳； 包含所述帧画面的公共场所密集人群视频， 所述公共场所密集人群视频的时长不大于权　利　要　求　书 1/3 页 2 CN 115049977 A 2预设时长； 所述预设异常行为包括偷盗； 所述根据 所述公共场所密集人群视频数据， 检测所述预设区域内是否发生预设异常行 为， 包括： 根据所述公共场所密集人群视频 数据， 识别所述预设区域内的预设物品； 针对每个所述预设物品， 检测所述预设物品是否被偷； 当存在至少一个所述预设物品被偷时， 判断发生偷盗。 4.如权利要求3所述面向公共安全的密集人群异常行为的检测方法， 其特征在于， 所述 针对每个所述预设物品， 检测所述预设物品是否被偷， 包括： 针对每个所述预设物品， 识别所述预设物品的所有者； 每隔预定时间 间隔， 识别所述预设物品的当前 所属人员； 检测所述预设物品的当前 所属人员是否与所述预设物品的所有者 一致； 当不一致时， 确定所述预设物品被所述预设物品的所有者以外的人员取得， 判断所述 预设物品被偷。 5.如权利要求2所述面向公共安全的密集人群异常行为的检测方法， 其特征在于， 所述 异常行为记录还 包括以下至少一种： 发生偷盗的帧画面； 所述帧画面中偷盗人员的边界框， 所述偷盗人员是指所述预设物品的所有者以外的取 得所述预设物品的人员； 所述帧画面中所述预设物品的所有者的边界框； 所述帧画面对应的时间戳； 包含所述帧画面的公共场所密集人群视频， 所述公共场所密集人群视频的时长不大于 预设时长 。 6.如权利要求1所述面向公共安全的密集人群异常行为的检测方法， 其特征在于， 所述 构建密集人群异常行为 风险评估 模型方法如下： 1)采集密集人群数据， 所述密集人群数据用于 评估异常行为； 2)对所述密集人群数据进行预处理， 得到密集人群目标向量， 并根据所述密集人群目 标向量构建数据集； 构建神经网络模型， 所述神经网络模型包括多层 全连接网络， 且各层全 连接层都包括批标准 化； 3)通过所述数据集对所述神经网络模型进行训练， 得到异常行为 风险评估 模型。 7.如权利要求6所述面向公共安全的密集人群异常行为的检测方法， 其特征在于， 所述 采集密集人群数据中， 所述密集人群数据包括： 网络行为数据、 轨 迹信息数据。 8.如权利要求7所述面向公共安全的密集人群异常行为的检测方法， 其特征在于， 所述 对所述密集人群数据进行 预处理， 得到密集人群目标向量， 包括： 将所述网络行为数据转 化为第一向量， 将所述轨 迹信息数据转 化为第二向量； 对所述第一向量与所述第二向量进行横向拼接， 得到拼接结果； 将所述拼接结果进行归一 化处理得到预设模长的所述密集人群目标向量； 所述根据所述密集人群目标向量构建数据集， 包括： 根据所述密集人群目标向量自动构建所述数据集；权　利　要　求　书 2/3 页 3 CN 115049977 A 3