(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210518467.X (22)申请日 2022.05.13 (71)申请人 北京无线电计量测试研究所 地址 100854 北京市海淀区永定路5 0号142 信箱408分箱 (72)发明人 李昂　张升康　何巍　 (74)专利代理 机构 北京国昊天诚知识产权代理 有限公司 1 1315 专利代理师 南霆 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种监控视频中群体全局异常行为检测方 法和装置 (57)摘要 本申请公开了一种监控视频中群体全局异 常行为检测方法， 涉及图像处理和计算机视觉技 术领域。 该方法选取预训练好的VGG16模型作为 群体全局异常行为检测网络模型的基础网络； 并 用LSTM网络框架和基于预测误差的分类器取代 VGG16模型最后的Softmax分类器， 获得基于 预测 机制的群体全局异常行为检测网络模 型； 并对获 得的群体全局异常行为检测网络模 型进行微调； 利用训练好的群体全局异常行为检测网络模型 对输入视频数据进行检测， 并输出检测帧图像对 应的标签。 该方法可以准确地检测出监控视频中 的群体全局异常行为。 本申请还包含用于实现所 述方法的装置。 本申请解决了 现有检测框架结构 复杂、 只根据局部特 征进行检测的问题。 权利要求书1页 说明书5页 附图5页 CN 115082820 A 2022.09.20 CN 115082820 A 1.一种监控视频中群 体全局异常行为检测方法， 其特 征在于， 包括： 选取预训练好的VG G16模型作为群 体全局异常行为检测网络模型的基础网络； 用LSTM网络框架和基于预测误差的分类器取代VGG16模型最后的Softmax分类器， 获得 基于预测机制的群 体全局异常行为检测网络模型； 利用训练好的群体全局 异常行为检测网络模型对输入视频数据进行检测， 输出检测帧 图像对应的标签。 2.根据权利要求1所述的一种监控视频中群体全局异常行为检测方法， 其特征在于， 所 述VGG16模 型包括5个卷积块和1个Softmax分类器； 其中， 每个卷积块包括3个二维卷积层和 1个二维最大池化层。 3.根据权利要求1所述的一种监控视频中群体全局异常行为检测方法， 其特征在于， 所 述方法还在训练阶段， 对获得的群 体全局异常行为检测网络模型进行微调。 4.根据权利要求3所述的一种监控视频中群体全局异常行为检测方法， 其特征在于， 在 训练阶段， 对获得的群 体全局异常行为检测网络模型进行微调的具体方法为： 冻结已经预训练的VGG16模型的5个卷积块； 解冻已经训练好的VGG16模型的第 5个卷积 块； 并联合 LSTM网络 框架和基于预测误差的分类 器一起进行训练。 5.根据权利要求1所述的一种监控视频中群体全局异常行为检测方法， 其特征在于， 所 述基于预测误差的分类 器， 预测误差函数为： 其中， PE为预测误差， Ft+1为图像Xt+1通过VGG16模型获得真实特征， 为LSTM网络框架 的预测特 征， t＝1、 2、 L、 T， T为视频片段中图像的数量。 6.根据权利要求5所述的一种监控视频中群体全局异常行为检测方法， 其特征在于， 所 述基于预测误差的分类 器， 进行分类的具体方法为： 如果预测误差PE满足PE<τ， 则图像Xt+1为正常的群体活动， 如果预测误差PE满足PE≥τ， 则图像Xt+1为异常的群 体活动； 其中， τ表示控制检测框架灵敏度的阈值。 7.根据权利要求6所述的一种监控视频中群体全局异常行为检测方法， 其特征在于， 所 述基于预测误差的分类器在图像为正常场景下的群体活动时输出标签 “+1”， 图像为异常场 景下的群体活动时输出 标签“‑1”。 8.一种监控视频中群体全局 异常行为检测装置， 用于实现权利要求1～6任意一项所述 方法， 其特征在于， 包括模型构建模块、 模型训练模块和视频检测模块； 所述模型构建模块 用于构建基于预测机制的群体全局异常行为检测网络模型； 所述模型训练模块用于训练模 型构建模块构建的群体全局异常行为检测网络模型； 所述视频检测模块使用训练好的群体 全局异常行为检测网络模型对监控视频中群 体全局异常行为进行检测。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现如权利要求1 ‑7中任一所述的方法。 10.一种电子设备， 包括存储器， 处理器及存储在存储器上并可在处理器运行的计算机 程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1‑7中任一所述的方 法。权　利　要　求　书 1/1 页 2 CN 115082820 A 2一种监控视频中群体 全局异常 行为检测方 法和装置 技术领域 [0001]本申请涉及图像处理和计算机视觉技术领域， 尤其涉及 一种监控视频中群体全局 异常行为检测方法和装置 。 背景技术 [0002]随着监控设备的普及， 对海量视频信息进行智能分析与深度挖掘， 从而构建智能 监控系统， 对于提升城市可视化管理水平和政府预警、 应急处置能力， 维护城市公共安全具 有十分重大的意义。 其中， 监控视频中的群体异常行为检测是智能监控系统中的关键问题， 也是计算机视觉领域内的研究热点。 近几年， 与计算机相关的硬件设备性能不断提高， 尤其 是与GPU相关技术的显著进步， 进一步推动了以神经网络为基础的深度学习的进程。 基于深 度学习的相关检测技 术也被引入到监控视频中群 体异常行为的检测中。 [0003]目前， 基于深度学习的检测框架对群体全局异常行为检测方面的研究存在着不 足， 主要表现在： 第一， 检测框架是针对群体局部异常行为建立的， 不仅框架结构较为复杂， 而且只有极少数 的检测框架可以应用于群体全局异常行为检测； 第二， 检测框架的训练数 据来源于群体局部异常行为对应的数据库， 对群体全局异常行为检测具有一定的局限性。 在进行群体全局异常行为检测时， 关注的重点是帧图像的整体特征， 即1张帧图像对应1个 特征向量。 现有检测框架是针对群体局部异常行为检测而建立的， 关注的是局部、 细节的特 征， 导致检测框架结构复杂， 需要微调和训练的时间较长。 虽然， 按照局部特征的检测方法， 也可以完成群体全局异常行为的检测， 但是耗费的资源和时间较多， 而且有些检测框架取 得的结果并不优于传统方法。 基于上述分析， 应该寻求更加简洁有效、 关注帧图像整体特征 的深度学习的检测框架。 发明内容 [0004]本申请实施例提供一种监控视频中群体全局异常行为检测方法和装置， 解决了现 有检测框架结构复杂、 只根据局部特 征进行检测的问题。 [0005]本申请实施例采用下述 技术方案： [0006]一方面， 本申请提出一种监控视频中群 体全局异常行为检测方法， 包 含以下步骤： [0007]选取预训练好的VG G16模型作为群 体全局异常行为检测网络模型的基础网络； [0008]用LSTM网络框架和基于预测误差的分类器取代VGG16模型最后的Softmax 分类器， 获得基于预测机制的群 体全局异常行为检测网络模型； [0009]训练阶段， 对获得的群 体全局异常行为检测网络模型进行微调； [0010]检测阶段， 利用训练好的群体全局异常行为检测网络模型对输入视频数据进行检 测， 并输出检测帧图像对应的标签。 [0011]另一方面， 本申请实施例还提出一种监控视频中群体全局异常行为检测装置， 用 于实现本申请任意一项实施例所述方法， 包括模型构建模块、 模型训练模块和视频检测模 块； 所述模型构建模块用于构建基于预测机制的群体全局异常行为检测网络模型； 所述模说　明　书 1/5 页 3 CN 115082820 A 3