(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210692871.9 (22)申请日 2022.06.17 (71)申请人 南通大学 地址 226019 江苏省南 通市崇川区啬园路9 号 (72)发明人 李洪均　孙晓虎　陈金怡　申栩林　 陈俊杰　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 王毅 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于多路径注意力时序的视频异常检 测方法 (57)摘要 本发明属于计算机视觉技术领域， 具体为一 种基于多路径注意力时序的视频异常检测方法， 包括步骤一、 循环残差卷积单元； 步骤二、 跳跃注 意力门； 步骤三、 规则性得分。 本发明中每个RRCU 的活动不仅会受到其相邻单元 活动的调节， 并且 可以根据网络和任务的不同设置不同的时间步 长， 该属性增强了模型对上下文信息的整合能 力； 同时， 考虑到编码阶段对图像压缩会造成信 息损失， 利用跳跃注意力门聚合来自多个特征尺 度的信息， 其可自动学习并关注 不同形状和大小 的目标对象， 更好地突出显著性局部特征； 作为 一个端到端的学习框架， 模型利用多尺度的时空 特征可以捕获更多的正态分布信息 。 权利要求书2页 说明书6页 附图6页 CN 114973102 A 2022.08.30 CN 114973102 A 1.一种基于多路径 注意力时序的视频异常检测方法， 其特 征在于， 所述方法包括： 步骤一、 循环残差卷积单元， 将连续的T帧依次输入到编码器中进行特征提取并输入到 上下文模块中， 实现多尺度特 征提取以及时序信息的建模； 步骤二、 跳跃注意力门， 在不同尺度的信息压缩之前直接将显著性的低层特征信息转 换为解码特征图， 采用SAG， 通过跳跃连接将下采样层的结构化信息和当前层纹理信息进 行 融合， 并利用归一化注意力系 数得到关联性强的区域， 每个跳跃连接的门控信号聚合了来 自多个特 征尺度的信息， 这 提高了查询信号的网格分辨 率； 步骤三、 规则性得分， 采用T帧的特征图进行跳跃连接， 最终输出一帧作为T+1帧的预测 结果， 并使用实际的第T+1帧作为Ground  Truth来完成预测任务。 2.根据权利要求1所述的一种基于多路径注意力时序的视频异常检测方法， 其特征在 于， 所述步骤一中编码器主要由不同尺度的RRCU和卷积块构建； RRCU的关键是循环卷积层， RRCU包含RCL； RCL是根据RRCU示的时间步长t执行的； 对于位于RCL中第k个特征图上位于 (m,n)处的像素， 其在时间步长为t时的净输入 由下式计算： 其中， 和 分别表示前馈输入和第l个RCL的输入； 和 分别表示向 量化的前馈 权重和第k个RCL的循环权 重， bl是偏差； 其表达式为： RRCU的最终输出通过残差单 元， 假设R RCU的输出 是ux+1， 其计算如下： ux+1＝ux+F(ux,wl)              (3) 其中， ux表示RRCU的输入。 3.根据权利要求1所述的一种基于多路径注意力时序的视频异常检测方法， 其特征在 于， 步骤二中SAG的输出 是输入特 征图和注意力系数的元 素乘法， 如下式所示： 其中， 注意力系数αi∈[0,1]。 表示每个像素向量， Cx对应于层x中的特征图的数 量； i和c分别表示空间维度和通道维度； 连接的特征Fx和G被线性映射到 维的空间中； 每 个像素i使用一个门控向量 来确定显著性区域； 注意力公式如下： 其中， 和偏置项bψ∈R， 均为SAG的特征 参数ξatt， 且这些参数被 计算通过使用输入张量 为1×1×1通道卷积； SAG参数可以通过标准的反向传播更新进行训练， 而无需使用基于采样的更新方法， 第 x‑1层参数的更新 规则可表述 为式(7)， 其中， 右侧的第一个梯度项被缩放按比例 Φx表示第x卷积层的核参数。权　利　要　求　书 1/2 页 2 CN 114973102 A 24.根据权利要求1所述的一种基于多路径注意力时序的视频异常检测方法， 其特征在 于， 步骤三中根据Mathieu， 使用图像质量评估方法峰值信噪比(P SNR)， 如式(8)所示； 其中， N是视频帧中的像素 数； 当视频帧正常时获得较高的P SNR值， 反 之亦然； 在计算每个预测帧 与真实帧It的PSNR之后， 将每个测 试视频中的所有 帧的PSNR归一 化到[0,1]范围内， 并使用式(9)来计算每帧的规则性分数： 因此， 根据其得分S(t)来预测一帧是正常还是异常。 5.根据权利要求2所述的一种基于多路径注意力时序的视频异常检测方法， 其特征在 于， RRCU中的循环连接不仅确保每个单元将上下文信息合并到当前层的任意大区域中， 而 且在增加网络深度的同时通过权重共享保持可调参数的数量不变； RRCU从输入到输出之间 的较长路径使得模型可以学习更复杂的特征， 而较短路径有助于训练期间梯度的反向传 播。权　利　要　求　书 2/2 页 3 CN 114973102 A 3