(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211121711.5 (22)申请日 2022.09.15 (65)同一申请的已公布的文献号 申请公布号 CN 115205765 A (43)申请公布日 2022.10.18 (73)专利权人 成都中轨轨道设备有限公司 地址 610000 四川省成 都市双流区东升街 道成都芯谷产业园区集中区 (72)发明人 王威　王建　杨伟　林仁辉　廖峪　 唐泰可　苏茂才　 (74)专利代理 机构 成都启慧金 舟知识产权代理 事务所 (特殊普通合伙) 51299 专利代理师 何媛(51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 114140713 A,202 2.03.04 CN 109413168 A,2019.0 3.01 审查员 李佳丽 (54)发明名称 一种基于FPGA的视频分析方法及系统 (57)摘要 本发明提供的一种基于FPGA的视频分析方 法及系统， 涉及图像处理技术领域。 在本发明中， 通过现场可编程门阵列对采集得到的原始监控 视频包括的每一帧原始监控视频帧进行预处理， 以形成原始监控视频对应的目标监控视频。 从目 标监控视频中， 识别出关键监控视频帧组合， 关 键监控视频帧组合包括至少一帧关键监控视频 帧。 利用预先训练形成的故障检测神经网络， 对 关键监控视频帧组合包括的关键监控视频帧进 行故障检测处理， 以输出目标区域的故障检测结 果， 原始监控视频基于对目标区域进行视频采集 得到。 基于上述内容， 可 以在一定程度上提高视 频分析的效率。 权利要求书3页 说明书12页 附图2页 CN 115205765 B 2022.11.25 CN 115205765 B 1.一种基于FPGA的视频分析 方法， 其特 征在于， 包括： 通过现场可编程门阵列对采集得到的原始监控视频包括的每一帧原始监控视频帧进 行预处理， 以形成所述原 始监控视频对应的目标监控视频； 从所述目标监控视频中， 识别出关键监控视频帧组合， 所述关键监控视频帧组合包括 至少一帧关键监控视频帧； 利用预先训练形成的故障检测神经网络， 对所述关键监控视频帧组合包括的关键监控 视频帧进行故障检测处理， 以输出目标区域的故障检测结果， 所述原始监控视频基于对所 述目标区域进行视频采集得到； 其中， 所述从所述目标监控视频中， 识别出关键监控视频帧组合的步骤， 包括： 对所述目标监控视频进行监控对象分解操作， 以形成所述目标监控视频包括的每一个 监控对象分别对应的目标监控子 视频帧序列； 对于每一个所述监控对象， 从该监控对象对应的所述目标监控子视频帧序列中， 选择 出包括的目标监控子视频帧的数量大于或等于预先配置的数量参考值的子视频帧序列片 段， 以进行 标记处理， 以标记形成与该监控 对象匹配的子 视频帧序列片段； 对所述目标监控视频进行分段处理， 以形成所述目标监控视频对应的多个监控视频子 集， 每一个所述监控视频子集包括多帧目标监控视频帧， 每两个监控视频子集之间包括的 目标监控视频帧的数量相同； 以及， 对于所述目标监控视频中的每一个所述监控视频子集， 确定出该监控视频子集在视频帧时序上匹配的且与所述监控对 象匹配的子视频帧序列片 段， 再依据该子视频帧序列片段包括的目标监控子视频帧之间的视频帧差异度， 分析输出 该监控视频子集对应的视频影响力参数， 再依据每一个所述视频影响力参数， 构建得到所 述目标监控视频对应的视频影响力参数有序集 合； 依据从每一个所述监控视频子集中识别出的视频信 息特征分布， 构建得到所述目标监 控视频对应的视频信息特征分布有序集合， 对 所述目标监控视频包括的每一个所述监控视 频子集对应的视频信息特征分布进行特征整合操作， 以输出每一个所述视频信息特征分布 对应的视频信息特征分布整合结果， 以及， 对于所述视频信息特征分布有序集合包括每一 个所述视频信息特征分布， 分别对该视频信息特征分布对应的视频信息特征分布整合结果 和每一个其它监控视频子集对应的其它视频信息特征分布对应的视频信息特征分布整合 结果进行乘积计算， 以输出该视频信息特征分布与每一个其它监控视频子集对应的视频信 息特征分布之 间的特征分布关联系数， 所述其它监控视频子集为所述目标监控视频包括的 多个监控视频子集中该视频信息特征分布对应的监控视频子集以外的监控视频子集， 分别 聚合该视频信息特征分布和每一个所述特征分布关联系数， 以输出该视频信息特征分布对 应的每一个聚合特征相关系数， 对该视频信息特征分布对应的每一个所述聚合特征相关系 数进行求和计算， 以输出 该视频信息特 征分布对应的特 征相关数据； 依据每一个所述视频信息特征分布对应的监控视频子集在所述目标监控视频中的视 频帧时序先后关系， 对每一个所述视频信息特征分布对应的特征相关数据进行排序 处理， 以形成所述目标监控视频对应的相关度数据有序集 合； 在所述相关度数据有序集合中， 提取出每一个所述监控视频子集对应的特征相关数 据， 再将每一个所述监控视频子集对应的视频影响力参数与每一个所述监控视频子集对应 的特征相关数据进行融合计算， 以输出每一个所述监控视频子集对应的视频筛选数据； 以权　利　要　求　书 1/3 页 2 CN 115205765 B 2及， 基于所述视频筛选数据分析确定出每一个所述监控视频子集对应的代表视频筛选数 据； 依据每一个所述监控视频子集对应的代表视频筛选数据之间的数据相对大小关系， 对 每一个所述监控视频子集进行对应排序， 对排序在前或在后的至少一个监控视频子集进 行 标记处理， 以形成所述目标监控视频对应的关键监控视频子集； 或者， 将对应的代表视频筛 选数据不小于预先配置的代表视频筛选数据参考值的每一个所述监控视频子集进行标记 处理， 以形成所述目标监控视频对应的关键监控视频子集； 以及， 将所述关键监控视频子集 标记为关键监控视频帧组合。 2.如权利要求1所述的基于FPGA的视频分析方法， 其特征在于， 所述通过现场可编程门 阵列对采集得到的原始 监控视频包括的每一帧原始 监控视频帧进 行预处理， 以形成所述原 始监控视频对应的目标监控视频的步骤， 包括： 通过现场可编程门阵列对当前采集得到的原 始监控视频帧进行缓存； 通过现场可编程门阵列对原始监控视频帧进行预处理， 以形成所述原始监控视频帧对 应的目标监控视频帧， 该预处理包括对所述原始监控视频帧进行图像亮度调节、 图像坏点 修复、 图像噪点抑制中的至少一种。 3.如权利要求1所述的基于FPGA的视频分析方法， 其特征在于， 所述对所述目标监控视 频进行监控对象分解操作， 以形成所述目标监控视频包括的每一个监控对象分别对应的目 标监控子 视频帧序列的步骤， 包括： 对所述目标监控视频进行视频信 息挖掘操作， 以输出所述目标监控视频对应的视频信 息整体特 征分布； 将所述视频信 息整体特征分布标记为对应的视频覆盖物， 以对所述目标监控视频进行 监控对象分解操作， 以输出所述目标监控视频中每一个监控对象分别对应的目标监控子视 频帧序列， 所述视频覆盖物的轮廓线用于区分不同的监控 对象之间的对象轮廓。 4.如权利要求3所述的基于FPGA的视频分析方法， 其特征在于， 所述对所述目标监控视 频进行视频信息挖掘操作， 以输出所述目标监控视频对应的视频信息整体特征分布的步 骤， 包括： 对所述目标监控视频进行视频信 息挖掘操作， 以输出所述目标监控视频对应的第 一视 频信息特 征分布； 对所述第一视频信 息特征分布进行多次特征压缩和筛选操作， 以输出所述目标监控视 频对应的多个第二视频信息特征分布， 所述多次特征压缩和筛选操作中的每两次特征压缩 和筛选操作的参数不同； 融合所述多个第 二视频信 息特征分布， 以输出所述目标监控视频对应的视频信 息整体 特征分布。 5.如权利要求1所述的基于FPGA的视频分析方法， 其特征在于， 所述从所述目标监控视 频中， 识别出关键监控视频帧组合的步骤通过预先训练形成的视频帧识别神经网络实现， 所述视频帧识别神经网络的训练， 包括： 依据示例性目标监控视频包括的每一个真实示例性关键监控视频子集对应的真实代 表视频筛选数据， 构成所述 目标监控视频对应的真实代表视频筛选数据有序集合； 利用初 始的视频帧识别神经网络， 分析确定出所述示例性目标监控视频对应的估计代表视频筛选权　利　要　求　书 2/3 页 3 CN 115205765 B 3