(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210561747.9 (22)申请日 2022.05.23 (65)同一申请的已公布的文献号 申请公布号 CN 114639075 A (43)申请公布日 2022.06.17 (73)专利权人 广州英码信息科技有限公司 地址 510663 广东省广州市黄埔区高新 技 术产业开发区科学城科研路3号自编 A2栋321房 (72)发明人 区英杰　刘均发　谭焯康　董万里　 (74)专利代理 机构 广州君策达知识产权代理事 务所(普通 合伙) 44749 专利代理师 陈宏升 (51)Int.Cl. G06T 7/194(2017.01)G06V 20/52(2022.01) G06V 10/28(2022.01) G06V 10/30(2022.01) G06T 7/11(2017.01) G06T 7/136(2017.01) G06T 7/215(2017.01) G06T 7/277(2017.01) (56)对比文件 CN 109872341 A,2019.0 6.11 CN 112396021 A,2021.02.23 CN 112257557 A,2021.01.2 2 CN 106096523 A,2016.1 1.09 US 2021118150 A1,2021.04.2 2 CN 112800953 A,2021.0 5.14 审查员 黄艳艳 (54)发明名称 一种高空抛物 坠物的识别方法、 系统及计算 机可读介质 (57)摘要 本发明公开了一种高空抛物坠物的识别方 法、 系统及计算机可读介质， 所述识别方法包括 以下步骤： 对监控图像， 采用隔帧帧间差分法进 行前景目标检测； 对去噪后的前景检测物的最小 外接矩形框先进行扩展处理， 再通过改进的非极 大值抑制NMS进行去重操作； 采用改进 的SORT多 目标跟踪方法对前景检测物进行多目标轨迹跟 踪， 得到运动目标跟踪编号、 运动轨迹和对应的 帧序列号信息； 对常见干扰物的运动特征， 设定 过滤条件； 再根据环境因素制定较为宽松的自由 落体规律特征过滤条件； 最后通过过滤条件 得到 的跟踪目标就识别为高空抛物。 本发 明具有低计 算量， 高召回率和较高识别精确率的优点， 更适 合部署于边 缘计算设备端。 权利要求书5页 说明书11页 附图3页 CN 114639075 B 2022.08.16 CN 114639075 B 1.一种高空抛物坠物的识别方法， 其特 征在于， 包括以下步骤： S1、 对监控图像， 采用隔帧帧间差分法进行前景目标检测， 得到包含运动目标的前景检 测物； S2、 对前景检测物进行去噪； 对前景检测物的最小外接矩形框先进行边长扩展处理， 再 通过改进的非极大值抑制NMS进行去重操作， 得到用前 景区域框表示的前 景检测物； 所述通过改进的非极大值抑制NMS进行去重操作， 包括以下步骤： (1)按扩展前的前景检测物 的最小外接矩形框面积大小排序扩展后的前景区域框， 得 到有序的前 景区域框集 合 ； (2)选择前景区域框集合 中面积最大的前景区域框， 放进输出集合 中， 并将其从有 序的前景区域框集 合 中删除； (3)计算面积最大的前 景区域框与其它前 景区域框中心点的水平和垂直像素距离； (4)如果水平和垂直像素距离中有一个小于预设阈值 ， 则计算最大前景区域框与其 它前景区域框的面积交并比IOU;其中， 面积交并比IOU的计算公式如下： 式中， 表示前景区域框 和前景区域框 的重叠区域面积， 表示前景区域框 和前景区域框 的合并区域 面积； (5)从有序的前 景区域框集 合 中删除面积交并比IOU大于预设阈值 的前景区域框； (6)重复步骤(2)至(5)， 直至有序的前景区域框集合 为空， 得到前景区域框输出集合 ； S3、 采用改进 的SORT多目标跟踪方法对前景检测物进行多目标轨迹跟踪， 即对获得的 前景区域框进行多目标跟踪， 得到运动目标跟踪编号、 运动轨 迹和对应的帧序列号信息； 具体为： (1)对初始帧出现的前景运动 目标建立状态向量 ， 用于初始化一 个新的卡尔曼 滤波器， 赋予跟踪编号， 并记录起始帧序号； 其中， 和 分别表示前景区域框中心点的水平和垂直像素位置， 和 分别表示前景 区域框的面积和长宽比， 和 分别表示前景 区域框水平和垂直方向的速度， 表示前景 区域框的面积变化 量； (2)利用卡尔曼 滤波器预测前 景运动目标在当前帧的位置和边框形状， 记为预测目标； (3)计算每 个预测目标与当前帧检测目标的面积交并比IOU， 获得匹配成本矩阵； (4)使用匈牙利匹配算法对匹配成本矩阵求最优解， 得到预测目标与当前帧检测目标 的匹配关系； (5)如果匹配目标的面积交并比IOU 小于预设阈值 ， 则认为匹配不成功； (6)基于以下准则更新跟踪目标的卡尔曼 滤波器：权　利　要　求　书 1/5 页 2 CN 114639075 B 2a、 如果预测目标匹配不成功， 卡尔曼 滤波进行线性状态更新； b、 如果预测目标匹配成功， 则用检测目标的 值更新卡尔曼滤波器的状态， 并 记录当前帧序号； c、 如果检测目标匹配不成功， 则像步骤a中一样， 初始化一个新的卡尔曼滤波器， 赋予 新的跟踪编号， 并记录起始帧序号； (7)输出卡尔曼滤波器跟踪轨迹特征， 所述卡尔曼滤波器跟踪轨迹特征包含卡尔曼滤 波器编号、 前 景区域框 轨迹和帧序列号； (8)删除跟踪目标连续 帧未匹配到的卡尔曼滤波器， 认为该跟踪目标停止了运动或 者离开了监控画 面； 删除匹配次数大于 帧的卡尔曼滤波器， 认为该跟踪目标为 非高空抛 物； 、 均为预设阈值； (9) 重复步骤(2)至(8)， 每隔一定周期后重 置卡尔曼 滤波器编号； S4、 对常见干扰物的运动特征， 设定过滤条件； 再根据环境因素制定自由落体规律特征 过滤条件； 最后通过 过滤条件得到的跟踪目标就识别为高空抛物。 2.根据权利要求1所述高空抛物坠物 的识别方法， 其特征在于， 步骤S2中， 所述对前景 检测物的最小外接矩形框先进行扩展， 具体为： 如果前景检测物的最小外接矩形框的最长 边小于预设阈值 时， 则将该前景检测物的最小外接矩形框扩展为边长为 的前景检测 物的外接方形框， 而最长 边大于预设阈值 的前景检测物的最小外接矩形框则扩展成以最 长边为边长的前景检测物的外接方形框； 扩展处理后得到的前景检测物的外接方形框作为 前景区域框 。 3.根据权利要求1所述高空抛物坠物 的识别方法， 其特征在于， 步骤S2中， 所述对前景 检测物进行去噪， 具体为： 对前景检测获得的二值化图像进行中值滤波处理， 过滤微小噪 声； 对处理后的二值化图像进 行连通域分析， 获得前景检测物的最小外接矩形框； 统计前景 检测物的最小外接矩形框 的数量， 记为 ； 如果 大于预设阈值 ， 则忽略该前景检测 物， 认为图像采集设备发生了剧烈抖动 或者突然被挪动； 循环遍历每个前景检测物的最小 外接矩形框， 过 滤像素面积小于预设阈值 和大于预设阈值 的前景噪声。 4.根据权利要求1所述高空抛物坠物的识别方法， 其特 征在于， 所述 步骤S4， 具体为： (1)过滤跟踪帧数小于预设阈值 的运动目标， 排除相机抖动产生的前景噪声和近距 离快速经 过图像采集设备的干扰物； (2)过滤跟踪轨迹起始点在监控周界外的运动目标， 排除周界外的天空云彩、 树枝落叶 和从周界外进入监控区域的飞虫飞鸟、 雨雪的影响； (3)过滤跟踪轨迹垂直方向下降距离小于预设阈值 的运动目标， 排除局部运动的物 体的影响， 所述局部运动的物体包括飘动的阳台衣物、 晃动的盆栽花 草； (4)过滤跟踪轨迹垂直下降距离与水平移动距离比小于预设阈值 的运动目标， 排除 轻飘物体、 蚊虫鸟类飞过的影响； (5)过滤跟踪轨迹水平速度方向突变次数和水平速度大小 同时分别大于预定阈值 权　利　要　求　书 2/5 页 3 CN 114639075 B 3