(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210658770.X (22)申请日 2022.06.13 (65)同一申请的已公布的文献号 申请公布号 CN 114745528 A (43)申请公布日 2022.07.12 (73)专利权人 松立控股集团股份有限公司 地址 266000 山东省青岛市 市南区宁 夏路 288号软件园6号楼1 1层 (72)发明人 刘寒松　王国强　王永　刘瑞　 翟贵乾　李贤超　谭连胜　焦安健　 (74)专利代理 机构 青岛高晓专利事务所(普通 合伙) 37104 专利代理师 黄晓敏 (51)Int.Cl. H04N 7/18(2006.01)H04N 9/31(2006.01) H04N 5/232(2006.01) G06V 20/40(2022.01) (56)对比文件 CN 109509230 A,2019.0 3.22 CN 105516654 A,2016.04.20 CN 103795976 A,2014.0 5.14 CN 109670462 A,2019.04.23 CN 104301669 A,2015.01.21 US 20123 00020 A1,2012.1 1.29 孔德磊 等.基 于事件的视觉传感器及其应 用综述. 《信息与控制》 .2021,第5 0卷(第1期), 审查员 黄海云 (54)发明名称 一种高位全景视频安全监控方法 (57)摘要 本发明属于高位安全监控技术领域， 涉及一 种高位全景视频安全监控 方法， 先生成全景视频 监控物体位置粗定位， 并基于粗定位进行局部投 影以及局部投影基础上的物体检测， 同时， 基于 类别激活映射和CRF精细化物体定位信息， 在此 基础上， 引入分类精确度和帧间一致性进一步精 细化投影窗口， 并将精细化的窗口作为伪GT， 迭 代训练实现精细化物体定位， 并结合显著性区域 检测生成全景视频窗口推荐， 能在将重要内容保 存下来的同时， 实时监控重要内容， 极大节省了 安保所需要的人力财力物力消耗， 便于城市街道 管理。 权利要求书1页 说明书4页 附图1页 CN 114745528 B 2022.08.23 CN 114745528 B 1.一种高位全景视频安全监控方法， 其特 征在于， 具体过程包括如下步骤： （1） 将采集的全景摄 像头视频段作为城市高位全景视频监控数据集； （2） 对城市高位全景视频监控数据集中的视频进行投影定位得到 定位结果， 具体为： （21） 采用全景投影的方式将全景视频转 化为平面图像； （22） 将全景投影结果输入到yolov5物体检测算法， 得到物体检测结果作 为物体位置的 粗定位； （23） 以粗定位结果中心点坐标为投影坐标进行二次局部投影， 得到不失真的矩形区域 后利用yolov5物体检测算法， 检测到更多的未发现的物体以及小物体得到二次粗定位检测 结果； （24） 基于二次粗定位检测结果， 通过CAM类别激活映射机制， 并配合CRF得到物体区域 分割， 将定位结果精细化， 同时采用置信度的方式将大部分低于阈值的错误分类删除掉得 到定位结果； （3） 对步骤 （2） 得到的定位结果基于帧间一致性的轨迹平滑进一步精细化投影窗口， 将 帧间相同物体连接起 来并采用坐标平 滑的方式形成平 滑的运动轨 迹， 并给每 个物体编号； （4） 将步骤 （3） 进一步精细化的窗口作为伪标注， 基于弱监督迭代算法进行迭代训练实 现精细化物体定位得到高质量的全景视频窗口； （5） 将高质量全景视频窗口的视频每帧上运动轨迹点进行局部投影， 生成单个物体的 二维投影面； （6） 根据步骤 （5） 得到的二维投影面， 采用显著性预测模型预测每个物体的显著性， 形 成全景视频监控内容推荐； （7） 对推荐的全景视频监控内容进行动态调节和人工干预， 实现高位全景视频安全监 控。 2.根据权利要求1所述高位全景视频安全监控方法， 其特征在于， 步骤 （7） 进行动态调 节和人工干预过程为： 推荐的全景视频窗口在大多数情况下是工作人员想关注的内容， 但 是， 仍然存在部分窗口可能并不是工作人员真正想关注的内容， 此时工作人员需要将窗口 视角决定权力转变为自己控制， 将鼠标移动到物体上， 并点击该关注的物体， 则以此鼠标标 记点为中心， 形成针对中心为投影中心的投影窗口， 并基于此窗口提供后续 监控。权　利　要　求　书 1/1 页 2 CN 114745528 B 2一种高位全景视频安全监控方 法 技术领域 [0001]本发明属于高位 安全监控技 术领域， 尤其涉及一种高位全景视频安全监控方法。 背景技术 [0002]随着社会的快速发展和进步， 智 慧城市概念逐渐被提出， 各种相关应用逐渐大量 部署到现实生活， 从而提升城市生活质量， 智慧城市的付诸实践， 一个重要的原因是大规模 监控设备 的投放， 从而实现全方位的监控， 街道安全是智慧城市的重要组成部分， 因此， 街 道安全问题变得越来越重要。 [0003]传统的城市街道主要监控城市主干道， 而车辆作为城市道路的首要组成部分， 主 要监控目的为规范车辆行驶， 以及车辆是否违章， 而智慧城市并不仅仅需要保证车辆的安 全驾驶， 而是以人为主， 服务于人， 现有城市道路监控设备 的主要监控方向为城市道路， 对 于道路之外的区域往往监控不到， 尤其是全景 的监控视频非常少， 这是 由于全景监控检测 范围广， 占用资源多， 且价格昂贵， 为节省机器资源， 往往清晰度不够， 导致目前的全景监视 频监控非常少。 [0004]全景监控视频能覆盖更多的范围， 且无死角， 相对于二维视平面视频其内容更加 丰富， 作为城市安全 预警能提供更完备的建议， 尤其是元宇宙相关的应用逐渐落地， 全景监 控内容相关的应用将会迎来大范围的应用， 伴 随着深度学习技术的快速发展， 基于深度学 习的方法在各行各业得到快速发展， 基于深度学习的推荐算法也不断被提出， 取得了非常 大的性能提升， 然而， 针对高位全景视频监控并提升监控安全预测的相关算法及方法没有 得到重视。 发明内容 [0005]本发明的目的在于克服现有技术存在的缺点， 设计提供一种高位全景视频安全监 控方法， 解决传统城市安全监控方式无法做到全方位无死角的监控， 且对于高位监控来说 物体过于小而导致的漏检 问题， 以及对于高位全景安全监控相关研究少的问题， 通过该方 法实现对 城市高位全景视频监控的目的。 [0006]为实现上述目的， 本发明实现高位全景视频安全监控的具体过程包括如下步骤： [0007]（1） 将采集的全景摄 像头视频段作为城市高位全景视频监控数据集； [0008]（2） 对城市高位全景视频监控数据集中的视频进行投影定位得到 定位结果； [0009]（3） 对步骤 （2） 得到的定位结果基于帧间一致性的轨迹平滑进一步精细化投影窗 口， 将帧间相同物体连接起来并采用坐标平滑的方式形成平滑的运动轨迹， 并给每个物体 编号； [0010]（4） 将步骤 （3） 进一步精细化的窗口作为伪标注， 基于弱监督迭代算法进行迭代训 练实现精细化物体定位得到高质量的全景视频窗口； [0011]（5） 将高质量全景视频窗口的视频每帧上运动轨迹点进行局部投影， 生成单个物 体的二维投影面；说　明　书 1/4 页 3 CN 114745528 B 3