(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210513751.8 (22)申请日 2022.05.12 (66)本国优先权数据 202210003590.8 202 2.01.04 CN (71)申请人 天津理工大 学 地址 300384 天津市西青区 宾水西道391号 (72)发明人 戚周铭　周冕　丛钶伦　刘文轩　 朱国强　高毅　 (74)专利代理 机构 天津佳盟知识产权代理有限 公司 120 02 专利代理师 林玉慧 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 10/80(2022.01)G06V 20/52(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种结合头部跟踪的密集场景下行人多目 标跟踪方法 (57)摘要 一种结合头部跟踪的密集场景下行人多目 标跟踪方法。 为减小密集场景中严重的遮挡现象 给跟踪器带来性能下降的负面影 响， 考虑到头部 是行人整个身体最高最不易被遮挡的部位， 本发 明设计了一种新型的结合头部跟踪的行人多目 标跟踪方法。 首先， 使用头部跟踪器生成行人头 部运动轨迹， 同时检测出行人的全身边界框； 其 次计算头部边界框和全身边界框之间的关联程 度， 使用匈牙利算法对上述计算结果进行匹配； 最后根据匹配结果将头部轨迹中头部边界框替 换为全身边界框， 并输出密集场景下行人全身的 运动轨迹。 实验证明， 本发明有效降低了密集场 景下严重遮挡为跟踪器带来的漏报和误报等负 面影响。 权利要求书2页 说明书7页 附图3页 CN 114926859 A 2022.08.19 CN 114926859 A 1.一种结合头部跟踪的密集场景下行人多目标跟踪方法， 该方法处理 的对象是在行人 密集地点拍摄的一段视频， 视频中有多个行人在视频画面中走动； 该方法对视频中的每一 帧图片， 按照如下步骤进行操作： 第1步、 头 部轨迹和全身边界框的生成； 以原始视频帧作为跟踪器的输入， 使用头部跟踪器和全身检测器分别生成行人运动时 带有头部边界框的头 部运动轨 迹和全身边界框； 第2步、 判断头 部边界框和全身边界框是否属于同一目标即行 人； 使用新型的边界框相似度度量方法包含比(Inter sectionOverContainment， IOC)计算 当前帧中头部边界框和全身边界框之间的关联程度， 将IOC的计算结果输入匈牙利算法 (HungarianAlgorithm)， 匈牙利算法进一步计算后得到头部边界框和全身边界框的匹配结 果； 第3步、 全身运动轨 迹的最终确认； 根据第2步的匹配结果， 将第1步得到的头部轨迹中头部边界框替换为全身边界框， 得 到的结果是包 含行人全身边界框的行 人全身运动轨 迹， 将该结果作为 最终输出。 2.根据权利要求1所述的结合头部跟踪的密集场景下行人多目标跟踪方法， 其特征在 于， 第1步中所述使用头部跟踪器和全身检测器分别生成带有头部边界框的头部轨迹和全 身边界框的方法如下： 第1.1步、 头部跟踪的流程符合先检测后跟踪(TrackingByDetection)范式， 即先使用 头部检测器 检测图片中行 人头部边界框， 然后根据检测结果完成头 部跟踪任务； 头部检测器的流 程如下： 1)使用带有特征金字塔模型和上下文预测模块(ContextSensitivePredictionModu le)的Resnet5 0对图片提取 特征； 2)随后使用转置卷积(TransposeCo nvolution)来提高特征映射的空间分辨 率； 3)受到Faster RCNN设计结构的启发， 最后将 之前步骤1)中提取到图片中头部特征信息 输入区域 提取网络， 后接种类预测模块和边界框预测模块， 最终输出 行人头部边界框； 第1.2步、 接下来根据头部检测器的检测结果对行人头部进行跟踪， 头部跟踪器由粒子 滤波器(Par ticleFilter)改进 而来， 头部跟踪的流 程如下： 1)在视频的开头完成对轨迹的初始化工作， 根据边界框在前一帧中的位置， 使用头部 检测器中的回归头来调整当前帧中每 个粒子的位置； 2)接下来使用重采样(Resample)来 替换重要性 不高的粒子， 以降低退化带来的影响； 3)最后使用恒定速度假设(ConstantVelocityAssumption)模型来恢复一些已经被设 为非激活状态的轨 迹； 第1.3步、 使用全身检测器生成全身边界框的流 程如下： 1)在Faster‑RCNN的基础之上， 后接两个1024维的全连接层， 由EMD损失(EarthMover ’s  DistanceL oss)函数获得两组边界框的实例数据； 2)使用一个精炼模块(RefinementModule)对输出结果进行微调， 增强全身检测器在密 集场景中的泛化能力。 3.根据权利要求1所述的结合头部跟踪的密集场景下行人多目标跟踪方法， 其特征在 于， 第2步所述使用IOC计算当前帧中头部边界框和全身边界框之间的关联程度的方法是，权　利　要　求　书 1/2 页 2 CN 114926859 A 2IOC通过计算头部边界框被身体边界框包含的程度， 反映头部边界框和身体边界框的对应 程度， 具体的计算方式为： 头部边界框与全身边界框相交部分的面积除以整个全身边界框 的面积， 根据IOC的属性,其值域为[0,1]； 将IOC的计算结果输入匈牙利算法， 能够将属于同 一目标的头 部边界框和全身边界框关联起 来。权　利　要　求　书 2/2 页 3 CN 114926859 A 3