(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210481479.X (22)申请日 2022.05.05 (71)申请人 南京大学 地址 210023 江苏省南京市栖霞区仙林大 道163号 (72)发明人 阮雅端　王锐　汪靖文　汪良文　 陈启美　 (74)专利代理 机构 南京天翼专利代理有限责任 公司 321 12 专利代理师 朱戈胜 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/22(2022.01) G06V 10/25(2022.01)G06V 10/42(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/246(2017.01) G06T 7/292(2017.01) (54)发明名称 一种隧道内实时多类别多目标跟踪方法 (57)摘要 本发明涉及计算机视觉技术领域， 尤其涉及 一种隧道内实时多类别多目标跟踪方法： 其包括 步骤1： 将检测网络与特征提取网络融合后训练， 得到训练好的融合网络； 步骤2： 将隧道内车道图 片输入至融合网络后输出感兴趣区域内目标的 预测结果并保存全局特征图， 其中预测结果包括 目标类别、 置信度和位置信息； 步骤3： 对预测结 果进行非极大值抑制从而筛选出检测目标； 步骤 4： 根据检测目标的位置信息在全局特征图中截 取目标特征； 步骤5： 各目标特征图通过SPP网络 得到各目标对应的目标特征向量； 步骤6： 将极大 值抑制后的预测结果和目标特征向量输入到跟 踪器中进行目标跟踪。 本发明有效提高隧道复杂 场景的多目标跟踪效率和准确性。 权利要求书2页 说明书4页 附图2页 CN 114821431 A 2022.07.29 CN 114821431 A 1.一种隧道内实时多类别多目标跟踪方法， 其特 征在于： 包括 步骤1： 将检测网络与特 征提取网络融合后训练， 得到训练好的融合网络； 步骤2： 将隧道内车道图片输入至融合网络后输出感兴趣区域内目标的预测结果并保 存全局特征图， 其中预测结果包括目标类别、 置信度和位置信息； 步骤3： 对预测结果进行非极大值抑制从而筛 选出检测目标； 步骤4： 根据检测目标的位置信息在全局特 征图中截取目标 特征； 步骤5： 各目标 特征图通过S PP网络得到各目标对应的目标 特征向量； 步骤6： 将极大值抑制后的预测结果和目标 特征向量输入到跟踪器中进行目标跟踪。 2.根据权利要求1所述的隧道内实时多类别多目标跟踪方法， 其特征在于： 检测网络为 SSD或YOLO系列。 3.根据权利要求1所述的隧道内实时多类别多目标跟踪方法， 其特征在于： 训练融合网 络时， 构建相应的训练集， 训练集包括目标类别、 id和坐标。 4.根据权利要求1所述的隧道内实时多类别多目标跟踪方法， 其特征在于： 所述跟踪器 为基于De epSORT算法的跟踪器。 5.根据权利要求1所述的隧道内实时多类别多目标跟踪方法， 其特征在于： 步骤1具体 为： 步骤1.1： 图片输入融合网络， 获取输入图片的FPN全局特 征图； 步骤1.2： 获取目标 预测的类别、 置信度和位置信息； 步骤1.3： 判断是否训练， 若不训练， 则执 行步骤2； 若训练， 则执 行步骤1.4的训练步骤； 步骤1.4： 训练融合网络， 具体为： 根据预测坐标在全局特 征图中截取目标 特征； 通过SPP网络得到各目标对应的目标 特征向量； 计算损失， 反向传播训练网络， 即根据损失值 修改网络参数。 6.根据权利要求5所述的隧道内实时多类别多目标跟踪方法， 其特征在于： 所述步骤 1.4的训练步骤具体为： 步骤1.41： 输入图片通过检测网络得到预测特征图， 从而得到预测结果， 即类别、 置信 度和位置信息； 步骤1.42： 将检测网络8X下采样特征图C4进行2X上采样得到C4 ’； 将检测网络4X下采样 特征图C3进行1*1卷积得到 C3’， C3’与C4’相拼接得到特 征图P3； 步骤1.43： 特征图P3进行2X上采样得到P3 ’， 特征图C2进行1*1卷积得到C2 ’， P3’与C2’ 相拼接得到特 征图P2， P2 尺寸为w*h*c， 其中w表示宽， h表示高， c表示 通道； 步骤1.44： 将特征图P2进行 卷积操作， 得到全局特 征图F2； 步骤1.45： 将检测网络的n个目标的预测坐标， 映射到全局特 征图F2上； 步骤1.46： 根据目标在全局特征图的位置， 将目标在全局特征图中截取出来， 得到第i 个目标的特 征图F_Xi； 步骤1.47： 各目标 特征图通过S PP网络得到特 征向量F_Vi； 步骤1.48： 重复步骤1.47， 得到n个目标所对应的特征向量F_Vi， 进行拼接操作后， 再进 行BN操作实现归一 化处理， 得到特 征向量F_Vn； 步骤1.49： 将特征向量F_Vn后连接一个全连接层， 全连接层输出大小为训练集id的最权　利　要　求　书 1/2 页 2 CN 114821431 A 2大值id_max+2， 得到n*(id_max+2)大小； 步骤1.410： 根据公式(1)对n*(id_max+2)与n个目标对应的真实id标签值进行交叉熵 损失计算， 其中， id为 ‑1时不计算损失， 得到Lid； 式中， M为类别的数量， N为样本数量， yic为符号函数， pic为观测样本i属于类别c的预测 概率； 步骤1.411： 采取多任务损失训练对检测网络原有损失函数与Lid进行训练； 具体 公式如 下： 式中， αj为第j种损失的权重值， 为第i个样本第j种损失值， 分别包含预测框损失、 置 信度损失、 分类损失与id标签值损失， Ltotal为总损失。权　利　要　求　书 2/2 页 3 CN 114821431 A 3