(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210422800.7 (22)申请日 2022.04.21 (71)申请人 哈尔滨工业大 学 地址 150001 黑龙江省哈尔滨市南岗区西 大直街92号 申请人 中国航天科工集团八五一 一研究所 (72)发明人 杨柱天　朱伟强　王钰　杨蔚　 杨佳敏　陈迪　 (74)专利代理 机构 哈尔滨华夏松花江知识产权 代理有限公司 23213 专利代理师 时起磊 (51)Int.Cl. G06T 7/246(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01)G06K 9/62(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) (54)发明名称 基于注意力机制的复杂场景下目标跟踪方 法、 存储介质及设备 (57)摘要 基于注意力机制的复杂场景下目标跟踪方 法、 存储介质及设备， 属于计算机视觉处理技术 领域。 本发明针对需要进行目标跟踪的图像序 列， 先初始化第一帧， 处理出所要追踪的目标图 像， 将目标图像作为模板图像输入相似度度量网 络， 接着将后续帧作为搜索图像不断输入， 用相 似度度量网络计算后续帧和第一帧中目标图像 相似度最高的位置， 再计算两者的位置差进行目 标框的更新， 相似度度量网络先对模板图像和搜 索图像进行特征提取， 然后分别输入 各自对应的 CBAM模块， 之后进行相似度度量， 得到置信图； 进 而实现追 踪。 主要用于复杂场景 下的目标跟踪。 权利要求书2页 说明书7页 附图6页 CN 115018878 A 2022.09.06 CN 115018878 A 1.基于注意力机制的复杂场景 下目标跟踪方法， 其特 征在于， 包括以下步骤： 针对需要进行目标跟踪的图像序列， 先初始化第 一帧， 处理出所要追踪的目标图像， 将 目标图像作为模板图像输入相似度度量网络， 接着将后续帧作为搜索图像不断输入， 用相 似度度量网络计算后续帧和第一帧中目标图像相似度最高的位置， 再计算两者的位置差进 行目标框的更新， 实现追踪； 所述的相似度 度量网络通过以下步骤得到： 步骤1、 输入 模板图像和搜索图像； 步骤2、 将模板图像和搜索图像分别通过特征提取网络进行特征提取， 分别生成模板图 像和搜索图像对应的特 征图； 输入模板图像的特 征提取网络和输入搜索图像的特 征提取网络为孪生网络； 步骤3、 将上一步提取的特征图分别输入各自对应的CBAM模块， 即卷积注意力机制模 块； 步骤4、 进行相似度 度量， 得到 置信图； 步骤5、 根据步骤1 ‑4相似度度量方式训练神经网络， 将训练好的神经网络作为相似度 度量网络 。 2.根据权利要求1所述的基于注意力 机制的复杂场景下目标跟踪方法， 其特征在于， 步 骤2所述的特 征提取网络为CN N网络。 3.根据权利要求2所述的基于注意力 机制的复杂场景下目标跟踪方法， 其特征在于， 所 述的CNN网络采用SiamFC算法中的特 征提取网络 。 4.根据权利要求3所述的基于注意力 机制的复杂场景下目标跟踪方法， 其特征在于， 所 述神经网络的训练过程包括以下步骤： 在输入的模板图像上， 和目标的距离不超过R认为是正样本， 否则是负样本； 正负样本 所构成的目标的标签向量图： 其中， k为网络的总步长； c为目标的中心； u表示置信图的所有位置； R则表示阈值半径； 将m中的0全部替换为 ‑1， 并将处理后的新标签集称为y； 在对模型进行训练时， 使用判 别方法来对正、 负 样本对进行训练， 逻辑损失如下： l(y,v)＝ log(1+e‑yv)            (3) 其中， y表示真值； v表示模板图像和搜索图像间的实际得分； 模型训练时损失函数计算采用所有候选位置的平均l oss来表示： 其中， D表示 最后得到的响应图， u表示响应图中的所有位置； 基于所有候选位置的平均loss实现神经网络模型的训练， 得到训练好的神经网络模 型， 即相似度 度量网络 。 5.根据权利要求4所述的基于注意力 机制的复杂场景下目标跟踪方法， 其特征在于， 基 于所有候选位置的平均loss实现神经网络模 型的训练的过程中， 利用随机梯度下降来最小权　利　要　求　书 1/2 页 2 CN 115018878 A 2化 得到卷积参数θ， EL( ·)表示L(·)的期望。 6.根据权利要求5所述的基于注意力 机制的复杂场景下目标跟踪方法， 其特征在于， 所 述的阈值半径R值取2。 7.根据权利要求1至6之一所述的基于注意力 机制的复杂场景下目标跟踪方法， 其特征 在于， 所述的CBAM模块先对输入的特征图进行通道上的加权， 再对经过通道注意力模型后 的特征图进行空间上的加权 。 8.根据权利要求7所述的基于注意力 机制的复杂场景下目标跟踪方法， 其特征在于， 步 骤4所述的进行相似度 度量的过程 为对经过CBAM提取的特 征进行交叉 卷积处理。 9.一种存储介质， 其特征在于， 所述存储介质中存储有至少一条指令， 所述至少一条指 令由处理器加载并执行以实现如权利要求1至8之一所述的基于注意力机制的复杂场景下 目标跟踪方法。 10.一种基于注意力 机制的复杂场景下目标跟踪设备， 其特征在于， 所述设备包括处理 器和存储器， 所述存储器中存储有至少一条指令， 所述至少一条指令由处理器加载并执行 以实现如权利要求1至8之一所述的基于注意力机制的复杂场景 下目标跟踪方法。权　利　要　求　书 2/2 页 3 CN 115018878 A 3