(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210877419.X (22)申请日 2022.07.25 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区潮王路 18号 (72)发明人 产思贤　王煜　陶键　白琮　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 忻明年 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多层感知机的特征融合目标感知 跟踪方法 (57)摘要 本发明公开了一种基于多层感知机的特征 融合目标感知跟踪方法， 在图片中裁出一块区域 作为模版图片， 并且输入ResNet网络提取其特 征， 在后续的跟踪过程中， 首先会根据上一帧的 目标位置信息在当前帧裁出模版图片多倍的搜 索区域图片， 输入相同的ResNet网络提取其特 征， 并与模版特征做像素级相关计算， 获得具有 两者的相似性信息的相关特征； 然后将相关特征 依次通过 非局部注意力模块、 全局信息编码模块 和角点预测模块， 获得精准的边界框回归结果。 权利要求书2页 说明书6页 附图1页 CN 115205336 A 2022.10.18 CN 115205336 A 1.一种基于多层感知机的特征融合目标感知跟踪方法， 通过构建的深度学习 模型进行 目标跟踪， 其特征在于， 所述深度学习模型包括特征提取模块、 特征相关模块、 非局部注意 力模块、 全局信息编码器和角点预测模块， 所述基于多层感知机的特征融合 目标感知跟踪 方法， 包括： 获取待跟踪视频序列的跟踪模板， 将跟踪模板 输入到特 征提取模块， 提取模板特 征； 从待跟踪视频序列中获取当前搜索图片， 将搜索图片输入到特征提取模块， 提取搜索 特征； 将模板特征和搜索特征输入特征相关模块， 计算模板特征每个子核与搜索特征的相关 性， 得到相关特 征图； 将相关图输入到非局部注意力模块， 得到相关注意力图； 将相关注意力图输入到全局信息编码器进行特征增强， 得到全局信息编码特征， 所述 全局信息编码器包括允许不同通道之间交流的通道编码器和允许不同空间位置交流的空 间编码器， 每 个编码器由两层全连接层和一个激活函数GELU构成； 将全局信息编码特 征输入角点预测模块， 获得跟踪目标的包围框信息 。 2.根据权利要求1所述的基于多层感知机的特征融合目标感知跟踪方法， 其特征在于， 所述获取待跟踪视频序列的跟踪模板， 包括： 将人为标注的跟踪目标包围框信 息放大预设第 一倍数， 从待根据视频序列第 一帧图片 中裁剪出跟踪模板 。 3.根据权利要求1所述的基于多层感知机的特征融合目标感知跟踪方法， 其特征在于， 所述从待跟踪视频序列中获取当前搜索图片， 包括： 将上一帧的跟踪结果信息放大 预设第二 倍数， 从当前待处 理的帧中裁 剪出搜索图片。 4.根据权利要求1所述的基于多层感知机的特征融合目标感知跟踪方法， 其特征在于， 所述计算模板特 征每个子核与搜索特 征的相关性， 得到相关特 征图， 包括： 将模板特征 分解成h×w个子核 计算每个子核与搜索 特征 的基础相关， 从而得到相关特 征图 5.根据权利要求1所述的基于多层感知机的特征融合目标感知跟踪方法， 其特征在于， 所述将相关注意力图输入到全局信息编码器进行 特征增强， 得到全局信息编码特 征， 包括： 将相关注意力图 矩阵变形成 输入到全局信息编码 器； 采用如下公式表示全局信息编码器的操作： R1＝RGT+W2σ(W1LN(RGT)) RT＝R1T+W4σ(W3LN(R1T)) 其中， RT表示全局编码器输出的全局信息编码特征， LN表示归一化， W1‑W4表示全连接层 操作， σ 表示激活函数GELU， T表示 转置。 6.根据权利要求1所述的基于多层感知机的特征融合目标感知跟踪方法， 其特征在于， 所述深度学习模型的联合损失函数表示 为： 权　利　要　求　书 1/2 页 2 CN 115205336 A 2其中， Liоu表示交并比损失， L1表示平均绝对误差损失， λiоu、 表示对应损失函数的权 重， bi和 表示真值和预测的包围框 。权　利　要　求　书 2/2 页 3 CN 115205336 A 3