(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210858857.1 (22)申请日 2022.07.21 (71)申请人 聊城大学 地址 252000 山东省聊城市东昌府区湖南 路1号 (72)发明人 魏衍侠　冯德瀛　穆健　肖海荣　 张来刚　 (74)专利代理 机构 天津麦芽知识产权代理有限 公司 12269 专利代理师 祝国庆 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多核学习的聚合相关滤波目标跟 踪方法 (57)摘要 本发明涉及一种基于多核学习的聚合相关 滤波目标跟踪方法， 包括： 读取视频图像初始帧， 截取目标图像区域， 同时提取目标图像的不同模 态特征； 初始化基于多核学习的聚合相关滤波的 目标模板、 检测模型及其它相关参数； 读取当前 帧视频图像数据， 依据上一帧跟踪结果截取目标 在当前帧的潜在跟踪区域， 然后使用循环移位策 略完成当前帧的潜在跟踪区域的稠密划分并获 取多个候选样本， 之后完成对各个候选样本不同 模态特征的提取； 采用多个不同参数的滤波函 数， 对不同特征分别进行学习， 得到适用于当前 跟踪环境下的最优分类函数， 得到当前帧图像中 潜在跟踪区域在不同特征下的相关滤波响应图； 评估不同特征对最终预测结果的贡献， 然后动态 分配上述 不同特征的权重。 权利要求书2页 说明书7页 附图2页 CN 115222772 A 2022.10.21 CN 115222772 A 1.一种基于多 核学习的聚合相关滤波目标跟踪方法， 包括以下步骤： 步骤一， 读取视频图像初始帧， 截取目标图像区域， 同时提取目标图像的不同模态特 征； 初始化基于多 核学习的聚合相关滤波的目标模板、 检测模型及其它相关参数； 步骤二， 读取当前帧视频图像数据， 依据上一帧跟踪结果截取目标在当前帧的潜在跟 踪区域， 然后使用循环移位策略完成当前帧的潜在跟踪区域的稠密划分 并获取多个候选样 本， 之后完成对各个候选样本不同模态特 征的提取； 步骤三， 采用多个不同参数的滤波函数， 对步骤二中得到的不同特征分别进行学习， 同 时使用多核学习算法和相关滤波技术训练跟踪器， 得到适用于 当前跟踪环境下的最优分类 函数， 得到当前帧图像中潜在跟踪区域在不同特 征下的相关滤波响应图， 方法如下： 步骤四， 结合步骤三得到的相关滤波响应图的波动 程度和峰值评估不同特征对最终预 测结果的贡献， 然后 动态分配上述 不同特征的权重， 方法如下： (1)利用平均峰相关能量法评估相关滤波响应图波动程度： 其中， Cmaxi,t， Cmini,t和Cp,ki,t分别表示从当前帧即第t帧图像中提取到的第i种类型特征 的相关滤波响应图的最大响应值、 最小响应值和位置(p,k)处的响应值； (2)不同模态的特征有三种， 对三种特征的输出响应值按照跟踪结果的可信程度进行 动态加权特 征融合， 具体为： 其中， Cmaxt和 ηi,t分别表示在第t帧图像的响应图中， 融合后的最大响应值和第i种特征 对应的重分配后的权 重系数； 利用下式预测目标在第t帧， 即 当前帧的中心位置(xct,yct)， 获得当前帧的跟踪结果： 步骤五， 利用跟踪结果重叠程度来决定是否更新， 如果需要更新， 则利用当前帧的预测 结果对目标模板和检测模型进行 更新， 跳转到步骤二， 直至 视频结束， 方法如下： (1)根据当前帧的跟踪结果确定重叠度， 当重叠度大于设定阈值时， 继续保持目标模板 和检测模型不变； 反之， 当重叠度小于设定阈值时， 则需要对目标模板和检测模型进行更 新； 重叠度阈值设置为0.5； (2)通过线性插值法对目标模板和滤波函数进行 更新。 2.根据权利要求1所述的聚合相关滤波目标跟踪方法， 其特征在于， 步骤一中， 读取视 频图像初始帧， 截取目标图像区域， 同时提取目标图像的不同模态特 征的方法如下： (1)读入视频图像的初始帧， 截取目标图像区域[xc,yc,w,h]矩形框， 其中xc和yc分别表 示目标中心的横坐标和纵坐标， w 为矩形框的宽度， 而h为矩形框的高度；权　利　要　求　书 1/2 页 2 CN 115222772 A 2(2)分别计算上述矩形框 的三种特征： 方向梯度直方 图(HoG)特征， 颜色名(CN)特征和 卷积(CNNs)特征； (3)初始化特 征融合权 重 (4)初始化 正则化系数和学习率。 3.根据权利要求1所述的聚合相关滤波目标跟踪方法， 其特征在于， 步骤二的方法如 下： (1)设当前帧为第t帧， 依据第t ‑1帧的跟踪 结果[xct‑1,yct‑1,wt‑1,ht‑1]在第t帧图像中截 取目标潜在跟踪区域， 其大小为M ×N； (2)使用循环移位策略完成第t帧图像中潜在跟踪区域的稠密划分以获取多个候选样 本， 分别提取 各个候选样本的不同模态特 征 其中 (3)对第t帧图像中潜在跟踪区域进行特征描述 i＝1,2,3， i为不同特征的序号。 4.根据权利要求1所述的聚合相关滤波目标跟踪方法， 其特征在于， 步骤三的方法如 下： (1)利用独立且不同参数的滤波函数分别进行不同特 征的学习； (2)使用高斯核函数 将所有特征进行高维映射以实现线性可分， 同时得到滤波函数 wi,t在对偶空间的同构映射αi,t； (3)进一步使用分类函数 分别计算各个候选样本与目标模板的 相似度， 进而得到当前帧即第t帧图像中潜在跟踪区域在不同特征下的相关滤波响应图Ci ,t。 5.根据权利要求4所述的聚合相关滤波目标跟踪方法， 其特征在于， 步骤二得到的特征 为三种， 步骤三(1)中， 使用岭回归学习第i种特 征的滤波函数wi,t的方法为： 其中， yt表示第t帧时， 目标所在位置对应的高斯标签， λ是用于控制模型过拟合的正则 化系数。权　利　要　求　书 2/2 页 3 CN 115222772 A 3