(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210424749.3 (22)申请日 2022.04.22 (71)申请人 苏州超行星创业投资有限公司 地址 215000 江苏省苏州市中国 （江苏） 自 由贸易试验区苏州片区苏州工业园区 金鸡湖大道88号人工智能产业园G4- 202-009单元 (72)发明人 陆涛　曹颂　钟星　 (74)专利代理 机构 南京华鑫君辉专利代理有限 公司 3254 4 专利代理师 王方超 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 10/44(2022.01)G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/246(2017.01) (54)发明名称 一种基于多种信息特征融合的队列计数方 法及系统 (57)摘要 本发明公开一种基于多种信息特征融合的 队列计数方法及系统， 所述方法包括如下步骤： 执行单目视觉的目标检测和跟踪； 利用跟踪到的 每个人头在各帧图像中的位置信息作为抽取目 标， 获取所述抽取目标的高层次特征， 所述高层 次特征包括抽取目标的轨迹特征、 位置特征、 时 间特征、 速度特征； 执行计算抽取目标的邻接矩 阵E， 包括： 计算轨迹相似度矩阵Ec， 位置相似度 矩阵El， 时间相似度矩阵Et， 和速度相似度矩阵 Es； 执行计算N帧图像的实际排队的组数集合。 本 发明从整体上解决了现有技术中没有对客流， 排 队队列中的同组目标做聚类和区分， 缺乏使用更 复杂， 更准确的计算机视觉算法和系统能够帮助 互联网平台提升运营效率， 动态了解客户信息的 技术需求。 权利要求书4页 说明书9页 附图1页 CN 114882429 A 2022.08.09 CN 114882429 A 1.一种基于多种信息特 征融合的队列计数 方法， 其特 征在于， 包括如下步骤： 步骤SS1： 执行单目视觉的目标检测和跟踪， 包括： 获取连续N帧图像， 对每帧图像使用 卷积神经网络检测画面中的人头肩位置， 利用DeepSort跟踪算法对多目标进行跟踪， 获得 每个人头在各帧图像中的位置信息作为抽取目标， 生成目标序列T； 步骤SS2： 对目标序列T中的每个序列进行行为分析， 获取所述抽取目标的高层次特征， 所述高层次特 征包括抽取目标的轨 迹特征、 位置特 征、 时间特 征、 速度特 征； 步骤SS3： 执行计算抽取目标的邻接矩阵E， 包 括： 计算轨迹相似度矩阵Ec， 位置相似度矩 阵El， 时间相似度矩阵Et， 和速度相似度矩阵Es， E计算方式如下， 其中， E＝{eij}是一个归一化的n ×n对称矩阵， 表征各个抽取目标之间的关联度， 也就 是属于同组目标的概率， eij越大， 表示目标i和目标j属于同组目标的概率越高， n表示检测 到的目标数目， wc表示轨迹相似度矩阵的权重； wl表示位置相 似度矩阵的权重； wt表示时间 相似度矩阵的权 重； ws表示速度相似度矩阵的权 重； 步骤SS4： 执行计算N帧图像的实际排队的组数集合， 包括： 对抽取目标的邻接矩阵E计 算其Laplacian矩阵L， 使用图割算法获得最优聚类分解， 最终输出实际排队的组数集 合。 2.根据权利要求1所述的一种基于多种信 息特征融合的队列计数方法， 其特征在于， 所 述步骤SS1具体包括： 所述使用基于卷积神经网络的方法检测画面中的人头肩位置具体包括： 在每一帧图像 中使用一个19层的卷积神经网络做目标检测， 检测人头的肩膀以上到头顶的部分， 输出目 标框信息l(up,vp,wp,hp)， 其中(up,vp)是中心点 坐标， wp和hp分别表示目标框的宽和高； 所述利用DeepSort跟踪算法对检测到的多目标进行跟踪具体包括： 针对每一帧图像检 测到的目标找到下一帧的匹配框， 如果找不到， 则以当前框作为起点计入轨迹中， 最 终输出 N帧图像中检测到的目标序列为： T＝{t1,t2,ti,...,tn}， ti＝{ls,ls+1,...,le},1≤s≤e≤N； 其中， n表示检测到的目标个数， N表示帧数。 3.根据权利要求1所述的一种基于多种信 息特征融合的队列计数方法， 其特征在于， 所 述步骤SS2具体包括： 对N帧图像中检测到的目标序列T中第i个目标ti， 计算如下高层次特 征： 表征目标随时间运动的轨 迹特征Ac， Ac＝{pi}， 表征目标位置的位置特 征Bc， Bc表示轨迹特征Ac中第一个坐标； 时间特征Dc， Dc是1到N之间的一个数， 表示目标在第几帧开始出现在画面中； 速度特征Sc， 根据轨迹特征Ac计算得到的一个数， 见公式(2)： 其中， Ω表示欧氏距离， 是目标序列T中第i个目标的坐标。权　利　要　求　书 1/4 页 2 CN 114882429 A 24.根据权利要求1所述的一种基于多种信 息特征融合的队列计数方法， 其特征在于， 所 述步骤SS3具体包括： 邻 接矩阵E由轨迹相似度矩阵Ec、 位置相似度矩阵El、 时间相似度矩阵 Et和速度相似度矩阵Es加权得到， 其中： 轨迹相似度矩阵Ec＝{1‑aij}， aij是任意目标i的轨迹特征和目标j的轨迹特征求平方差 之和， 归一 化到0到1， 两个目标之间的轨 迹差距越小， 属于同组的概 率越大； 位置相似度矩阵El＝{1‑lij}， lij是任意目标i的位置特征值和目标j的位置特征值求欧 式距离， 归一 化0到1， 两个目标 出现的位置越接 近， 说明属于同组的概 率越大； 时间相似度矩阵Et＝{1‑tij}， tij是任意目标i的时间特征值和目标j的时间特征值的L1 距离， 两个目标 出现的时间越接 近， 说明属于同组的概 率越大； 速度相似度矩阵Es＝{1‑sij}， sij是任意目标i 的速度和目标j的速度的L1距离， 归一化 到0到1， 两个目标速度越接 近， 属于同组的概 率越大。 5.根据权利要求1所述的一种基于多种信 息特征融合的队列计数方法， 其特征在于， 所 述步骤SS4具体包括： 步骤SS41： 将邻接矩阵E作 为标准目标之间联系的关系 矩阵， 求得其度信息矩阵D， 见公 式(3)； 度信息矩阵D联合邻接矩阵E求得Laplacian矩阵L， 见公式(4)， Laplacian矩阵L是一 个对称矩阵； L＝D‑1/2(D‑E)D‑1/2                     公式(4) 步骤SS42： 对Laplacian矩阵L进行SVD分解， 得到特征值λ和特征向量v； 计算特征向量z ＝D1/2v， 将转化后的特征向量z中小于0的分向量对应的样本i归为一类， 对大于0的分向量 对应的样本i'重新计算样本i'之间的能量矩阵E'和Laplacian矩阵L'以及特征 向量z'， 并 对特征向量z'中分量小于0的对应的样 本划分为新的一类， 由此按照递归的方式， 直到特征 向量z'中不再存在大于0的分量或者特征向量z'的维度为1时候， 递归结束， 每次划分出来 的目标组成新的目标族群C(c1,c2,...,ck)， 最终得到整个队列的族群数目k。 6.一种基于多种信息特 征融合的队列计数系统， 其特 征在于， 包括： 目标检测和追踪模块， 具体执行： 执行单目视觉的目标检测和跟踪， 包括： 获取连续N帧 图像， 对每帧图像使用卷积神经网络检测画面中的人头肩位置， 利用DeepSort跟踪算法对 多目标进行跟踪， 获得每 个人头在各帧图像中的位置信息作为抽取目标， 生成目标序列T； 抽取目标特征模块， 具体执行： 对目标序列T中的每个序列进行行为分析， 获取所述抽 取目标的高层次特征， 所述高层次特征包括抽取目标的轨迹特征、 位置特征、 时间特征、 速 度特征； 计算邻接矩阵模块， 具体执行： 执行计算抽取目标的邻接矩阵E， 包括： 计算轨迹相似度 矩阵Ec， 位置相似度矩阵El， 时间相似度矩阵Et， 和速度相似度矩阵Es， E计算方式如下， 其中， E＝{eij}是一个归一化的n ×n对称矩阵， 表征各个抽取目标之间的关联度， 也就权　利　要　求　书 2/4 页 3 CN 114882429 A 3