(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210641173.6
(22)申请日 2022.06.07
(71)申请人 南威软件股份有限公司
地址 362000 福建省泉州市丰泽区丰海路
南威大厦2号楼
(72)发明人 吴志雄 章振增 黄文峰 谢清河
于宗富
(74)专利代理 机构 成都东恒知盛知识产权代理
事务所 (特殊普通合伙)
51304
专利代理师 何健雄
(51)Int.Cl.
G06V 10/762(2022.01)
G06V 10/764(2022.01)
G06V 10/774(2022.01)G06V 20/52(2022.01)
(54)发明名称
一种针对海量流式向量数据的动态聚档方
法、 系统及终端
(57)摘要
本发明属于数据处理技术领域, 公开了一种
针对海量流式向量数据的动态聚档方法、 系统及
终端, 所述针对海量流式向量数据的动态聚档方
法包括: 利用Vearch在高维向量上进行距离计
算, 其并在流处理过程中动态自行的增加新的监
控视频对象, 基于增加的新的监控视频对象, 对
海量图像数据进行归档。 本发明借助Vearch可以
在高维向量上完成快速距离计算, 其次系统可以
支持在流处理过程中动态自行的增加新的对象,
最后本方案可以极大减少向量之间的比较次数,
减少系统的整体计算量、 数据存储量, 实时高效
的对海量数据进行归档。
权利要求书2页 说明书6页 附图3页
CN 115170849 A
2022.10.11
CN 115170849 A
1.一种针对海量流式向量数据的动态聚档方法, 其特征在于, 所述针对海量流式向量
数据的动态聚档方法包括: 利用Vearch在高维向量上进行距离计算, 其并在流处理过程中
动态自行的增 加新的监控视频对象ID, 基于增 加的新的监控视频对象ID, 对向量进行归档。
2.如权利要求1所述的针对海量流式向量数据的动态聚档方法, 其特征在于, 定义向量
之间的距离为d, 判定两个向量文档是相同文档的最小向量距离为min(d), 文档的预测对象
标识为object_ id, 图像的向量为VECi, 单条消息包含有图像向量与图像标识表示为<PIDi,
VECi>。
3.如权利要求1所述的针对海量流式向量数据的动态聚档方法, 其特征在于, 所述针对
海量流式向量数据的动态聚档方法具体包括以下步骤:
S1, 拉取消息流, 使用VECi在Vearch中进行搜索, 在返回的结果中寻找{dm|d≤min(d)}
的object_idn;
S2, 判断object_idn集合是否存在, 获取 预测结果;
S3, 将预测结果与图像向量写入到 ElasticSearc h引擎中;
S4, 流数据不断重复以上S1到S3步骤;
S5, 通过ElasticSearch引擎在object_id对象标识字段上进行聚合查询即可得到结
果。
4.如权利要求3所述的针对海量流式向量数据的动态聚档方法, 其特征在于, 在步骤S2
中, 如果object_idn集合不存在, 那么自动生成新的唯一的object_id, 并将<object_id,
VECi>插入到Vearc h中, 并将object_id返回作为预测结果。
5.如权利要求3所述的针对海量流式向量数据的动态聚档方法, 其特征在于, 在步骤S2
中, 如果object_ idn集合存在, 从object_idn选择距离dselect最小的object_ id返回作为预测
结果。
6.一种针对海量流式向量数据的动态聚档系统, 其特征在于, 所述针对海量流式向量
数据的动态聚档系统包括:
集合获取模块, 用于拉取消息流, 使用VECi在Vearch中进行搜索, 在返回的结果中寻找
{dm|d≤min(d)}的object_idn;
预测结果判断模 块, 如果object_idn集合不存在, 那么自动生成新的唯一的object_id,
并将<object_id,VE Ci>插入到Vearc h中, 并将object_id返回作为预测结果;
预测结果写入模块, 将预测结果object_id预测对象标识与PIDi图像标识写入到
ElasticSearc h引擎中; 以上流数据不断重复循环;
结果获取模块, 当用户需要使用系统进行归档查询时, 直接通过El asticSearch引擎在
object_id对象标识字段 上进行聚合 查询即可 得到结果。
7.如权利要求6所述的针对海量流式向量数据的动态聚档系统, 其特征在于, 所述预测
结果判断模块还用于如果object_idn集合存在, 从object_idn选择距离dselect最小的
object_id返回作为预测结果。
8.一种计算机设备, 其特征在于, 所述计算机设备包括存储器和处理器, 所述存储器存
储有计算机程序, 所述计算机程序被所述处理器执行时, 使得所述处理器执行权利要求 1~
5任意一项所述的针对 海量流式向量数据的动态聚档方法。
9.一种计算机可读存储介质, 存储有计算机程序, 所述计算机程序被处理器执行时, 使权 利 要 求 书 1/2 页
2
CN 115170849 A
2得所述处理器执行权利要求1~5任意 一项所述的针对 海量流式向量数据的动态聚档方法。
10.一种信息数据处理终端, 其特征在于, 所述信息数据处理终端用于实现权利要求1
~5任意一项所述的针对 海量流式向量数据的动态聚档方法。权 利 要 求 书 2/2 页
3
CN 115170849 A
3
专利 一种针对海量流式向量数据的动态聚档方法、系统及终端
文档预览
中文文档
12 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共12页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 07:00:51上传分享