(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210899131.2 (22)申请日 2022.07.28 (71)申请人 山东大学 地址 264209 山 东省威海市文化西路180号 (72)发明人 许庆阳　于洋　孙润泽　宋勇　 袁宪锋　庞豹　李贻斌　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 闫圣娟 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01)G06V 10/74(2022.01) G06V 10/22(2022.01) G06N 3/04(2006.01) (54)发明名称 基于视频监控与机器人的多信息融合行人 检索方法与系统 (57)摘要 本公开涉及机器人视觉技术领域， 提出了基 于视频监控与机器人的多信息融合行人检索方 法与系统， 方法包括如下步骤： 获取监控摄像头 采集的图像数据， 利用行人重识别模块进行行人 重识别处理， 得到行人重识别结果； 获取移动机 器人采集到的图像数据， 对多个移动机器人采集 的图像信息进行人脸识别处理； 将监控摄像头与 移动机器人采集的图像信息处理后进行融合， 根 据移动机器人与行人位置关系， 利用行人所在区 域的机器人采集的人脸信息对行人重识别模块 的检测结果进行补充， 得到目标行人检索结果。 利用区域监控视觉传感器与机器人视觉传感器 之间相互配合， 分别从全局与局部对相关区域进 行搜索， 弥补单一视觉传感器所带来的问题， 实 现目标人物的搜索。 权利要求书2页 说明书9页 附图3页 CN 115116142 A 2022.09.27 CN 115116142 A 1.基于视频监控与机器人的多信息融合行 人检索方法， 其特 征在于， 包括如下步骤： 获取监控摄像头采集的图像数据， 利用行人重识别模块进行行人重识别处理， 得到行 人重识别结果； 获取移动机器人采集到的图像数据， 对多个移动机器人采集的图像信 息进行人脸识别 处理； 将监控摄像头与移动机器人采集的图像信 息处理后进行融合， 根据移动机器人与 行人 位置关系， 利用行人所在区域的机器人采集的人脸信息对行人重识别模块的检测结果进 行 补充， 得到目标 行人检索结果。 2.如权利要求1所述的基于视频监控与机器人的多信息融合行人检索方法， 其特征在 于： 行人重识别方法， 包括如下步骤： 对获取的监控摄像头的数据进行行人检测， 对图像中存在行人的区域进行框选， 得到 多个行人图片； 对行人检测后的行人图片进行特征提取， 对行人图片与待寻找目标行人图片的异同进 行比较与匹配， 得到行 人图片与待寻找目标 行人图片间的相似度信息 。 3.如权利要求1所述的基于视频监控与机器人的多信息融合行人检索方法， 其特征在 于： 人脸识别模块采用face_recogn ition人脸检测模块。 4.如权利要求1所述的基于视频监控与机器人的多信息融合行人检索方法， 其特征在 于： 将监控摄像头与 移动机器人采集的图像信息处理后进行融合的方法， 具体为： 当监控摄 像头检测的效果较差， 无法检测出目标人物 时， 调动移动机器人以及通过人脸识别模块识 别结果进 行补充， 将监控摄像头采集到的图像处理的结果和移动机器人采集的图像数据处 理结果结合， 得到目标 人物信息 。 5.基于视频监控与机器人的多信息融合行人检索系统， 其特征在于： 包括图像数据采 集端、 设备通信端、 图像处 理端以及业 务应用端； 图像数据采集端包括 监控摄像头与移动机器人视 觉传感器， 用于联合采集图像信息； 设备通信端用于将采集的图像信息发送给图像处 理端的终端处 理器进行处 理； 图像处理端： 用于采用权利要求1 ‑4任一项所述的行人检索方法， 对采集的图像进行处 理； 业务应用端： 根据相应的业 务逻辑， 采用不同的融合策略， 实现行 人检索。 6.如权利要求5所述的基于视频监控与机器人的多信息融合行人检索系统， 其特征在 于： 设备通信端包括通信网络， 监控摄像头通过网络将图像信息传给图像处理端， 移动机器 人与图像处 理端使用Socket进行通信。 7.如权利要求5所述的基于视频监控与机器人的多信息融合行人检索系统， 其特征在 于： 图像处理端包括行人重识别模块与人脸识别模块， 所述行人重识别模块用于处理监控 摄像头采集的数据， 人脸识别模块用于处理移动机器人采集的图像数据； 行人重识别模块 与人脸识别模块均采用深度神经网络进行识别。 8.如权利要求5所述的基于视频监控与机器人的多信息融合行人检索系统， 其特征在 于： 行人重识别模块： 被配置对获取的监控摄像头的图像进行行人重识别处理， 包括依次权　利　要　求　书 1/2 页 2 CN 115116142 A 2进行行人检测和特征匹配， 得到行 人图片及匹配结果； 或者， 行人重识别模块包括行 人检测模块与特 征匹配模块。 9.如权利要求8所述的基于视频监控与机器人的多信息融合行人检索系统， 其特征在 于： 行人检测模块采用Yo lact网络进行 行人检测， 包括多个级联的卷积层， 以及全连接层； 或者， 行人检测模块训练过程中， 损失函数为分类损失与回归损失的和； 采用Smooth L1计算检测框的回归损失； 采用Softmax计算分类损失； 或者， 特征匹配模块： 被配置为对行人检测后的行人图片进行特征提取， 对行人图片与 待寻找目标行人图片的异同进 行比较与匹配， 得到行人图片与待寻找目标行人图片间的相 似度信息 。 10.基于视频监控与机器人的多信息融合行 人检索系统， 其特 征在于， 包括： 行人重识别模块： 被配置为获取监控摄像头采集的图像数据， 利用行人重识别模块进 行行人重识别处 理， 得到行 人重识别结果； 行人重识别结果包括分类后的行人图片， 及行人图片与待寻找目标行人图片间的相似 度信息； 人脸识别模块： 被配置为获取移动机器人采集到的图像数据， 对多个移动机器人采集 的图像信息进行 人脸识别处 理； 融合模块： 被配置为将监控摄像头与移动机器人采集的图像信息处理后进行融合， 根 据移动机器人与行人位置关系， 利用行人所在区域的机器人采集的人脸信息对行人重识别 模块的检测结果进行补充， 得到目标 行人检索结果。权　利　要　求　书 2/2 页 3 CN 115116142 A 3