(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210430209.6 (22)申请日 2022.04.22 (71)申请人 超级视线科技有限公司 地址 075000 河北省张家口市桥 东区站前 东大街28号河北国控北方硅谷高科新 城10号楼4层 (72)发明人 项炎平　阳平　王艳清　 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 10/22(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于图卷积网络的人 车关联方法及装置 (57)摘要 本发明公开一种基于图卷积网络的人车关 联方法， 具体用于获取车辆与车主的样本对数 据， 根据所述样本对数据制作用于人车检测和人 车关联数据集； 训练所述人车检测数据集得到人 车目标检测模 型， 训练所述人车关联数据集得到 人车关联模 型； 通过人车目标检测模 型获取监控 图中所有人和车辆的区域， 并将所述监控图中的 人和车辆 特征输入人车关联模型； 输出所述图像 中人和车辆的关系信息， 该方法主要应用在交通 监控场景， 特别是用于高位视频停车场景， 它便 于同时捕获到车主与车辆等信息， 进一步获取人 和车辆的关联情况。 权利要求书2页 说明书8页 附图3页 CN 114821470 A 2022.07.29 CN 114821470 A 1.一种基于图卷积网络的人 车关联方法， 其特 征在于， 所述方法包括： 获取车辆与 车主的样本对数据， 根据 所述样本对数据制作用于人车检测和人车关联数 据集； 基于所述人车检测数据集训练人车目标检测模型， 基于所述人车关联数据集训练人车 关联模型； 通过人车目标检测模型获取监控图中所有人和车辆的区域， 并将所述监控图中的人和 车辆特征输入人 车关联模型； 输出所述图像中人和车辆的关系信息 。 2.根据权利要求1所述的方法， 其特征在于， 所述获取车辆与车主的样本对数据包括： 采集包含车主和车辆的图像， 基于采集的图像获取车主上下车时间段的图像作为样本对数 据。 3.根据权利要求2所述的方法， 其特征在于， 根据 所述样本对数据制作用于人车检测和 人车关联数据集包括： 标记监控图像 中所有的人车目标矩形框， 记录所述人车矩形框中图像车辆和车主的匹 配信息， 形成人 车检测和人车关联数数据集。 4.根据权利要求3所述的方法， 其特征在于， 基于所述人车检测数据集训练的人车目标 检测模型包括： 采用基于深度学习目标检测方法， 通过目标检测模型检测人与车辆目标； 并通过多个卷积层提取目标图像特 征， 并以此为特 征生成目标区域 坐标； 利用人车检测数据集， 采用梯度下降算法训练得到人 车目标检测模型中的参数。 5.根据权利要求4所述的方法， 其特征在于， 基于所述人车关联数据集训练人车关联模 型具体包括： 提取人车区域图像中的人车目标整体特征， 并将所述人车目标整体特征作为节点创建 二分图； 通过图卷积网络在所述二分图上进行人和车辆的特征交互更新， 得到更新后的节点特 征向量； 通过多层感知器网络对更新后的节点特 征向量计算 生成人和车辆的关联关系。 6.根据权利要求5所述的方法， 其特征在于， 通过图卷积网络在所述二分图上进行人和 车辆的特 征交互更新， 得到更新后的节点特 征向量包括： 分别获取二分图上的车辆以及人节点特 征集合； 根据车辆以及人节点特 征计算二分图中边连接 权值， 得到二分图的权值矩阵； 基于二个图卷积层进行 人车特征交互， 得到更新后的人 车节点特 征向量。 7.一种基于图卷积网络的人 车关联装置， 其特 征在于： 所述装置包括： 获取模块， 用于获取车辆与车主的样本对数据， 根据所述样本对数据制作用于人车检 测和人车关联数据集； 训练模块， 基于训练所述人车检测数据集训练人车目标检测模型， 基于所述人车关联 数据集训练人 车关联模型； 推理模块， 通过人车目标检测模型获取监控图中所有人和车辆的区域， 并将所述监控权　利　要　求　书 1/2 页 2 CN 114821470 A 2图中的人和车辆特 征输入人 车关联模型； 输出 所述图像中人和车辆的关系信息 。 8.根据权利要求7 所述的装置， 其特 征在于， 所述获取模块还用于采集包含车主和车辆的图像， 基于采集的图像获取车主上下车时 间段的图像作为样本对数据。 9.根据权利要求8所述的装置， 其特 征在于， 所述装置还 包括制作模块， 所述制作模块用于根据 所述样本对数据制作用于人车检测和人车关联数据集， 具体包 括标记监控图像中所有的人车目标矩形位置， 记录所述人车目标的车辆和车主的匹配信 息， 形成人 车检测和人车关联数数据集。 10.根据权利要求9所述的装置， 其特 征在于， 所述训练模块用于： 采用基于深度学习目标检测方法， 检测人与车辆目标； 并通过多个卷积层提取目标图像特 征， 并以此为特 征生成目标区域 坐标； 利用人车检测数据集， 采用梯度下降算法训练得到人 车目标检测模型中的参数。 11.根据权利要求10所述的装置， 其特 征在于， 所述训练模块还用于： 提取人车区域图像中的人车目标整体特征， 并将所述人车目标整体特征作为节点创建 二分图； 通过图卷积网络在所述二分图上进行人和车辆的特征交互更新， 得到更新后的节点特 征向量； 通过多层感知器网络对更新后的节点特 征向量计算 生成人和车辆的关联关系。 12.根据权利要求1 1所述的装置， 其特 征在于， 所述训练模块还用于： 分别获取二分图上的车辆以及人节点特 征集合； 根据车辆以及人节点特 征计算二分图中边连接 权值， 得到二分图的权值矩阵； 基于二个图卷积层进行 人车特征交互， 得到更新后的人 车节点特 征向量。权　利　要　求　书 2/2 页 3 CN 114821470 A 3