(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211061521.9 (22)申请日 2022.08.31 (71)申请人 南京工业大 学 地址 211816 江苏省南京市浦口区南京工 业大学江浦校区浦珠南路3 0号 (72)发明人 朱文俊　刘洋宏　易阳　张梦怡　 (74)专利代理 机构 南京群迈知识产权代理有限 公司 32690 专利代理师 安士影 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/73(2017.01) G06V 20/40(2022.01) G06V 10/74(2022.01) G06V 10/77(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于图神经网络的分层融合式预测方 法 (57)摘要 本发明公开了一种基于图神经网络的分层 融合式预测模型， 包括： 上层图神经网络： 用于学 习多个行人之间的空间交互； 中层图神经网络： 用于学习行人自身的终点意图； 下层图神经网 络： 将上层图神经网络获得的行人之间的空间交 互、 中层图神经网络获得的行人自身的终点意图 和行人的历史轨迹相结合， 通过时间卷积网络 TCN预测未来轨迹。 本发明还公开了一种基于图 神经网络的分层融合式预测方法。 本发明充分考 虑了内在因素和外在因素对行人未来轨迹的影 响， 用于在每个时间步模拟整个行人场景之间的 空间和时间交互， 并预测多个未来轨迹， 通过这 种方法使得轨 迹预测精度得到提高。 权利要求书4页 说明书14页 附图3页 CN 115457081 A 2022.12.09 CN 115457081 A 1.一种基于图神经网络的分层融合式预测模型， 其特 征在于， 包括： 上层图神经网络： 用于学习多个行 人之间的空间交 互； 中层图神经网络： 用于学习行 人自身的终点 意图； 下层图神经网络： 将上层图神经网络获得的行人之间的空间交互、 中层图神经网络获 得的行人自身的终点 意图和行 人的历史轨 迹相结合， 通过时间卷积网络TCN预测未来轨 迹。 2.根据权利要求1所述的一种基于图神经网络的分层融合式预测模型的预测方法， 其 特征在于， 包括以下步骤： S01， 基于在不同场景下由固定相机采集到的视频， 将其划分为若干帧图片， 选取一定 数量的帧图片作为一组， 识别每一帧图片里的行人位置并将其从图像坐标系转化为世界坐 标系； 获取每一组中的行 人轨迹， 即每个时刻下 行人的世界坐标 （x， y） ； S02， 划分行人的历史轨迹和未来预测轨迹， 对于行人 i来说， 其历史轨迹表示为 ，tobs表示为历史轨迹的时间步长； 行人 i的未来预测轨迹表示 为 ，tpred表示为未来预测轨迹的时间步长； 假设一个场 景下有 个行人， 则该场景下所有行人的历史轨迹表示为 ， 该场景下所有 行人的未来预测轨 迹表示为 ； S03， 上层图神经网络中， 为了更加方便的学习行人之间的空间交互信息， 行人轨迹用 图的构造来表示； 创建一组反映行人相对位置的空间图 Gt， 定义为 ； 其中， ，Vt是空间图 Gt的顶点集合， 顶点集合中的集合元素 的属性是行 人在每个时刻下的历史轨 迹坐标点 ； 行人被视为空间图中的节点， 顶点即为节点； ，Et所代表的是空间图 的边集合， 边集合中的集合元素 的取值是0或者1， 关系到顶点 和顶点 是否相连， 1表示连接， 0表示 不连接。 3.根据权利要求2所述的预测方法， 其特征在于， S01中， 将视频划分为若干帧的方法 为： 以25Hz的采样频率将视频划分为若干帧； 一定数量的帧图片为20帧。 4.根据权利要求2所述的预测方法， 其特征在于， S03中， 加权邻接矩阵 ARel用于描述节 点 和节点 之间的逆欧几里德距离， 欧几里德距离越近， 说明相邻节点之间互相影响的 程度越大， 相邻节点之间容 易影响其行 人轨迹； 其中，ARel (i,j)=0表示相邻节点 不连接， 距离更远的行 人不会影响行 人轨迹。权　利　要　求　书 1/4 页 2 CN 115457081 A 25.根据权利要求2所述的预测方法， 其特 征在于， S0 3中， 上层图神经网络采用GAT模块； GAT模块的输入是将节点按照时间t编码的特 征向量集； 其中，N代表节点数目， 行人数目与节点数目相同； F表示特征向量的维度； 所有节点的 特征通过线性变换 转换为各种 中间表示； 表示W输出的维度； 表示编码节 点生成的特 征向量； 然后将图注意力机制GAT应用于这些节点， 并使用以下公式计算一对相邻节点 （ i，j） 之 间的关联系数： 其中， 代表在时间步长 t处节点j附近对节点 i的影响权重； 是连接节点 i和节点j 的权重矩阵W的连接函数； ， 是可学习权重向量； T代表转换此可学习权重向量； LR 表示一种激活函数， 全称是LeakyReLU； exp是分子和分母都以e为底的指数运 算； 在获得节点之间的影响权重 后， 聚合相邻节点的特征， 节点 i在时间步长 t处的聚合 特征描述如下： 其中， 是聚合的隐藏状态， 包括 来自其他节点的空间影响； 所有 构成了交 互特征向量集合 ； 使用交叉熵损失函数 使每个节点的权重向量接近一个one ‑hot向量， 从而更容易在 行人轨迹连续的空间上分离行 人终点意图； 公式定义如下： 。 6.根据权利 要求5所述的预测方法， 其特征在于， one ‑hot向量是一种状态编码， 将图空 间中的离散节点间的特征的取值映射到欧式空间转化为[0， 1]， 以概率的形式来体现节点 间的连接关系； 1表示连接状态， 0表示 不连接状态。 7.根据权利要求5所述的预测方法， 其特征在于， 中层图神经网络中， 结合历史轨迹观权　利　要　求　书 2/4 页 3 CN 115457081 A 3