(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211030137.2 (22)申请日 2022.08.26 (71)申请人 吉林大学 地址 130012 吉林省长 春市长春高新技术 产业开发区前进大街269 9号 (72)发明人 郭洪艳　刘嫣然　孟庆瑜　李嘉霖　 (74)专利代理 机构 长春吉大专利代理有限责任 公司 22201 专利代理师 刘驰宇 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06T 7/246(2017.01)G06T 7/73(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于时空图注意力网络的行人轨迹预 测方法 (57)摘要 本发明提供了一种基于时空图注意力网络 的行人轨迹预测方法， 步骤包括： 采集行人轨迹 数据构建数据集； 数据预处理提取轨迹特征； 时 间注意力机制计算时间状态特征； 空间注意力机 制计算时空状态特征； 预测未来轨迹， 训练预测 模型； 本方法一方面利用时间注 意力机制提取每 个行人的时间特征， 考虑了每个行人自身过去不 同的历史时刻信息对当前预测结果的影 响， 有效 提高预测结果的准确性； 另一方面空间注意力机 制将上一步时间注意力机制提取的场景中所有 行人的时间状态特征作为输入， 利用图注意力神 经网络对每个行人的相邻行人分配合理的注意 力系数从而融合相邻行人的特征信息， 模拟行人 之间包含社交因素的空间交互作用， 保证预测结 果的合理性。 权利要求书4页 说明书10页 附图2页 CN 115376103 A 2022.11.22 CN 115376103 A 1.一种基于时空图注意力网络的行人轨迹预测方法， 应用于自动驾驶领域， 针对行人 横穿马路场景进 行行人的行为分析和预测， 利用自动 驾驶汽车感知系统装 备的车载摄像机 采集行人信息， 其特 征在于， 具体步骤如下： 步骤一、 采集行 人轨迹数据构建数据集： 利用自动驾驶汽车感知系统装备的车载摄像机采集车辆行驶过程中前方和两侧的道 路视频数据， 运用语义分割、 图像分类和数据标注与转换技术手段提取行人信息， 其中包括 道路视频每 帧中每个行人在图像坐标系 下的坐标值， 构建行人轨迹数据集， 进一步分为训 练数据集和 测试数据集； 步骤二、 数据预处 理提取轨 迹特征： 对行人轨迹训练数据集进行预处理， 为了在保证预测精度的前提下减小计算量， 对输 入的数据进 行合理采样， 提取每个行人的历史观测坐标， 定义每个行人在历史时刻t的观测 坐标 为： 其中， i表示场景中第i个行人， t表示历史时刻， Tobs表示观测时域长度， N表示场景中的 行人总数量， 表示第i个行人在图像坐标系下在历史 时刻t沿x轴方向的观测坐标值 和沿y轴方向的观测坐标值； 定义每个行人在预测时刻tp的真实坐标 为： 其中， i表示场景中第i个 行人， tp表示预测时刻， Tpre表示预测时域长度， N表示场景中的 行人总数量， 表示第i个行人在图像坐标系下在预测时刻tp沿x轴方向的真实坐标 值和沿y轴方向的真实坐标值； 计算每个行人在历史时刻t与上一个历史时刻t ‑1的历史相对位置 其中， 表示第i个行人在图像坐标系下在历史时刻t沿x轴方向的历史相对值 和沿y轴方向的历史相对值； 利用嵌入函数φ( ·)对历史相对位置 进行升维， 得到每个行人在历史时刻t 的嵌入向量 其中， 表示第i个行人在历史时刻t的嵌入向量且维数为16， φ( ·)表示嵌入函数， 嵌 入函数由全连接层组成， We表示可学习的全连接网络参数， 网络的输入特征维数为2， 输出 特征维数为16， 层数为1；权　利　要　求　书 1/4 页 2 CN 115376103 A 2接着将每个行人在 历史时刻t的嵌入向量 输入到长短期记忆网络 LSTM中， 计算得到每 个行人在历史时刻t的隐藏状态特 征 其中， 表示第i个行人在历史时刻t的隐藏状态特征且维数为32， LSTM( ·)由长短期 记忆网络单元组成， Wen为可学习得到的长短期记忆网络权重参数， 网络的输入特征维数为 16， 输出特征维数为32， 隐藏特 征维数为32， 层数为1； 步骤三、 时间注意力机制计算时间状态特 征： 通过时间注意力机制计算包 含时间相关性的时间状态特 征 利用时间注意力机制计算每个行人的其他历史时刻r,r∈ {1,...,t}隐藏状态特征对历史 时刻t隐藏状态特征的时间注 意力系数， 提取每个行人的历 史轨迹的时间相关性， 具体过程如下： 首先， 输入每个行人的隐藏状态特征 计算第i个行人在其他历史时刻r的隐藏状态 特征 对历史时刻t的隐藏状态特 征 的时间注意力系数 计算过程如下： 其中， f(·)表示余弦相似性函数， 用来计算相似性值， 表示第i个行人在其他历史时 刻r的隐藏状态特征， softmax( ·)表示归一化指数函数， 表示第i个行人在其他历史 时刻r的时间注意力系数； 接着， 利用第i个行人在其他历史时刻r的时间注意力系数 计算第i个行人在历 史时刻t的时间状态特 征 计算过程如下： 其中， 表示第i个行 人在历史时刻t的时间状态特 征且维数为32； 步骤四、 空间注意力机制计算时空状态特 征： 空间注意力 机制将每个行人的时间状态特征输入到图注意力网络 中， 场景中的所有行 人对应图结构 中的各个节点， 行人之间的交互对应图结构 中的各个边， 基于图注意力网络 融合第i个行人在历史时刻t与相 邻行人的轨迹交互特征， 得到的时空状态特征即包含了时 间相关性， 也包 含了空间交 互性， 具体过程如下： 首先， 定义在图结构中， 第i个 行人的相邻行人集合为Ni， 将所有行人的时间状态特征输 入到图注意力网络中， 计算在历史时刻t同一场景中第j个行人对第i个行人 的空间注意力 系数 权　利　要　求　书 2/4 页 3 CN 115376103 A 3