(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210550072.8 (22)申请日 2022.05.20 (71)申请人 南京理工大 学 地址 210094 江苏省南京市玄武区孝陵卫 200号 (72)发明人 周竹萍　刘博闻　汤睿尧　刘洋　 (74)专利代理 机构 南京理工大 学专利中心 32203 专利代理师 岑丹 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/54(2022.01) G06V 20/56(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/764(2022.01) G06V 10/762(2022.01) G06V 10/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 50/00(2012.01) (54)发明名称 一种面向自动驾驶汽车的过街行人群体多 模态轨迹预测方法 (57)摘要 本发明公开了一种面向自动驾驶汽车的过 街行人群体多模态轨迹预测方法， 依据自动驾驶 车获取的多源信息构建人车社会交互图； 基于人 车社会交互图， 运用图团体检测算法实现行人结 伴识别； 运用朴素贝叶斯模型实现行人从众识别 与人车交互识别， 完成人车时空信息的社会交互 标签嵌入， 确定行人的不同交互方式与交互对 象； 基于输入信息与交互标签， 经由多模态轨迹 预测模块， 计算未来短期行人及行人群体轨迹； 基于未来短时轨迹， 更新未来人车时空状态信 息； 储存未来短时轨迹， 拼接为长时轨迹序列。 本 发明在轨迹短时预测中， 加入了对 过街场景语义 信息的特征提取， 更适用于泛化要求高、 场景复 杂、 计算实时性强的自动驾驶应用场景。 权利要求书4页 说明书8页 附图3页 CN 114898293 A 2022.08.12 CN 114898293 A 1.一种面向自动驾驶汽车的过街行人群体多模态轨迹预测方法， 其特征在于， 包括以 下步骤： 步骤1、 依据自动驾驶车获取的多源信 息构建人车社会交互图， 所述多源信息包括自动 驾驶车路径规划信息、 人 车时空状态信息以及行 人过街意图信息； 步骤2、 基于人 车社会交互图， 运用图团体 检测算法实现行 人结伴识别； 步骤3、 运用朴素贝叶斯模型实现行人从众识别与 人车交互识别， 完成人车时空信 息的 社会交互标签嵌入， 确定行 人的不同交 互方式与交 互对象； 步骤4、 基于输入信息与交互标签， 经由多模态轨迹预测模块， 计算未来短期行人及行 人群体轨迹； 步骤5、 基于未来短时轨迹， 更新未来人车时空状态信息； 储存未来短时轨迹， 拼接为长 时轨迹序列。 2.根据权利要求1所述的面向自动驾驶汽车的过街行人群体多模态轨迹预测方法， 其 特征在于， 所述人车空间关系信息包括： 自动驾驶汽车的绝对位置、 行人的绝对位置、 邻车 绝对位置； 所述自动驾驶车路径规划信息为基于使用道路中心线作为参考线， 使用参考线 的切线向量和法线向量建立坐标系后基于行车自动驾驶初始激活状态建立相 应的初始运 动轨迹规划； 所述行人过街意图信息包括基于隐马尔可夫行人过街意图识别模型确定检测 到的行人过街状态Si， S1为过街， S2为等待过街， S3为非过街。 3.根据权利要求1所述的面向自动驾驶汽车的过街行人群体多模态轨迹预测方法， 其 特征在于， 步骤2基于人车社会交互图， 运用图团体检测算法实现行人结伴识别， 具体步骤 为： 步骤2‑1、 将检测到的过街行 人视为节点并根据相互之间的欧式距离创建邻接矩阵； 步骤2‑2、 将每个节点自己的独自构成一个聚类， 计算整个网络的模块 性M， 步骤2‑3、 计算任意两个聚类进行融合后造成的模块 性改变Δ M； 步骤2‑4、 取ΔM出现了最大增长的两个聚类进行实际融合； 为这个聚类计算新的模块 性M， 并记录下来； 步骤2‑5、 重复第2 ‑3步和第2 ‑4步， 每一次都融合一对聚类， 得到ΔM的最大增益， 记录 新的聚类模式及其相应的模块 性M， 衡量结伴划分质量， 通过迭代寻找最优结伴划分； 步骤2‑6、 基于划分结果 合并结伴的行 人组合， 更新社会交 互图。 4.根据权利要求3所述的面向自动驾驶汽车的过街行人群体多模态轨迹预测方法， 其 特征在于， 模块 性M的计算公式如下： 其中， L表示社会交互图包含的边数量， N表示定点数量， kikj表示各人、 车的度， Aij表示 两交通主体间的欧式距离， ci,cj表示行人结伴聚类情况， δ为kron ecker函数， 两个参数相等 则返回1， 不等则返回0； 所以如果顶点i， j属于同一聚类， 则 δ(ci,cj)返回1， 不属于同一聚类 则 δ(ci,cj)返回0。 5.根据权利要求1所述的基于自动驾驶汽车的过街行人群体多模态轨迹预测方法， 其 特征在于， 运用朴素贝叶斯分类 器筛选出从众 行人和与车辆有交 互的行人， 具体为：权　利　要　求　书 1/4 页 2 CN 114898293 A 2步骤3‑1、 假设每个被检测到的行人具有n项属性特征， 分别为f1,f2,f3,f4,……,fN,同 时各属性特 征之间保持相互独立， 集 合F＝{f1,f2,f3,f4……fN}表示属性特 征集合； 步骤3‑2、 将人群划分为m个类别， 分别为c1,c2,c3,……,cM， 集合C＝{c1,c2,c3……cM}表 示从属类别集 合； 步骤3‑3、 通过样本中已知类别的行人的先验概率p(F|c)， 根据未知类别行人的属性特 征集合F， 利用贝叶斯 公式计算行人的后验概率p(c|F)， 选择具有最大后验概率的类作为其 所属的类别， 筛 选出从众 行人和与车辆有交 互的行人； 步骤3‑4、 采用相同方法将过街行人群体划分为2个类别分别为c4： 与车辆有交互者； c5： 与车辆无交 互者； 步骤3‑5、 输出具有人‑人结伴、 从众 标签及人 车交互标签的人 车时空信息 。 6.根据权利要求5所述的基于自动驾驶汽车的过街行人群体多模态轨迹预测方法， 其 特征在于， 利用贝叶斯公式计算出 行人的后验概 率的公式表达如下： 式中， p(F|c)为已知类别的行人的先验概率， p(F)为特征集合F的全概率， p(c)为某个 行人为c类别的概 率， p(fN|c)为类别为c的行 人具有fN特征的概率。 7.根据权利要求1所述的面向自动驾驶汽车的过街行人群体多模态轨迹预测方法， 其 特征在于， 所述多模态轨迹预测模块包括CNN场景模块、 轨迹预测模块、 社会交互模块以及 轨迹输出模块， 由CNN场景模块提供场景语义信息， 轨迹预测模块结合上层场景语义信息对 行人过街运动趋势编码， 通过社会交互模块对行人过街运动趋势赋予社交特征， 由轨迹输 出模块输出多模态行 人短时轨 迹预测结果。 8.根据权利要求1或7所述的面向自动驾驶汽车的过街行人群体多模态轨迹预测方法， 其特征在于， 由多模态轨 迹预测模块， 计算未来短期行 人及行人群体轨迹的具体过程 为： 步骤4‑1、 通过CNN场景模块提供场景语义信息， 具体为： 基于对自动驾驶车行车图像分 割及坐标转换后的图像数据， 运用卷积神经网络， 经卷积层与池化层联合特征提取， 对机动 车道、 非机动车道、 人 行道、 斑马线及障碍区域进行像素级编码， 获得场景语义信息； 步骤4‑2、 以LSTM为模型骨架， 建立轨迹预测模型； 以社会交互图中各智能团体为单位， 基于自动驾驶车目标检测及跟踪获取 的行人历史轨迹数据， 运用长短时记忆网络， 经记忆 单元与门控单元实现时间序列间的信息共享与传递， 结合上层场景语义信息， 编码行人过 街趋势信息； 步骤4‑3、 通过社会交互模块对行 人过街运动趋势赋予社交特 征； 步骤4‑4、 基于上层网络提取的空间语义信息、 过街趋势信息以及社会交互信息， 经混 合密度网络， 计算未来可能的多种轨迹范围， 并以此生成多模态轨迹， 同时基于高斯混合模 型实现轨 迹概率的输出。 9.根据权利要求8所述的面向自动驾驶汽车的过街行人群体多模态轨迹预测方法， 其 特征在于， 通过 社会交互模块对行 人过街运动趋势赋予社交特 征的具体步骤为：权　利　要　求　书 2/4 页 3 CN 114898293 A 3