(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210834516.0 (22)申请日 2022.07.14 (71)申请人 清华大学 地址 100084 北京市海淀区清华园1号 (72)发明人 李骏　张新钰　王力　陈海峰　 谢涛　 (74)专利代理 机构 北京三聚阳光知识产权代理 有限公司 1 1250 专利代理师 张建纲 (51)Int.Cl. G06V 20/58(2022.01) G06V 40/10(2022.01) G06V 10/62(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06T 7/70(2017.01) G06T 7/292(2017.01) G01C 21/00(2006.01) G01S 17/89(2020.01) G08G 1/14(2006.01) G08G 1/0968(2006.01) (54)发明名称 一种基于全域感知的智慧停车场语义地图 构建方法及系统 (57)摘要 本发明提出了一种基于全域感知的智慧停 车场语义地图构建方法及系统， 基于部署在停车 场场端的激光雷达与相机实现， 该方法包括： 接 收相机和激光雷达分别获取的停车场各个区域 的RGB图像和点 云数据； 结合停车位的先验信息， 根据RGB图像和点云数据进行停车位检测， 得到 停车位信息； 采用基于相机与激光融合的三维目 标检测算法， 根据RGB图像和点云数据， 得到车辆 位置信息和行人位置信息； 根据停车位信息和车 辆位置信息构建栅格地图； 根据停车位信息、 车 辆位置信息和行人位置信息， 采用特征关联算法 进行路径规划； 根据栅格地图、 停车位的先验信 息以及停车位信息、 车辆跟踪与路径规划信息， 构成动态的停车场语义 地图。 权利要求书2页 说明书6页 附图1页 CN 115273028 A 2022.11.01 CN 115273028 A 1.一种基于全域感知的智慧停车场语义地图构建方法， 基于部署在停车场场端的激光 雷达与相机实现， 所述方法包括： 步骤s1)接收相机和激光雷达分别获取的停车场各个区域的RGB图像和点云数据； 步骤s2)结合停车位的先验信息， 根据RGB图像和点云数据进行停车位检测， 得到停车 位信息； 步骤s3)采用基于相机与激光融合的三维目标检测算法， 根据RGB图像和点云数据， 得 到车辆位置信息和行 人位置信息； 步骤s4)根据停车位信息和车辆位置信息构建栅格地图； 步骤s5)根据停车位信息、 车辆位置信息和行人位置信 息， 采用特征关联算法进行路径 规划； 步骤s6)根据栅格地图、 停车位的先验信息以及停车位信息、 车辆跟踪与路径规划信 息， 构成动态的停车场语义 地图。 2.根据权利要求1所述的基于全域感知的智慧停车场语义地图构建方法， 其特征在于， 所述步骤s2)的停车位先验信息为点云坐标下每个停车位相对于感知设备之间的相对位 置。 3.根据权利要求2所述的基于全域感知的智慧停车场语义地图构建方法， 其特征在于， 所述步骤s2)包括： 根据停车位的先验信 息以及车位的占用与空闲具有不同空间表示的特征， 在白天光照 条件满足要求时， 根据RGB图像， 采用轻量级的二分类网络识别停车位框的占用情况； 在夜 晚光照条件不满足要求时， 基于点云数据的三维目标检测及图像分类结果的融合， 识别停 车位框的占用情况。 4.根据权利要求1所述的基于全域感知的智慧停车场语义地图构建方法， 其特征在于， 所述步骤s3)包括： 对相机和激光雷达进行外参标定， 对相机进行内参标定； 通过标定获得的外参矩阵与内参矩阵， 将点云投影为与RGB图像同维度的深度图像， 并 通过注意力网络 机制将两种信息融合， 再将结果投影到原 始点云中； 采用基于相机与激光融合的三维目标检测算法， 生成停车场内每 台车辆及行人的检测 框和朝向； 每一个检测框由(x,y,z,l,w,h,yaw)构成， 其中(x,y,a)表示该检测框的中心， (l,w,h)表示该检测 框的长宽高， yaw表示检测框的朝向角度， 从而得到停车场范围内的车 辆位置信息和行 人位置信息 。 5.根据权利要求4所述的基于全域感知的智慧停车场语义地图构建方法， 其特征在于， 所述步骤s4)包括： 将表征车辆位置信 息和行人位置信 息的三维检测框转换成二维鸟瞰图， 以二维检测框 的长宽以及朝向生成栅格地图。 6.根据权利要求5所述的基于全域感知的智慧停车场语义地图构建方法， 其特征在于， 所述步骤s5)包括： 对二维检测框的输出信 息进行相应的多目标跟踪， 通过关联上一帧与当前帧的检测结 果， 为每个检测到的车辆赋予相应的ID值； 采用基于特征关联的跟踪算法， 根据车辆ID值实时为进场车辆安排空闲车位， 一旦车权　利　要　求　书 1/2 页 2 CN 115273028 A 2位占用， 相应停车位标记为占用状态， 根据停车位信息， 栅格地图 以及车辆位置信息采用混 合A*算法进行路径规划。 7.根据权利要求5所述的基于全域感知的智慧停车场语义地图构建方法， 其特征在于， 所述步骤s6)的停车场语义地图包括： 停车场区域的整体空间信息、 停车位的位置信息及占 用情况、 停车场区域的车辆行 人实时位置信息和车辆的泊车路径信息 。 8.根据权利要求5所述的基于全域感知的智慧停车场语义地图构建方法， 其特征在于， 所述方法还 包括基于ROS话题的订阅发布实现信息传递； 具体包括： 通过基于ROS话题的订阅发布实现RGB图像和点云数据、 停车位的位置信息及占用情 况、 车辆位置信息和行 人位置信息、 栅格地图以及车辆跟踪与路径规划信息的传递。 9.一种基于全域感知的智慧停车场语义地图构建系统， 基于部署在停车场场端的激光 雷达与相机实现， 其特征在于， 所述系统包括： 数据接收模块、 停车位检测模块、 车辆行人检 测模块、 栅格地图构建模块、 路径规划模块和语义 地图构建模块； 其中， 所述数据接收模块， 用于接收相机和激光雷达分别获取的停车场各个区域的RGB图像 和点云数据； 所述停车位检测模块， 用于结合停车位的先验信 息， 根据RGB图像和点云数据进行停车 位检测， 得到停车位信息； 所述车辆行人检测模块， 用于采用基于相机与激光融合的三维 目标检测算法， 根据RGB 图像和点云数据， 得到车辆位置信息和行 人位置信息； 所述栅格地图构建模块， 用于根据停车位信息和车辆位置信息构建栅格地图； 所述路径规划模块， 用于根据停车位信 息、 车辆位置信 息和行人位置信息， 采用特征关 联算法进行路径规划； 所述语义地图构建模块， 用于根据栅格地图、 停车位的先验信 息以及停车位信 息、 车辆 跟踪与路径规划信息， 构成动态的停车场语义 地图。 10.根据权利要求9所述的基于全域感知的智慧停车场语义地图构建系统， 其特征在 于， 所述系统基于ROS话题的订阅发布实现信息传递； 具体包括： 通过基于ROS话题的订阅发布实现RGB图像和点云数据、 停车位的位置信息及占用情 况、 车辆位置信息和行 人位置信息、 栅格地图以及车辆跟踪与路径规划信息的传递。权　利　要　求　书 2/2 页 3 CN 115273028 A 3