(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210854066.1 (22)申请日 2022.07.13 (71)申请人 深圳市优必选科技股份有限公司 地址 518000 广东省深圳市南 山区学苑大 道1001号南山智园C1栋16、 2 2楼 (72)发明人 孙铁成　焦继超　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 张文娥 (51)Int.Cl. G06T 7/10(2017.01) G06T 7/73(2017.01) G06T 11/00(2006.01) G06T 17/00(2006.01) G06V 10/26(2022.01) (54)发明名称 基于语义信息的定位方法、 装置和终端设备 (57)摘要 本申请提供一种基于语义信息的定位方法、 装置和终端设备， 该方法包括： 对获取的RGBD图 像进行语义分割， 得到每个像素的语义标签； 基 于RGBD图像进行点 云重建， 并将每个像素的语义 标签映射到重建的点云中， 得到带语义标签的当 前帧语义点 云和三维场景语义地图； 对当前帧和 语义地图中的各三维语义点云分别进行二维离 散语义特征点生成， 得到对应的二维语义特征点 图像， 然后对二维语义特征点图像中各特征点进 行三维语义特征描述； 基于三维语义特征描述， 将当前帧中的所有特征点和语义地图中的所有 特征点进行特征匹配， 以获得定位信息。 该方法 通过引入语义特征， 可有效提高定时时的特征匹 配效率并降低误匹配概 率等。 权利要求书2页 说明书9页 附图4页 CN 115131363 A 2022.09.30 CN 115131363 A 1.一种基于语义信息的定位方法， 其特 征在于， 包括： 对获取的RGBD图像进行语义分割， 得到每 个像素的语义标签； 基于所述RGBD图像进行点云重建， 并将所述每个像素的语义标签映射到重建的点云 中， 分别得到带语义标签的当前帧语义 点云和三维场景语义 地图； 对所述当前帧和所述语义地图中的各三维语义点云分别进行二维离散语义特征点生 成， 得到对应的二维语义特征点图像， 然后对所述二维语义特征点图像中各特征点进行三 维语义特 征描述； 基于所述三维语义特征描述， 将所述当前帧中的所有特征点和所述语义地图中的所有 特征点进行 特征匹配， 以获得定位信息 。 2.根据权利要求1所述的基于语义信 息的定位方法， 其特征在于， 所述获得定位信 息之 后， 还包括： 将基于所述二维语义特征点图像构建的语义特征点地图划分为预设数量个子地图， 其 中， 各个子地图之间存在匹配当前帧的观测范围的重合区域； 然后， 提取所述当前帧中的部 分语义点云和所述子地图中具有相同语义标签的目标语义点云， 利用迭代最近点算法进 行 语义点云配准， 以获得高精度定位信息 。 3.根据权利要求1所述的基于语义信 息的定位方法， 其特征在于， 所述对所述当前帧和 所述语义地图中的各三维语义点云分别进 行二维离散语义特征点生成， 得到对应的二维语 义特征点图像， 包括： 将所述当前帧和所述语义地图中的各三维语义点云投影到二维平面， 计算得到各三维 语义点云对应的二维特 征图像坐标； 统计每个所述二维特征图像坐标下对应的不同语义类别的三维点云个数， 将个数最多 的对应语义类别的语义标签作为二维特征点的像素值， 直至遍历完所有的三维语义点云， 生成对应的二维语义特 征点图像。 4.根据权利要求3所述的基于语义信 息的定位方法， 其特征在于， 所述计算得到各三维 语义点云对应的二维特 征图像坐标， 包括： 将所述三维语义点云由相机坐标系变换到地面为X ‑Y坐标平面且Z轴垂直于地面向上 的坐标系下， 然后分别求 解所述三维语义 点云中每 个坐标的最小值和最大值； 根据二维离散化的分辨率、 所述最小值和所述最大值， 计算二维离散化后的图像分辨 率， 并计算在所述图像分辨 率下所述三维语义 点云对应的二维特 征图像坐标。 5.根据权利要求1所述的基于语义信 息的定位方法， 其特征在于， 所述对所述二维语义 特征点图像中每 个特征点进行三维语义特 征描述， 包括： 基于邻近搜索算法搜索所述二维语义特征点图像中每个特征点对应的预设搜索半径 内的若干近邻特征点， 然后提取所述若干近邻特征点对应的所有三 维语义点云作为局部语 义点云； 将所述局部语义点云划分为不同的圆环区域， 然后搜索并统计不同区域内的语义类别 的个数， 以构 造对应区域的语义直方图， 再将各个区域的所述语义直方图连接， 得到所述特 征点的三维语义特 征描述。 6.根据权利要求5所述的基于语义信 息的定位方法， 其特征在于， 所述局部语义点云的 区域半径为R， 划分的圆环数量 为NR， 所述不同区域内的语义类别的个数的搜索规则如下：权　利　要　求　书 1/2 页 2 CN 115131363 A 2分别搜索半径为R/NR的圆形区域， 以及内径为k*E/NR且外径为(k+1)*R/NR的环形区域， 其中， k的取值 为[1，…， NR‑1]， 直至搜索完所有区域。 7.根据权利要求1所述的基于语义信 息的定位方法， 其特征在于， 所述将所述当前帧中 的所有特 征点和所述语义 地图中的所有特 征点进行 特征匹配， 包括： 将所述当前帧和所述语义地图中的具有相同语义标签的各个特征点进行匹配， 得到相 应数量的匹配对， 所述匹配对用于获取在二维空间的定位信息 。 8.根据权利要求1所述的基于语义信 息的定位方法， 其特征在于， 所述将所述当前帧中 的所有特 征点和所述语义 地图中的所有特 征点进行 特征匹配， 包括： 将基于所述二维语义特征点图像构建的语义特征点地图划分为预设数量个子地图， 其 中， 各个子地图之间存在符合当前帧的观测范围的重合区域； 分别提取每个子地图的特征描述， 以将所述当前帧中的所有特征点与 各个子地图进行 特征匹配， 得到对应于每个子地图的若干匹配对， 并基于所述若干匹配对对所有子地图进 行筛选， 得到最匹配的子地图， 所述 最匹配的子地图用于获取在二维空间的定位信息 。 9.根据权利要求8所述的基于语义信 息的定位方法， 其特征在于， 所述基于所述若干匹 配对对所有子地图进行筛 选， 包括： 通过随机选择所述匹配对以求解对应的变换矩阵， 然后对所有匹配对求解内点， 将内 点数量最多的子地图作为 最匹配的子地图。 10.一种基于语义信息的定位装置， 其特 征在于， 包括： 图像语义分割模块， 用于对获取的RGBD图像进行语义分割， 得到每 个像素的语义标签； 语义地图构建模块， 用于基于所述RGBD图像进行点云重建， 并将所述每个像素的语义 标签映射到 重建的点云中， 分别得到带语义标签的当前帧语义 点云和三维场景语义 地图； 语义特征描述模块， 用于对所述当前帧和所述语义地图中的各三维语义点云分别进行 二维离散语义特征点生成， 得到对应的二维语义特征点图像， 然后对所述二维语义特征点 图像中各 特征点进行三维语义特 征描述； 特征匹配模块， 用于基于所述三维语义特征描述， 将所述当前帧中的所有特征点和所 述语义地图中的所有特 征点进行 特征匹配， 获得定位信息 。 11.一种终端设备， 其特征在于， 所述终端设备包括处理器和存储器， 所述存储器存储 有计算机程序， 所述处理器用于执行所述计算机程序以实施权利要求1 ‑9中任一项所述的 基于语义信息的定位方法。 12.根据权利要求11所述的终端设备， 其特征在于， 所述终端设备为机器人或无人驾驶 装置。 13.一种可读存储介质， 其特征在于， 其存储有计算机程序， 所述计算机程序在处理器 上执行时， 实施根据权利要求1 ‑9中任一项所述的基于语义信息的定位方法。权　利　要　求　书 2/2 页 3 CN 115131363 A 3