(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210813525.1 (22)申请日 2022.07.11 (71)申请人 东北大学 地址 110819 辽宁省沈阳市和平区文化路 三巷11号 (72)发明人 张云洲　邓志强　胡兴刚　孙文恺　 曹振中　 (74)专利代理 机构 大连理工大 学专利中心 21200 专利代理师 梅洪玉 (51)Int.Cl. G06T 7/70(2017.01) G06T 17/00(2006.01) (54)发明名称 基于物体平面共同表示和语义描述符匹配 的重定位算法 (57)摘要 本发明属于重定位技术领域， 提出了一种基 于物体平面共同表示和语义描述符匹配的重定 位算法。 本算法从点云地图中提取语义物体和平 面路标， 然后利用路标来构建语义拓扑图。 不同 于其他暴力图匹配或基于随机游走的图匹配算 法， 本发明提出利用图传播算法结合语义邻域的 节点与边信息来生成混合描述子。 随后， 利用sKM 算法匹配先验点云地图和查询点云地图的路标 点， 提高匹配的精度和鲁棒性， 利用路标点的匹 配约束来求解查询点云地图的重定位位姿。 该算 法能够有效应对大视差或动态场景下的重定位 工作， 以服 务于AR和导 航等应用场景。 权利要求书2页 说明书5页 附图1页 CN 115330861 A 2022.11.11 CN 115330861 A 1.基于物体平面共同表示和语义描述符匹配的重定位算法， 其特征在于， 分别将先验 点云地图和查询点云地图生成语义拓扑图并提取出描述子， 将二者的描述子进行匹配， 使 得地图进行重 定位； 步骤如下： 步骤1.利用输入的视觉图像获取语义信息、 物体信 息和平面信息， 形成语义拓扑图； 语 义拓扑图基本组成部分为物体路标和平面路标； 步骤2.利用语义拓扑图生成图节点的描述子； 使用属性描述符和关系描述符共同描述的混合语义描述符进行表示图节点的描述子； 属性描述符包含单个节点的信息， 其包括物体的语义标签和大小， 同时指定相邻节点 的拓扑信息； 关系描述符存储了语义拓扑图中被描述节点的邻域信 息， 邻域信 息包括被描述节点周 围的边信息和邻近度信息； 边信息包括边的长度和边端点的语义类别； 邻近度信息被描述 节点传播到其邻居节点的概 率； 使用图传播 算法对邻近度进行建模； 步骤3.利用图节点的描述子实现两个 语义拓扑图节点的匹配： 创建先验点云地图和查询点云地图的语义拓扑图， 使用混合语义描述符进行图节点的 匹配； 首先计算两个 语义拓扑图中所有节点的相似度， 然后根据得分找到最佳节点匹配； 步骤4.利用匹配上的节点 求解查询点云地图在先验点云地图中的位姿； 根据步骤3的匹配过程找到两个语义拓扑图之间的节点到节点的对应关系； 利用匹配 上的物体和平面计算 查询点云地图与先验点云地图间的6自由度变换位姿。 2.根据权利要求1所述的基于物体平面共同表示和语义描述符匹配的重定位算法， 其 特征在于， 所述步骤1具体为： 输入3D彩色点云地图， 利用SFM或SLAM方法生成先验点云地图 和查询点云地图； 将先验点云地图和查询点云地图分别编码为语义拓扑图； 其中， 物体信息通过物体SLAM或端到端3D物体 检测网络提取； 使用RANSAC算法提取平面信息， 平面信息包括平面参数(nT， d)， 其中n表示法线， d表示 从原点到平面的几何距离； 使用一个四元数来参数化平面q(φ)＝(nT， d)； 通过设置||q (φ)||＝ 1来标准化法线和几何距离， 避免在 优化步骤中出现秩缺陷信息矩阵； 平 面的变换 和映射完全 满足四元 数规则， 具有以下对数映射： 3.根据权利要求2所述的基于物体平面共同表示和语义描述符匹配的重定位算法， 其 特征在于， 所述端到端3D物体检测网络为3DIoUMatch物体检测网络， 用于输出物体的姿态 (p， θ )和尺 寸s， 其中姿态包括物体中心所在的三 维空间位置和物体朝向， 尺 寸s包含物体的 长、 宽和高。 4.根据权利要求1或2所述的基于物体平面共同表示和语义描述符匹配的重定位算法， 其特征在于， 所述语义拓扑图中出现以下两种方式时， 生成无向边： 1)两个物体之 间的距离 小于阈值； 2)一个物体和一个平面之间的距离小于阈值， 且物体沿平面法线的投影在平面 范围内。 5.根据权利要求1所述的基于物体平面共同表示和语义描述符匹配的重定位算法， 其 特征在于， 所述图传播 算法具体为； 邻近度包括单个节点 n的邻近度和连接 到两个节点的一条边的近邻度；权　利　要　求　书 1/2 页 2 CN 115330861 A 2单个节点 n的邻近度定义 为： 其中， α和(1 ‑α )表示在当前节点上停留与传播到下一层的概率； 邻接矩阵和度数矩阵 分别用A和D表示， en是一个one ‑hot向量， en(n)＝1， 其余情况等于0； 只累积图传播的第一 个 层的结果； 连接到两个节点的一条边的近邻度定义 为Φe＝min(Φn1Φn2)。 6.根据权利要求1所述的基于物体平面共同表示和语义描述符匹配的重定位算法， 其 特征在于， 所述步骤3中具体为： 对先验点云地图和查询点云地图中节点进行遍历， 从先验 点云地图和查询点云地图中分别取出一个节点； 比较两个节点之 间所有相 邻的边的混合语 义描述符， 并对匹配上的相 邻边的邻近度进 行加权求和， 得到节点之 间的相似度分数； 遍历 完成后， 为确定最佳节 点匹配， 使用所有节 点之间的相似度分数作为匹配权重， 并使用KM算 法求解最佳二分图匹配； 其中节点的相似度具体为； 图G1中的节点 和图G2中的节点 之间的相似性定义 为： Sij＝fc(ni1， nj2)fS(ni1， nj2)fe(ni1， nj)    (3) 其中， fc(·)和fs(·)分别是语义判别函数和尺度判别函数， 当两个节点的语义和尺度 相同时， 返回1， 否则返回0； fe(·)为关系描述符的判别函数。 7.根据权利要求1所述的基于物体平面共同表示和语义描述符匹配的重定位算法， 其 特征在于， 所述 步骤4中， 定义物体的误差函数为： 其中， No表示映射 中匹配物体的数量， Si表示匹配节点之间的相似性； pi和p′i表示先验 点云地图和查询点云地图中匹配物体的坐标； 从先验点云地图到查询点云地图的旋转矩阵 是R， 平移矩阵是t； 定义平面的误差函数为： 其中， T表示查询点云地图到先验点云地图的位姿变换矩阵， Np是匹配上的平面φi和 φ′i的数目； 定义物体和平面的损失函数后， 使用图形优化框架求解查询点云地图与先验点云地图 间的相对位姿。权　利　要　求　书 2/2 页 3 CN 115330861 A 3