(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210462752.4 (22)申请日 2022.04.28 (71)申请人 西安交通大 学 地址 710049 陕西省西安市咸宁西路28号 (72)发明人 杨树明　朱圣楠　张国锋　胡鹏宇　 邓惠文　段宇　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 姚咏华 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01) (54)发明名称 一种基于滑动窗口的SLAM局部实时重定位 方法 (57)摘要 本发明公开了一种基于滑动窗口的SLAM局 部实时重定位方法， 通过 维护一个固定大小的滑 动窗口， 使用Laplacian算子计算 图像的归一化 清晰度， 在保证图像清晰度的前提下将通过关键 帧筛选的图像送入滑动窗口中， 并基于感知哈希 算子融合灰度直方图计算对应图像的相似性描 述算子。 当视觉前端由于相机的运动模糊或镜头 遮挡导致跟踪中断后， 在现存的滑动窗口中选择 与当前最新帧最相似的一帧作为重定位候选帧； 通过再次匹配， 将候选帧基于补 充视觉约束实现 局部实时重定位。 通过该方法可以避免依赖于回 环检测和校正模块的计算延 迟， 有效快速地解决 相机在局部晃动或遮挡工况下的失去定位能力 的问题， 适用于运动状态不稳定的移动定位设 备。 权利要求书2页 说明书7页 附图3页 CN 114821280 A 2022.07.29 CN 114821280 A 1.一种基于滑动窗口 的SLAM局部实时重 定位方法， 其特 征在于， 包括： 提取和跟踪相机的运动或者镜 头遮挡的图像特 征； 计算图像的清晰度和描述图像相似性； 通过Laplacian 算子计算 候选帧的图像清晰度， 动态维护一个固定大小的滑动窗口； 筛选图像的关键帧； 基于感知哈希算子 融合灰度直方图的图像相似性， 在现存的滑动窗口中选择与当前最 新帧最相似的一帧作为重 定位候选帧； 通过再次匹配， 将候选帧基于补充视 觉约束实现局部实时重 定位。 2.根据权利要求1所述的一种基于滑动窗口的SLAM局部实时重定位方法， 其特征在于， 所述提取和跟踪相机的运动或者镜 头遮挡的图像特 征， 包括： 检查是否存在从上一帧成功跟踪到当前帧的特征点， 如果有n个点， 则将 成功跟踪到的 n个点对应的id值的跟踪次数加1； 基于随机抽样一 致性方法剔除错 误匹配的外点， 并更新 n的数值； 如果上一帧成功跟踪到的特征点数n小于每帧目标特征点数m， 使用shi ‑Tomasi角点检 测器在成功 跟踪到的n个点以外的范围补充提取(m ‑n)个新的特 征点。 3.根据权利要求1所述的一种基于滑动窗口的SLAM局部实时重定位方法， 其特征在于， 所述计算图像的清晰度和描述图像相似性， 包括： 根据Laplacian 算子计算图像梯度的梯度方差， 作为后续判断关键帧的筛 选依据之一； 计算图像的感知哈希算子， 作为后续判断图像相似性的依据之一； 计算图像的归一 化灰度直方图， 作为后续判断图像相似性的依据之一。 4.根据权利要求3所述的一种基于滑动窗口的SLAM局部实时重定位方法， 其特征在于， 所述Laplacian算子计算图像梯度的梯度方差， 对于单通道图像， 使用以ker nel为卷积核的 Laplacian算子的， 计算响应的方差， 如果方差大于一定阈值， 则认为是清晰的图像； 反之， 则判定为模糊图像。 5.根据权利要求3所述的一种基于滑动窗口的SLAM局部实时重定位方法， 其特征在于， 所述计算图像的感知哈希算子， 包括： 缩小图片的尺寸， 去除由于图片的尺寸和比例带来的差异， 快速去除高频和细节差异， 仅保留图片的基本结构； 如果是彩色图像， 则转换为灰度图像； 进行DCT离 散余弦变换； 计算变换后图像的64个 像素的均值； 将64个像素灰度值依次与step4 中计算得到的均 值比较大小， 如果灰度值大于均 值， 则 记为1； 反 之， 则记为0； 生成64位由0、 1组成的哈希描述子 。 6.根据权利要求1所述的一种基于滑动窗口的SLAM局部实时重定位方法， 其特征在于， 所述动态维护一个固定大小的滑动窗口， 包括： 设置一个编号0～k ‑1的滑动窗口； 当滑动窗口中的帧数小于等于2时， 新帧直接进入； 当帧数大于2时， 需要判断新帧是否 为关键帧；权　利　要　求　书 1/2 页 2 CN 114821280 A 2当容量为k的滑动窗口已满， 最新帧对应滑动窗口的k ‑1号时， 需对第k ‑2号进行关键帧 判断： 如果k ‑2号不是关键帧， 则将k ‑2号对应帧所携带的视觉信息弹出， k ‑1号移入k ‑2的位 置； 如果k ‑2号是关键帧， 则将滑动窗口的最老帧在进行边缘化操作后弹出， 窗口中的1～ k‑ 1号顺次左移一 位； 从获取Laplacian算子计算得到的图像清晰度值， 作为每一帧携带的信息一起送入滑 动窗口。 7.根据权利要求1所述的一种基于滑动窗口的SLAM局部实时重定位方法， 其特征在于， 所述筛选图像的关键帧， 包括： 计算k‑2号对应图像帧上被跟踪 的特征点相对于k ‑3号对应图像上的特征点在二维图 像像素上的视差； 获取滑动窗口中图像清晰度值最大的数值S， 滑动窗口中k ‑2号对应的图像清晰度值s， 如果s/S大于一定阈值， 则认为是清晰的图像； 反 之， 则判定为模糊的图像； 在同时满足视差大于一定阈值以及清晰图像的判定基础上， 将滑窗中的k ‑2号判定为 关键帧。 8.根据权利要求1所述的一种基于滑动窗口的SLAM局部实时重定位方法， 其特征在于， 所述在现存的滑动窗口中选择与当前最 新帧最相似的一帧作为重 定位候选帧， 包括： 将第k‑1帧对应图像所携带的感知哈希算子和灰度直方图与滑动窗口中的0～k ‑3号进 行比较并计算相似性； 在滑动窗口的0～k ‑3号中选择相似性最高并且相似度大于一定阈值的一帧作为重定 位候选帧。 9.根据权利要求1所述的一种基于滑动窗口的SLAM局部实时重定位方法， 其特征在于， 所述将候选帧基于补充视 觉约束实现局部实时重 定位， 包括： 从重定位候选帧f0上所携带的特征点再次对k ‑1帧进行特征跟踪， 再进行基于基础 矩阵 的RANSAC验证剔除误匹配点； 通过补充的滑动窗口中关键帧的特征点与最新帧形成的2D ‑2D的约束关系， 构造已知 的地图点与最 新帧的3D ‑2D的视觉重投影约束关系。权　利　要　求　书 2/2 页 3 CN 114821280 A 3