(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210743887.8 (22)申请日 2022.06.27 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区南 山街道崇文 路2号 (72)发明人 胡章芳　王文豪　朱奎林　 (74)专利代理 机构 重庆市恒信知识产权代理有 限公司 5 0102 专利代理师 刘小红 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) (54)发明名称 融合注意力机制的视觉同步定位与地图构 建闭环检测方法 (57)摘要 本发明请求保护一种融合注意力机制的视 觉同步定位与地图构建闭环检测方法， 将经典的 残差网络中表现较好的ResNet50网络做为我们 方法的主干网络， 在此基础上， 为ResNet50网络 层中的各层添加一个注意力模块； 首先添加一个 通道注意力层， 为了获取丰富的尺度信息， 我们 采用三种尺寸的卷积核， 包括7 ×7、 5×5、 3×3。 之后经过分组卷积模块和全局平均池化模块， 经 过全连接层后得到通道注意力图。 之后经过空间 注意力模块， 从而获得最显著的区域。 同时经过 特征融合模块， 将深层和浅层的特征进行融合， 获得丰富的图像表示。 最后用全 连接层将特征图 转化为1000维的特征向量， 进行相似度计算。 本 发明在准确率 ‑召回率的性能上是具有显著优势 的。 权利要求书2页 说明书5页 附图2页 CN 115239974 A 2022.10.25 CN 115239974 A 1.一种融合注意力机制的视觉同步定位与地图构建闭环检测方法， 其特征在于， 包括 以下步骤： S1、 将图像输入主干网络中， 输入图像格式为224 ×224大小的RGB彩色图像， 将 ResNet50网络作为主干网络， 在ResNet50网络各层之后增加一个通道注 意力层和一个空间 注意力层； 在所述通道注意力 层中， 添加了三种不同大小尺 寸的卷积核， 获取不同的尺度信 息； 空间注意力层用于重新分配同一通道特征图的权重， 更加专注于突出显示最具有辨别 力的区域， 抑制不相关的特 征， 以便关注哪里的特 征是有意义的； S2、 之后经过分组卷积模块和全局平均池化模块来处理不同尺寸的特征， 分组卷积模 块用于减少卷积过程的参数量， 全局平均池化模块强制 了特征图和类别 之间的对应关系， 更加适合卷积结构， 同时网络参数更少， 避免了过拟合问题， 然后通过全连接层得到最 终的 通道注意力图； S3、 经过通道注意力层后的输出特征图作为空间注意力层的输入特征图， 在所述空间 注意力层中， 特征图经过最大池化层和平均池化层， 然后进行拼接， 最后经过卷积层和 sigmoid函数得到空间特 征图； S4、 最后经过特征融合模块， 将距离输入比较近的浅层网络提取的特征作为浅层特征， 将距离输出比较近的深层网络提取的特征作为深层特征， 将深层特征和浅层特征进行融 合， 获得丰富的图像表示； 其中深层特征之后接入一个通道调整模块， 以便于和浅层特征进 行融合， 并采用ReLU激活函数对输出 结果进行激活； S5、 最后用全连接层将特征图转化为1000维的特征向量， 进行相似度计算， 通过网络模 型提取的当前图像特征和历史图像特征进 行相似度计算， 判断相似度是否大于等于 设定的 阈值， 如果是， 则判定为闭环， 如果不是， 则从历史图像序列中选取下一张图像重新相似度 计算， 结束循环的标志是找到闭环的位置或者遍历完历史图像序列。 2.根据权利要求1所述的一种融合注意力 机制的视觉同步定位与地图构建闭环检测方 法， 其特征在于， 所述 步骤S1三种不同大小尺寸的卷积核大小分别为7 ×7、 5×5、 3×3； 通道注意力是关注什么样的特征是有意义的； 将ResNet50的中间特征图作为输入， 首 先经过两次分组卷积模块全局平均池化模块得到每个通道的特征图， 为了汇聚总的特征将 来自同一通道的特征图拼接在一起得到N*C ×1×1的特征图， 然后传入全连接层得到C ×1 ×1的权重向量， 将输入特征图与权重向量进行逐通道相乘得到带有权重的通道注意力图。 空间注意力层将通道注意力图作为输入， 首先经过平均池化和最大池化得到H ×W×1的特 征图， 然后拼接得到一个二维特征图H*W*2,之后经过两个卷积层和一个sigmoid函数得到 最终的空间注意力图。 3.根据权利要求1所述的一种融合注意力 机制的视觉同步定位与地图构建闭环检测方 法， 其特征在于， 所述 步骤S2分组卷积模块的计算公式为： 其中， 表示步长为1， 尺寸为3 ×3×2的组卷积； MaxPool(F)、 Av gPool(F)]分别表 示将特征图进 行最大池化和平均池化操作， fgcm(F)表示经过分组卷积模块后得到的最终特 征图。 空间注意力模块的计算公式为：权　利　要　求　书 1/2 页 2 CN 115239974 A 2其中， 和 分别表示尺寸为1 ×1×1、 3×3×2， 步长为1的卷积。 分别 表示经过最大池化和平均池化后得到 两个二维特 征图。 所述全局平均池化模块由全局平均池化层和sigmo id函数组成。 4.根据权利要求3所述的一种融合注意力 机制的视觉同步定位与地图构建闭环检测方 法， 其特征在于， 所述步骤S3中， 在空间注意力模块中， 输入特征图经过最大池化和平均池 化后， 特征图尺 寸变为H×W×1， 将得到的特征图拼接后变为H ×W×2， 分别经过步长为 1， 尺 寸为1×1×1、 3×3×2的卷积， 得到尺寸为H ×W×1的特征图。 H、 W分别表 示特征图的高度和 宽度。 5.根据权利要求3所述的一种融合注意力 机制的视觉同步定位与地图构建闭环检测方 法， 其特征在于， 所述 步骤S4深层特 征之后接入一个通道调整模块， 通道调整模块是由最大池化和 1×1卷积层构成， 特征图的尺寸由最大池化层改变， 特 征图的通道数由1 ×1卷积层改变。 所述采用ReLU激活函数对输出 结果进行激活为 f(x)＝max(0,x) 其中， x是输入， f(x)是 经过ReLU激活函数之后的输出。 6.根据权利要求5所述的一种融合注意力 机制的视觉同步定位与地图构建闭环检测方 法， 其特征在于， 所述S5、 最后用全连接层将特征图转化为1000维的特征向量， 进行相似度 计算， 通过网络模型提取的当前图像特征和历史图像特征进行相似度计算， 其公式为： 其中u和v分别表示从网络模型中提 取的两幅图像的两个特征向量， θ (u,v)是它们之间的角度。 判断相似度是否大于等于 设定的阈值， 如果是， 则判定为闭环， 如 果不是， 则从历史图像序列中选取下一张图像重新相似度计算， 结束循环的标志是找到闭 环的位置或者遍历完历史图像序列。权　利　要　求　书 2/2 页 3 CN 115239974 A 3