(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210792899.X (22)申请日 2022.07.05 (71)申请人 中国人民解 放军战略支援 部队信息 工程大学 地址 450001 河南省郑州市高新区科 学大 道62号 (72)发明人 蓝朝桢　王龙号　施群山　周杨　 张衡　李鹏程　吕亮　胡校飞　 (74)专利代理 机构 郑州睿信知识产权代理有限 公司 41119 专利代理师 吴敏 (51)Int.Cl. G06V 20/13(2022.01) G06N 3/08(2006.01) G06V 10/74(2022.01)G06V 10/75(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种多源遥感影 像深度特 征融合匹配方法 (57)摘要 本发明属于图像特征匹配领域， 具体涉及一 种多源遥感影像深度特征融合匹配方法。 该方法 通过特征提取， 获取同时具备高层和低层信息的 精细融合特征， 又对高层特征进行特征变换， 提 高待匹配影像高层特征中匹配点之间的相似度， 使匹配结果更加可靠。 在后期特征匹配时， 先比 对高层特征进行粗匹配， 获取全局 匹配结果， 再 通过精细融合特征进行校正， 使得匹配结果兼顾 全局方面和精度方面的可靠性， 分辨率更高且定 位更精确。 特征变换前先对高层特征进行正弦编 码， 使特征之间有唯一对应关系， 避免稀疏纹理 区域特征之间相似度过高所导致错配； 进行粗匹 配时还通过滑动窗口适应性降低得分阈值， 增加 稀疏区域筛选出的匹配点个数， 进一步提高稀 疏 区域的匹配效果。 权利要求书3页 说明书15页 附图11页 CN 115240079 A 2022.10.25 CN 115240079 A 1.一种多源遥感影 像深度特 征融合匹配方法， 其特 征在于， 步骤如下： 1)构建匹配模型， 所述的匹配模型包括特征提取网络、 特征变换模块、 密集匹配模块和 检校优化模块； 2)将获取的待 匹配的遥感影像对输入到特征提取网络， 由特征提取网络对各个待 匹配 影像分别进行特征提取， 得到各个待匹配影像的高层特征以及同时具有高层精细定位信息 与低层全局信息的精细融合特 征； 3)将得到的待 匹配影像对的高层特征同时输入到特征变换模块， 通过融合自身影像的 邻域信息和待匹配影像的高层特征， 对每个待匹配影像进行特征变换融合， 获取待匹配影 像对中各待匹配 影像的具有相关性的高层融合特 征； 4)对得到的待 匹配影像对的高层融合特征上的所有特征向量进行密集匹配， 根据 特征 向量之间的相似度得到粗匹配结果； 5)将粗匹配结果映射至精细融合特征上对密集匹配进行检校优化， 得到精细匹配结 果。 2.根据权利要求1所述的多源遥感影像深度 特征融合匹配方法， 其特征在于， 所述特征 提取网络包括 三个下采样层和两个上采样层； 第一下采样层用于对输入的待匹配影像进行下采样， 获取待匹配影像原始维度1/2 的 高层特征图； 第二下采样层用于对输入的待匹配影像原始维度1/2的高层特征图进行下采 样， 获取待匹配影像原始维度1/4的高层特征图； 第三下采样层用于对输入的待匹配影像原 始维度1/4的高层特 征图进行 下采样， 获取待匹配 影像原始维度1/8的高层特 征图； 第一上采样层用于将输入的待 匹配影像原始维度1/8的高层特征图上采样为待 匹配影 像原始维度 1/4的低层特征图， 同时将原始维度1/4的高层特征图进行卷积处理， 然后将所 述原始维度 1/4的低层特征图和原始维度 1/4的高层特征图融合， 得到原始维度 1/4的融合 特征图； 第二上采样层用于将 输入的原始维度1/4的融合特征图上采样为原始维度1/2的低 层特征图， 同时将原始维度1/2的高层特征图进行卷积处理， 然后将所述原始维度1/2的低 层特征图和原 始维度1/2的高层特 征图融合， 得到原 始维度1/2的精细融合特 征图； 通过所述三个下采样层和两个上采样层， 输出各待匹配影像原始维度1/8的高层特征 图以及原 始维度1/2的精细融合特 征图， 用于融合特 征匹配。 3.根据权利要求1所述的多源遥感影像深度 特征融合匹配方法， 其特征在于， 所述特征 变换模块的融合特 征匹配具体步骤如下： ①对待匹配影像的原始维度1/8的高层特征图添加位置信息， 使特征与其在原始影像 上的位置唯一对应； ②将待匹配影像带有位置信息的高层特征图展平为一维向量， 均输入至特征变换模 块， 通过关注层进行多次交织处 理后， 输出 各待匹配 影像具有相关性的高层融合特 征； 所述关注层包括自我关注层、 交叉关注层和注意力层； 所述自我关注层用于将输入的 待匹配影像对中的基准影像的带有位置信息的特征来融合自身局部邻域信息， 生成新的特 征图； 所述交叉关注层将输入带有位置信息的基准影像特征与待匹配影像对中的另一待匹 配影像的特征相融合； 所述注意力 层通过比对输入的查询向量和每个关键特征之 间的相似 度， 选择相似度高的向量的特征信息， 将选择结果进行归一化处理后与各待匹配影像带有 位置信息的高层特征图展平的一维向量相 叠加， 得到融合位置信息、 本身邻域信息以及待权　利　要　求　书 1/3 页 2 CN 115240079 A 2匹配影像信息的融合特征； 所述多次交织处理指的是将得到的融合特征输入关注层进 行再 次交织处 理， 重复上述过程， 最终输出 各待匹配 影像的高层融合特 征。 4.根据权利要求2所述的多源遥感影像深度 特征融合匹配方法， 其特征在于， 所述三个 下采样层均采用卷积块结构， 将输入特征图与输出特征图进行元素 的叠加， 叠加后得到的 特征图作为下采样结果。 5.根据权利要求3所述的多源遥感影像深度 特征融合匹配方法， 其特征在于， 所述添加 位置信息为对每 个像素特征添加正弦编码。 6.根据权利要求3所述的多源遥感影像深度 特征融合匹配方法， 其特征在于， 所述粗匹 配通过高层融合特征向量之 间的得分矩阵来表示所有 特征向量之 间的相似度， 若相似度大 于得分阈值， 将其视为 正确的匹配； 所述向量之间的得分矩阵S由下式确定， 其中＜， ＞表示内积； 其中， FA_tr、 FB_tr为待匹配影像A、 B的高层融合特征， A ×B为待匹配影像A、 B中像素的所 有可能的对应关系； 对所有可能的匹配方式均计算得分矩阵 通过最大化总得分∑i， jSi， jPi， j来 获得最佳分配矩阵P； 所述最佳分配矩阵P即可表示待匹配影像A中高层融合特征向量与待 匹配影像B中高层融合特 征向量之间的最佳对应关系。 7.根据权利要求6所述的多源遥感影像深度 特征融合匹配方法， 其特征在于， 所述通过 得分矩阵进行粗匹配采用滑动窗口自适应得分阈值检测算法， 具体如下： a)设初始得分阈值为θ， 设定滑动窗口的面积、 水平滑动步长、 垂直滑动步长， 对所述高 层融合特 征向量的得分进行滑动检测； b)若当前窗口内所有高层融合特征向量的得分s＜θ， 则计算该窗口内的匹配稀疏节点 内自适应阈值avgθ； 遍历窗口内高层融合特征向量， 若当前窗口存在向量的得分s＞avgθ， 将该向量加入粗匹配点 集， 窗口继续滑动； c)若当前窗口存在特 征向量的得分 s≥θ， 则窗口继续滑动； d)重复上述步骤直至窗口滑动遍历待 匹配影像具有相关性的高层融合特征， 输出粗匹 配点集； 其中， 所述滑动窗口 的面积、 水平 滑动步长、 垂直滑动步长的计算方法如下 ws为滑动窗口 的面积， hl 为水平滑动步长， vl 为垂直滑动步长； 所述匹配稀疏节点内自适应阈值avgθ 计算公式如下 式中， n为滑动窗口内的特 征向量个数， si为滑动窗口内各个特 征向量的匹配得分。权　利　要　求　书 2/3 页 3 CN 115240079 A 3