(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211110416.X (22)申请日 2022.09.13 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 乔干　姜显扬　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 徐超 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 10/44(2022.01) G06V 10/50(2022.01) G06V 10/52(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于SIFT融合ResNet50的图像匹配方 法 (57)摘要 本发明涉及一种基于SIFT融合ResNet50的 图像匹配方法， 属于生数字图像处理领域， 该方 法采用SIFT算法对参考图像与待匹配图像构建 高斯金差分字塔并确定尺度空间； 在构建的尺度 空间中定位 极值点作为关键点； 计算各关键点的 主方向和梯度值确定SIFT特征点； 采用深度残差 网络ResNet 50对SIFT特征点进行特征描述， 获取 特征描述子； 计算参考图像与待匹配图像的特征 描述子的欧氏距离作为特征描述子的相似度并 判定参考图像与待匹配图像中的区域是否匹配。 本发明采用深度残差网络ResNet50改善网络变 深准确率拟合性能下降的问题， 避免了SIFT计算 邻域梯度存在的特征描述不稳定的缺点， 解决了 特征描述子效率较低。 权利要求书2页 说明书4页 附图1页 CN 115471682 A 2022.12.13 CN 115471682 A 1.一种基于SIFT融合ResNet5 0的图像匹配方法， 其特 征在于： 其包括以下步骤： S1.输入显示区域的两幅图像作为 参考图像和待匹配图像； S2.采用SIFT算法对参考 图像与待匹配图像构建高斯金差分字塔， 基于高斯金差分字 塔确定尺度空间； S3.在构建的尺度空间中定位极值 点， 将极值 点作为关键点； S4.计算各关键点的主方向和梯度值， 根据主方向和梯度值确定SIFT特 征点； S5.采用深度残差网络ResNet5 0对SIFT特 征点进行 特征描述， 获取 特征描述子； S6.计算参考图像与待匹配 图像的特征描述子的欧式距离作为特征描述子的相似度， 基于相似度判定参 考图像与待匹配图像中的区域是否属于同一区域。 2.根据权利 要求1所述的基于SIFT融合ResNet50的图像匹配方法， 其特征在于： 所述的 步骤S1中输入两幅图像后， 对两幅图像进行去噪处 理。 3.根据权利 要求1所述的基于SIFT融合ResNet50的图像匹配方法， 其特征在于： 所述的 步骤S2中建立图像多尺度空间的具体步骤为： 对于参考图像和待匹配图像， 分别通过 卷积运算获得尺度空间， 计算公式为： L(x,y, σ )＝G(x,y, σ )*I(x,y)    (1) 公式中， L(x,y, σ )为尺度空间， x， y为空间坐标， σ 为高斯函数的尺度因子， I(x,y)为二 维图像， G(x,y, σ )为高斯核函数； 高斯核函数G(x,y, σ )的表达式为： 高斯差分金字塔由相邻的高斯金字塔相减可 得， 高斯差分金字塔的表达式为： D(x,y, σ )＝[G(x,y,kσ ) ‑G(x,y, σ )]*I(x,y)    (3) 公式中， D(x,y, σ )为高斯差分金字塔， G(x,y,kσ )和G(x,y, σ )表示两个相邻的高斯金字 塔， k为相邻两个尺度因子的比值； 通过改变尺度因子σ 的数值构建多尺度的图像表现形式， 建立图像多尺度空间。 4.根据权利 要求3所述的基于SIFT融合ResNet50的图像匹配方法， 其特征在于： 所述的 步骤S3在图像多尺度空间中定位极值 点， 将极值 点作为关键点的具体步骤为： S3.1.将高斯金字塔内的每一个像素点与平面相邻的8个点、 上下层2*9个像素点进行 对比， 取这些点中的极大值或极小值的点作为局部的极值 点； S3.2.去除对比度低和边 缘不稳定的极值 点， 得到关键点。 5.根据权利 要求1所述的基于SIFT融合ResNet50的图像匹配方法， 其特征在于： 所述的 步骤S4计算各关键点的主方向和梯度值， 根据主 方向和梯度值确定SIFT 特征点的具体步骤 为： S4.1.计算各关键点的方向和梯度值， 计算公式为： 公式中， m(x,y)为梯度值， θ(x,y)为关键点的方向； S4.2.统计关键点邻域的像素， 建立统计直方图， 以0～360度 为界， 将直方图分为8个方权　利　要　求　书 1/2 页 2 CN 115471682 A 2向， 每组方向相差45度， 直方图横纵坐标分别表示梯度方向与同梯度方向关键点邻域像素 的数量， 令直方图的峰值 为主方向， 将同时具 备位置、 尺度、 方向的点定义 为SIFT特 征点。 6.根据权利 要求1所述的基于SIFT融合ResNet50的图像匹配方法， 其特征在于： 所述的 步骤S5中采用深度残差网络ResNet50对SIFT特征点进行特征描述， 获取特征描述子的具体 方式为： 取参考图像和待匹配图像中的SIFT特征点为 终点， 从四周截取灰度图像块， 再通过 降采样输入到ResNet5 0网络中进行 学习和特 征描述， 获取 特征描述子 。 7.根据权利 要求1所述的基于SIFT融合ResNet50的图像匹配方法， 其特征在于： 所述的 步骤S6中参 考图像与待匹配图像的特 征描述子的欧式距离的计算公式为： 公式中， f1为原图像的特征描述子， f2为待匹配图像的特征描述子， 128表示128维度特 征描述子， i表示第i个特 征描述子， i的范围为0～128。 8.根据权利 要求7所述的基于SIFT融合ResNet50的图像匹配方法， 其特征在于： 所述的 步骤S6中计算参考图像的每个特征描述子和待匹配图像的每个特征描述子的欧拉距离， 按 照公式(7)的匹配条件进行匹配 其中， di为参考图像的每个特征描述子与待匹配图像的每个特征描述子的欧式距离， i 表示第i个特 征描述子， i的范围为0～128， e为匹配阈值， 取0.6 。权　利　要　求　书 2/2 页 3 CN 115471682 A 3