(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221094793 0.2 (22)申请日 2022.08.09 (71)申请人 浙江万里 学院 地址 315100 浙江省宁波市 鄞州区钱湖南 路8号 (72)发明人 刘金霞　张云剑　蒋成龙　 (74)专利代理 机构 宁波甬致专利代理有限公司 33228 专利代理师 黄江 (51)Int.Cl. G06V 10/25(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于深度神经网络的关键点检测方法 (57)摘要 本发明提供了一种基于深度神经网络的关 键点检测方法， 包括： 步骤S1， 对至少一输入图像 进行特征提取处理得到包含多个网格的一特征 图； 步骤S2， 针对特征图上的每个网格， 统计网格 内每个像素点的激活值并将激活值最大的像素 点作为候选点； 步骤S3， 对各候选点对应的激活 值由大至小进行排序， 取排序靠前的预设数量的 各激活值所对应的各候选点作为关键点； 步骤 S4， 针对每个关键点， 于特征图内裁剪得到包含 关键点的一图像块； 步骤S5， 针对每个图像块， 对 图像块依次进行特征提取处理、 通道整合处理和 编码处理得到对应的一描述符。 有益效果是本发 明能够根据输入图像处理得到统一的描述符， 不 受输入图像 类别的影响， 具有广泛的应用前 景。 权利要求书2页 说明书9页 附图4页 CN 115546469 A 2022.12.30 CN 115546469 A 1.一种基于深度神经网络的关键点检测方法， 其特 征在于， 包括以下步骤： 步骤S1， 对至少一输入图像进行 特征提取处 理得到包 含多个网格的一特 征图； 步骤S2， 针对所述特征图上的每个所述网格， 统计所述网格内每个像素点的激活值并 将激活值 最大的所述像素点作为 候选点； 步骤S3， 对各所述候选点对应的所述激活值由大至小进行排序， 取排序靠前的预设数 量的各所述激活值所对应的各 所述候选点作为关键点； 步骤S4， 针对每 个所述关键点， 于所述特 征图内裁 剪得到包 含所述关键点的一图像块； 步骤S5， 针对每个所述图像块， 对所述图像块依次进行特征提取处理、 通道整合处理和 编码处理得到对应的一描述符。 2.根据权利要求1所述的关键点检测方法， 其特 征在于， 执 行所述步骤S5之后还 包括： 将各所述关键点和各所述关键点对应的所述描述符输入至预先训练得到的一关键点 筛选模型内筛 选得到准确的所述关键点和所述关键点对应的所述描述符。 3.根据权利要求1所述的关键点检测方法， 其特征在于， 执行所述步骤S1之前还包括一 模型训练过程， 所述模型训练过程包括： 步骤A1， 获取至少一历史图像及所述历史图像对应的多个历史关键点和各所述历史关 键点对应的历史描述符； 步骤A2， 针对任意两个所述历史关键点， 判断两个所述历史关键点之间的距离是否大 于一预设阈值： 若是， 则将两个所述历史关键点标注为正对， 并将两个所述历史关键点对应的所述历 史描述符标注为 正对组， 随后转向步骤A3； 若否， 则将两个所述历史关键点标注为负对， 并将两个所述历史关键点对应的所述历 史描述符标注为负对组， 随后转向所述 步骤A3； 步骤A3， 针对每一个所述正对组和所述负对组， 根据所述正对组内的各所述历史描述 符、 所述负对组内的各所述历史描述符、 所述正对组对应的标注为正对的各所述历史关键 点以及所述负对组对应的标注为负对的各所述历史关键点处理得到对应的一对比损失， 并 根据所述 正对组对应的标注为 正对的各 所述历史关键点处 理得到对应的一得分损失； 步骤A4， 根据 所述对比损失和所述得分损失筛选得到准确的各所述历史关键点和各所 述历史关键点对应的所述历史描述符， 将所述历史图像作为输入， 将准确的各所述历史关 键点和各所述历史关键点对应的所述历史描述符作为输出， 训练得到所述关键点筛选模 型。 4.根据权利要求3所述的关键点检测方法， 其特 征在于， 所述 步骤A4包括： 步骤A41， 针对每一个标注为正对的所述历史关键点， 根据 所述得分损失和所述对比损 失判断所述历史关键点是否准确： 若是， 则保留所述历史关键点和所述历史关键点对应的所述历史描述符， 随后转向步 骤A42； 若否， 则筛去所述历史关键点和所述历史关键点对应的所述历史描述符， 随后转向步 骤A42； 步骤A42， 针对每一个标注为负对的所述历史关键点， 根据 所述得分损失和所述对比损 失判断所述历史关键点是否准确：权　利　要　求　书 1/2 页 2 CN 115546469 A 2若是， 则保留所述历史关键点和所述历史关键点对应的所述历史描述符， 随后转向步 骤A43； 若否， 则筛去所述历史关键点和所述历史关键点对应的所述历史描述符， 随后转向步 骤A43； 步骤A43， 将保留下来的各所述历史关键点和各所述历史描述符作为准确的各所述历 史关键点和各所述历史描述符， 并将所述历史图像作为输入， 将准确的各所述历史关键点 和各所述历史关键点对应的所述历史描述符作为输出， 训练得到所述关键点筛 选模型。 5.根据权利要求1所述的关键点检测方法， 其特 征在于， 所述 步骤S1包括： 步骤S11， 对所述输入图像进行两次下采样得到不同分辨 率的两个第一图像； 步骤S12， 针对每一个所述第一图像， 对所述第 一图像进行特征提取处理得到不同分辨 率的三个第二图像， 随后对三个所述第二图像中分辨率较低的两个所述第二图像分别进 行 上采样得到相同分辨率的三个所述第二图像， 以及 对三个所述第二图像级进 行通道连接得 到一第三图像； 步骤S13， 将各 所述第三图像进行通道整合得到包 含多个网格的所述特 征图。 6.根据权利要求5所述的关键点检测方法， 其特 征在于， 所述 步骤S1中还 包括： 判断所述输入图像是否为全景图像： 若否， 则对所述输入图像进行两次下采样得到不同分辨 率的两个所述第一图像； 若是， 则将所述输入图像投影至球面得到对应的第一球面图像进行下采样， 并将下采 样后的所述第一球面图像投影至平面得到其中一所述第一图像， 随后 将其中一所述第一图 像投影至球面得到对应的第二球面图像进 行下采样， 并将下采样后的所述第二球面图像投 影至平面得到另一所述第一图像。 7.根据权利要求1所述的关键点检测方法， 其特征在于， 所述步骤S4中， 以所述关键点 为中心， 于所述特 征图内裁 剪得到所述关键点预设范围内的图像作为所述图像块。 8.根据权利要求1所述的关键点检测方法， 其特 征在于， 所述 步骤S4包括： 判断所述关键点是否是全景图像的关键点： 若否， 则于所述特 征图内裁 剪得到包 含所述关键点的所述图像块； 若是， 则将所述特征图投影至视角平面上得到对应的平面图像， 并于所述平面图像内 裁剪得到包 含所述关键点的所述图像块。权　利　要　求　书 2/2 页 3 CN 115546469 A 3