(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210985537.2 (22)申请日 2022.08.17 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 杨万扣　吴乐天　王强　王欢　 赵立业　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 叶倩 (51)Int.Cl. G06V 20/10(2022.01) G06T 9/00(2006.01) G06V 10/44(2022.01) G06V 10/774(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于关键点表示的红外弱小目标检测 方法 (57)摘要 本发明公开了一种基于关键点表示的红外 弱小目标检测方法， 首先构建基于编码器 ‑解码 器结构的检测网络主体框架， 基于VGG16的特征 提取网络； 根据目标中心点的位置坐标， 选择合 适的高斯半径对中心点坐标按照高斯分布计算 关键点热力图， 把训练图像的标签图转化为相应 的关键点热力图； 对训练图像进行预处理后送入 检测网络， 进行网络训练， 计算检测 网络的损失 函数， 并进行参数更新， 反复训练直至训练收敛， 获得最终的网络模型； 将测试图像送入检测网络 中， 输出热力图结果， 并选择合适的阈值获得热 力图的峰值区域， 输出最终检测结果。 本方法直 接优化并定位目标中心点坐标， 实现了红外弱小 目标级别端到端的检测， 有效提高红外弱小目标 的检测速度与检测精度。 权利要求书1页 说明书5页 附图5页 CN 115311570 A 2022.11.08 CN 115311570 A 1.一种基于关键点表示的红外弱小目标检测算法， 其特 征在于， 包括如下步骤： S1， 构建检测网络： 构 建基于编码器 ‑解码器结构的检测网络主体框架， 基于VGG16的特 征提取网络； S2， 标签图转换： 对训练图像的二值化标签图进行处理， 根据目标中心点的位置坐标， 对中心点坐标按照高斯半径r的高斯分布计算关键点热力图， 把训练图像的标签图转化为 相应的关键点热力图； S3， 训练图像输入： 针对训练图像， 对训练图像进行预处理后送入检测网络， 所述预处 理步骤至少包括将训练图像调整尺寸到同一大小， 并转换为单通道灰度图像； S4， 网络训练： 根据步骤S3的输入， 计算检测网络的损失函数， 并进行参数更新， 所述检 测网络的损失函数Smo othL1Loss如下式所示： loss＝SmoothL1Loss(S,G) 其中， S和G 分别代表检测网络的输出 结果和热力图真值； S5， 网络模型获得： 重 复步骤S3和 S4， 直至训练收敛， 保存网络结构及参数， 获得最终的 网络模型； S6， 测试执行： 将测试图像送入到经过上述步骤已经训练好的检测网络 中， 输出热力图 结果， 并根据阈值T获得 热力图的峰值区域， 输出最终检测结果。 2.如权利要求1所述的一种基于关键点表示的红外弱小目标检测算法， 其特征在于， 所 述步骤S1的检测网络主体至少包括特征融合模块和金字塔池化模块， 所述特征融合模块 中， 输入编码器中低中层的特征图与解码器中相应层级的特征图， 使低层级较精确的位置 信息与高层级较高的语义信息相融合； 所述金字塔池化模块中， 在池化过程中将特征图池 化到不同大小， 获取不同尺度下的全局信息 。 3.如权利要求2所述的一种基于关键点表示的红外弱小目标检测算法， 其特征在于： 所 述特征融合模块的具体工作步骤为： 使用不同尺寸的池化层对低层级的信息进行提取与融 合， 获得低层级响应值最高的多尺度显著信息， 再用提取后的信息对具有高语义信息的高 层级进行注意力加权； 所述金字塔池化模块的具体工作步骤为： 采用4种不 同的max‑pooling尺寸， 将特征 图 分别池化到1 ×1， 2×2， 3×3， 6×6四个不同的尺寸大小， 再通过1 ×1卷积来降低特征图通 道数并上采样到原特 征图尺寸， 最后将所有的特 征图与原特 征图按通道连接 。 4.如权利要求1或3所述的一种基于关键点表示的红外弱小目标检测算法， 其特征在 于， 所述步骤S2中的高斯半径r取值为5； 所述步骤S3中预处理后的图像尺寸统一为128* 128。 5.如权利要求4所述的一种基于关键点表示的红外弱小目标检测算法， 其特征在于， 所 述步骤S4损失函数计算完成后， 利用随机梯度下降法， 反向传播误差， 更新网络参数， 完成 一次训练。 6.如权利要求5所述的一种基于关键点表示的红外弱小目标检测算法， 其特征在于， 所 述步骤S6中 阈值T取值 为0.8。权　利　要　求　书 1/1 页 2 CN 115311570 A 2一种基于关键点表示的红外弱小目标 检测方法 技术领域 [0001]本发明属于图像处理与模式识别技术领域， 尤其涉及信息安全的访问控制技术， 主要涉及了一种基于关键点表示的红外弱小目标检测方法。 背景技术 [0002]军事安全在国家安全中具有非常重要的地位， 对天空和陆地中的飞机、 坦克等目 标的全天候检测跟踪 具有很强的现实意义。 红外图像中的弱小目标检测技术作为一种新型 技术， 由于红外成像只对温度和材料特性敏感， 弥补了可见光受光强等环境因素影响较大 等缺点， 成为了传统可见光检测系统的有效补充， 可以应用到海上监视、 预警系统、 精确制 导等诸多军事领域。 但是由于红外图像自身的特性， 红外弱小目标的固有特点有： (1)目标 尺寸小： 由于成像距离远， 目标尺 寸一般在3 ×3～9×9像素大小之间； (2)目标信号弱： 图像 的背景信息嘈杂， 目标的信噪比较低， 目标容易混入背 景中； (3)目标结构性特征不明显： 目 标不具备明显的纹理特征， 目标 的形状随目标不同而有很大差异。 因而传统的红外弱小目 标检测方法鲁棒 性不高、 泛化能力较弱。 [0003]现有技术中， 已经有不少学者开始研究有关红外弱小的目标检测， 相关工作 有： 赵 坤提出的一种利用灰度差异的空域滤波器方法(赵坤,孔祥 维.小目标 红外图像背 景噪声的 抑制及方法讨论[J].光学与光电技术,2004(02):9 ‑12.)， 侯晓迪提出的一种基于频谱残差 的检测方法(HOU  X,ZHANG L.Saliency  detection:A  spectral  residual  approach[C]// 2007IEEE  Conference  on com‑puter vision and pattern recognition.Ieee,2007:1 ‑ 8.)等等。 随着深度学习在目标检测、 语义分割等领域的成功， 研究者尝试将深度学习的方 法应用于红外弱小目标检测领域。 相关工作有： Li等人提出的使用稠 密连接的检测网络(LI   B,XIAO C,WANG L,et al.Dense  Nested Atten‑tion Network for Infrared  Small  Target Detection[J].arXiv  preprint  arXiv:2106.00487,2021.)， Liu等人提出的基于 Transformer的红外弱小目标检测网络(LIU  F,GAO C,CHEN F,et al.Infrared  Small‑Dim  Target Detection  with Transformer  under Complex Backgrounds[J].arXiv  preprint   arXiv:2109.14379,2021.)等等， 但这些网络往往无法满足轻量性与实时性要求， 同时， 基 于语义分割的深度学习检测算法容 易出现“过分割”和“欠分割”现象， 从而影响检测结果。 发明内容 [0004]本发明正是针对现有技术中的问题， 提供一种基于关键点表示的红外弱小目标检 测方法， 首先构建基于编码器 ‑解码器结构的检测网络主体框架， 基于VGG16的特征提取网 络； 再根据目标中心点的位置坐标， 选择合适的高斯半径对中心点坐标按照高斯分布计算 关键点热力图， 把训练图像的标签图转化为相 应的关键点热力图； 对训练图像进行预处理 后送入检测网络， 进行网络训练， 计算检测网络的损失函数， 并进行参数更新， 反复训练直 至训练收敛， 保存网络结构及参数， 获得最 终的网络模型； 将测试图像送入到已经训练好的 检测网络中， 输出热力图结果， 并选择合适的阈值获得热力图的峰值区域， 输出最 终检测结说　明　书 1/5 页 3 CN 115311570 A 3