(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211359429.0 (22)申请日 2022.11.02 (71)申请人 中国民航大 学 地址 300300 天津市东 丽区津北公路2898 号 (72)发明人 屈景怡　刘闪亮　李云龙　吴仁彪　 (74)专利代理 机构 天津盈佳知识产权代理事务 所(特殊普通 合伙) 12224 专利代理师 孙宝芸 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种夜间机场净空域红外小目标的检测方 法、 系统及应用 (57)摘要 本发明属于图像识别技术领域， 公开了一种 夜间机场净空域红外小目标的检测方法、 系统及 应用。 该方法包括： 设定异构并行网络模型的初 始参数， 将训练集图像输入设定异构并行网络模 型进行训练， 得到基于深度学习的红外小目标检 测模型； 将待检测的红外小目标图像输入到红外 小目标检测模 型， 经过异构并行主干网的红外小 目标图像进行特征提取， 并通过像素聚合网络对 上述特征图进行融合， 得到多层包含目标信息的 特征图； 接着通过预测结构处理包含目标信息的 特征图， 分别获得目标的类别和位置信息， 并生 成每个目标对应的目标框， 从而在图像中直接显 示预测目标的类型及位置信息。 本发 明易于部署 在硬件设备； 模型操作简单， 易训练。 权利要求书3页 说明书14页 附图8页 CN 115410012 A 2022.11.29 CN 115410012 A 1.一种夜间机场净空域红外小目标的检测方法， 其特 征在于， 该 方法包括以下步骤： S1， 设定异构并行网络模型的初始参数， 将红外小目标数据库中的训练集图像输入设 定参数后的异构并行网络模型进行训练， 得到深度学习的红外小目标检测模型； S2， 将待检测的红外小目标图像输入到红外小目标检测模型， 对异构并行主干网红外 小目标图像进 行特征提取， 并拼接三个不同通道的特征图， 所述三个不同通道包括： 相似度 目标增强模块通道、 一般特征提取结构通道以及基于无参简单的注意力机制的主干网结构 通道； S3， 经过像素聚合网络对得到的部分多层特征图进行特征拼接， 继而得到多层包含不 同尺寸目标信息的可 预测目标的特 征图； S4， 通过预测结构判别目标的类别和位置， 获得每个红外小目标的置信度， 并生成每个 目标对应的目标 预测框， 预测获取目标类型及位置信息； S5： 使用非极大值抑制方法， 将得到的多个目标预测框中由IOU公式计算得到得分低的 目标框删除， 得到目标框， 并将目标的类别及位置信息保存并显示。 2.根据权利要求1所述的夜间机场净空域红外小目标的检测方法， 其特征在于， 步骤S1 中， 所述异构并行网络模 型基于基础的Focus模块、 C3模块和SPP模块搭建VGG形式的异构并 行主干网， 结合像素聚合网络生成多层融合后的特征图， 并根据预测网络预测目标 的类别 和位置； 根据L1损失函数将回归到原图的位置信息进行修正， 得到目标最终的分类及精确 位置信息； 目标预测框损失函数 计算公式如式 （1） 所示： （1） 式中 表示将某一目标位置映射到原图后回归正确的概 率， 为影响范围因子； 其中， 异构并行网络模型的初始参数包括： 网络层数、 各层神经 元的权值及偏置值。 3.根据权利要求2所述的夜间机场净空域红外小目标的检测方法， 其特征在于， 所述异 构并行网络模型 的异构并行主干网络以相似度目标增强模块通道得到的特征图和 一般特 征提取结构、 基于无参简单 的注意力机制的主干网结构获得的特征图进行拼接操作， 增强 卷积操作过程中特 征图目标信息的占比和重要程度。 4.根据权利要求1所述的夜间机场净空域红外小目标的检测方法， 其特征在于， 步骤S5 中， 所述IOU公式计算的目标框得分定义为两个框的交叉和联合之间的比率， IOU的计算方 式如下公式 （2） 所示： （2） 其中， A， B分别表示两个框， 表示两个框的并集区域， 表示两个框的交集 区域。 5.根据权利要求3所述的夜间机场净空域红外小目标的检测方法， 其特征在于， 所述相 似度目标增强模块首先将特征图H ×W划分成 个2×2的小块 ， 并以其中一个小块为权　利　要　求　书 1/3 页 2 CN 115410012 A 2中心往外延申至4 ×4的大块， 同样得到 个大块 ， 并计算每一个小块与对应大块之 间的Wasserstein距离； 其 Wasserstein距离计算方式如公式 （3） 所示： （3） 近似的将两个矩形块之间的距离 定义为： （4） 并简化为： （5） 其中 和 分别是 和 区域中特征点的均值和方差， Wasserstein距离用 来衡量两个分布之间的距离， 将这个距离作为两个分布的相似度， 计算中心块与周围域的 距离为计算 中心块与周围域的相似度； 值越大， 表示小块与大块之间 的相似度越高， 小 块是背景的概率越大， 值越小， 表示小块与大块之间 的相似性越低， 小块是目标的可 能 性越大； 逐个块计算， 最终得到一个 的相似度矩阵W_soe； 输入到相似度目标增强模块的特征图为H ×W， 按照2×2的小块划分， 并获得以每个2 × 2小块为中心向外辐射的一一对应的4 ×4的大块， 根据 公式 （5） 以2 ×2小块为单位， 按照步 长为1滑动， 计算得到 的相似度矩阵W_soe。 6.根据权利要求3所述的夜间机场净空域红外小目标的检测方法， 其特征在于， 所述增 强卷积操作过程中特 征图目标信息的占比和重要程度包括： 输入尺寸为H ×W×C的特征图F经过取设定小块的 ， 组成相似度矩阵W_ soe， 接着， 取W_soe＇ =1/W_soe， 称之为Wasserstein相似度， 得到一个与目标成正相关的相 似度矩阵W_soe＇ ， Was serstein相似度矩阵； 在相似度矩阵W＇ 基础上， 使用Sigmoid函数归一化并激活得到矩阵W， 结合原输入特征 图， 使得特征图目标的特征值基本不变， 获得包含目标信息权重的新的特征图F＇ ， 增强特征 图中目标信息 。 7.根据权利要求2所述的夜间机场净空域红外小目标的检测方法， 其特征在于， 所述异 构并行网络模型中的特征融合阶段， 采用像素聚合网络结构进行自顶向下和自下向上的特 征融合， 融合来自不同深度的多层特征图， 并进一步得到多层不同尺寸的特征图； 不同深度 的特征图分别对应不同大小的目标， 每一个特 征图对特定尺寸的目标做出响应。 8.根据权利要求7所述的夜间机场净空域红外小目标的检测方法， 其特征在于， 所述异 构并行网络模型在预测结构对特征图进行逐像素预测， 获得潜在的目标， 并对目标进行分 类， 获得目标的类别信息； 以及通过回归策略， 将特征图上对应的目标位置信息反向传播至权　利　要　求　书 2/3 页 3 CN 115410012 A 3