(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210442194.5 (22)申请日 2022.04.25 (71)申请人 电子科技大 学长三角研究院 （衢州） 地址 324000 浙江省衢州市柯 城区芹江东 路288号1幢18楼 (72)发明人 张翔　于海飞　孟俊聪　李兰　 杨瑞菁　 (74)专利代理 机构 北京正华智诚专利代理事务 所(普通合伙) 11870 专利代理师 李梦蝶 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/246(2017.01) G06T 7/70(2017.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/74(2022.01) G06V 10/75(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于ADS-B信息与时空匹配的航空器虚 拟挂牌方法 (57)摘要 本发明公开了一种基于ADS ‑B信息与时空匹 配的航空器虚拟挂牌方法， 通过时空匹配模块对 检测结果进行优化， 提高算法在机场全景场面中 的遮挡、 间歇出入、 运动姿态变化等情况下的检 测效果， 改善机场全景场面下航空器的挂牌标识 精度； 结合跟踪器对初始检测目标进行持续的优 化检测跟踪， 在定位信息出现延时或消失等问题 时， 提高算法在航空器检测标识的可靠性， 并改 善多目标重合时的ID频繁交换导致挂牌标识不 准确的现象； 对航空器状态进行高效的更新与判 断， 并使用状态衰减函数表示航空器的有效状 态， 结合多目标跟踪器与匹配策略， 解决某些情 况下航空器消失或状态变化时的挂牌标识问题， 最终可以在保证实时性的同时， 稳定对全景场面 监控下多航空器的持续有效挂 牌标识。 权利要求书3页 说明书11页 附图4页 CN 114881946 A 2022.08.09 CN 114881946 A 1.一种基于ADS ‑B信息与时空匹配的航空器虚拟挂牌方法， 其特征在于， 包括如下步 骤： S1、 获取全景监控视频、 对应帧的地面实况以及ADS ‑B信息并进行预处理， 对高分辨率 的全景图像进 行冗余分割， 并将对应帧的地面 实况和ADS ‑B坐标进行对应转化， 并对 预处理 后的数据进行命名保存； S2、 将S1中的预处理数据作为输入， 使用ResNet提取特征， 结合提出的混合特征金字塔 Mix‑FPN获取多尺度特征， 并通过先验区域生成网络Priori  RPN生成预测候选框和先验候 选框， 利用感兴趣区域池ROI  Pooling获取用于类别判定和边界框回归的特 征； S3、 将S2中获取的特征送入提出的时空匹配网络， 依次与历史目标特征进行匹配， 根据 匹配策略进行结果匹配， 将平均匹配度最高的预测结果作为检测网络的输出， 并对目标模 板进行维护更新； S4、 利用跟踪器对当前帧的目标跟踪检测结果与检测网络预测结果进行相似度匹配， 根据判断检测结果更新维护跟踪器的目标状态； S5、 根据步骤S4的检测框结果进行持续的航空器多目标位置跟踪匹配， 判断定位信息 是否缺失， 若是则重新 获取定位信息， 若不是， 则根据航空器状态与检测框结果对航空器进 行虚拟挂 牌标识并展示。 2.根据权利要求1所述的基于全景多尺度检测网络与ADS ‑B信息的航空器虚拟挂牌方 法， 其特征在于， 所述S1具体包括如下步骤： S11、 将ADS ‑B的坐标信息转为真实世 界的坐标， 根据监控相机的布置位置， 通过单应性 矩阵进行坐标映射， 得到各个航空器在高分辨 率的全景视频图像中的对应坐标； S12、 通过滑动窗口将输入的高分辨率的全景图像与对应的底面实况图像进行切割， 裁 剪尺寸的重 叠比例为1/4的区域， 作为预测的输入图像数据； S13、 将对应的ADS ‑B坐标信息以裁剪的左上角坐标进行平移变换， 得到预处理图像对 应的ADS‑B坐标信息 。 3.根据权利要求1所述的基于全景多尺度检测网络与ADS ‑B信息的航空器虚拟挂牌方 法， 其特征在于， 所述S2具体包括： S21、 使用S1中得到 的预处理数据作为输入， 通过ResNet对输入图像提取特征， 将不 同 层次的特 征通过Mix ‑FPN处理得到用于预测的多尺度特 征； S22、 先验候选区域生成网络Priori  RPN通过原始候选生成网络RPN生成候选框， 同时 通过ADS‑B的定位信息生成先验的目标区域 概率图和对应的标记信息， 生成额外的候选 框； S23、 将候选框区域的多尺度特征进行感兴趣区域作为预测特征， 通过Soft ‑NMS处理得 到目标类别判定和检测框， 训练 时采用完全交并比损失函数CIOULoss和二值交叉熵损失函 数binary cross‑entropyLoss作为边框回归和类别预测的损失函数。 4.根据权利要求3所述的基于ADS ‑B信息与时空匹配的航空器虚拟挂牌方法， 其特征在 于， 所述S21中用于预测的多尺度特 征表示为： 权　利　要　求　书 1/3 页 2 CN 114881946 A 2其中Conv表示卷积层， Down表示下采样， Up表示上采样， 表示通道维度的特征拼接， 表示用于预测的多尺度特 征， F1,F2,F3为FPN网络的输出 特征， 表示为： Conv为标识卷积层， Do wn×2为下采样 操作， {X1,X2,X3}为ResNet中不同层次的输出 特征。 5.根据权利要求3所述的基于全景多尺度检测网络与ADS ‑B信息的航空器虚拟挂牌方 法， 其特征在于， 所述S22 中根据ADS ‑B信息生成目标区域的概率图和对应标记信息在概率 中心添加 锚点， 并分别使用1:1、 2:1、 3:1的锚形状作为RPN网络的先验候选框， 原始候选框 与先验候选 框分别通过坐标映射到多尺度特 征图， 进行后续的类别预测 和边框回归。 6.根据权利要求1所述的基于全景多尺度检测网络与ADS ‑B信息的航空器虚拟挂牌方 法， 其特征在于， 所述S3具体包括： S31、 将先验区域生成网络中的原始RPN和先验候选框 预测结果在多尺度特征 上映射 区域的特 征， 依次送入时空匹配模块， 选择平均相似度最高的作为检测网络的输出 结果； S32、 根据检测网络最终的检测结果对目标模板进行更新， 按照更新策略维护 模板中的 嵌入向量。 7.根据权利要求6所述的基于全景多尺度检测网络与ADS ‑B信息的航空器虚拟挂牌方 法， 其特征在于， 所述S 31中目标检测网络的预测结果通过时空匹配网络对先验候选框与预 测候选框的特征， 通过时空配模块与目标模板进行匹配， 选择平均相似度最高的作为最终 的检测结果， 计算表达式为： Max(SPM(f1),SPM(f2)) 其中f1， f2分别表示先验候选框的映射特征和预测候选框在特征 上的映射特征， Max 表示选取平均相似度最高目标模板所对应的目标作为输出结果， SP M表示时空匹配模块， 计 算表达式为： DisMax(AvgPo ol(Conv(f))) 其中Conv表示卷积层， AvgPool表示全局平局池化， DisMax表示余弦距离匹配模块， 计 算表达式为： Max(Dis(f1， P)， Dis(f2， P)) 其中， Max表示取最大值的候选框作为检测网络的输出结果， Dis表示余弦距离匹配模 块， 计算表达式为： 其中f表示输入特征的嵌入向量， i表示第 几个目标模板， xi， yi， zi表示第i个目标模板 中目标的嵌入向量。 8.根据权利要求6所述的基于全景多尺度检测网络与ADS ‑B信息的航空器虚拟挂牌方 法， 其特征在于， 所述S32中使用S32得到的预测结果根据更新策 略来对目标模板中的嵌入 向量进行修改和替换。 将预测结果所对应的特征嵌入向量添加到目标模板集合中， 同时判定预测结果所对应 的目标模板中嵌入向量的个数， 当目标模板集合中的嵌入向量个数大于指定阈值时， 则从权　利　要　求　书 2/3 页 3 CN 114881946 A 3