(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210691091.2 (22)申请日 2022.06.17 (71)申请人 西北工业大 学 地址 710072 陕西省西安市友谊西路127号 (72)发明人 文载道　丁正宇　 (74)专利代理 机构 西安维赛恩专利代理事务所 (普通合伙) 61257 专利代理师 李明全 (51)Int.Cl. G06V 20/54(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于图像风格迁移的舰船目标融合识 别方法 (57)摘要 本发明公开了一种基于图像风格迁移的舰 船目标融合识别方法， 获取目标舰船的红外图像 和可见光图像； 采用残差网络分别提取红外图像 的红外舰船特征图和可见光图像的可见光舰船 特征图； 根据红外舰船特征图生成第一目标语义 变量和第一源语义变量； 根据可见光舰船特征图 生成第二源语义变量； 对第一目标语义变量、 第 二目标语义变量和第二源语义变量进行融合， 生 成源随机舰船特征图； 将源随机舰船特征图输入 舰船分类网络， 确定目标舰船的类别； 本发明可 以使得在分类过程中舰船分类网络更关注目标 相关特征， 提升准确性。 权利要求书2页 说明书10页 附图3页 CN 114973164 A 2022.08.30 CN 114973164 A 1.一种基于图像风格迁移的舰船目标融合识别方法， 其特 征在于， 包括以下步骤： 获取目标舰船的红外图像和可 见光图像； 采用残差网络分别提取所述红外图像的红外舰船特征图和所述可见光图像的可见光 舰船特征图； 根据所述红外舰船特征图生成第 一目标语义变量和第 一源语义变量； 根据所述可见光 舰船特征图生成第二源语义变量； 对所述第一目标语义变量、 第一源语义变量和第二源语义变量进行融合， 生成源随机 舰船特征图； 将所述源随机舰船特征图输入舰船分类网络， 确定所述目标舰船的类别； 其中， 所述舰 船分类网络包括依次连接的第一卷积层、 第二卷积层、 自适应平均池化层和全连接层。 2.如权利要求1所述的一种基于图像风格迁移的舰船目标融合识别方法， 其特征在于， 根据所述红外舰船 特征图生成第一目标语义变量和第一源语义变量包括： 采用 计算所述红外舰船特征图的通道平均值； 其中， z为所述红外舰 船特征图， μ(z)为第一通道平均值， H为所述红外舰船特征图的高度维度， W为所述红外舰船 特征图的宽度维度； 采用 计算所述红外舰船特征图的第一标准差， ∈为噪 声； 组合所述 通道平均值和标准差， 得到第一源语义变量。 3.如权利要求2所述的一种基于图像风格迁移的舰船目标融合识别方法， 其特征在于， 得到第一源语义变量之后还 包括： 采用 计算所述第一目标语义变量； 其中， c1为第一目标语义变量。 4.如权利要求2或3所述的一种基于图像风格迁移的舰船目标融合识别方法， 其特征在 于， 对所述第一目标语义变量、 第一源语义变量和第二源语义变量进行融合包括： 采用 计算所述可见光舰船特征图的通道平均值； 其中， z ′为所述可 见光舰船 特征图， μ(z ′)为第二通道平均值； 采用 计算所述可 见光舰船 特征图的第二标准差； 组合所述第二 通道平均值和第二标准差， 得到第二源语义变量。 5.如权利要求4所述的一种基于图像风格迁移的舰船目标融合识别方法， 其特征在于， 得到第二源语义变量之后还 包括： 对所述第一源语义变量和第二源语义变量进行差值， 得到第三源语义变量； 根据所述第三源语义变量和第一目标语义变量确定所述源随机舰船 特征图。 6.如权利要求5所述的一种基于图像风格迁移的舰船目标融合识别方法， 其特征在于，权　利　要　求　书 1/2 页 2 CN 114973164 A 2确定所述源随机舰船 特征图包括： 采用 计算所述源随机舰船 特征图； 其中， SR(z,z ′)为源随机舰船特 征图， α 为源风格加权 权重， 7.如权利要求6所述的一种基于图像风格迁移的舰船目标融合识别方法， 其特征在于， 所述源随机舰船 特征图大小为(128,28,28)； 所述第一卷积层的输入通道数为128、 输出通道数为256、 卷积核大小为(3,3)、 步长为 (1,1)、 填充为(1,1)、 输出 大小为(25 6,28,28)； 所述第二卷积层输入通道数为256、 输出通道数为512、 卷积核大小为(3,3)、 步长为(1, 1)、 填充为(1,1)、 输出 大小为(512,28,28)； 所述自适应平均池化层的输入特 征图大小为(512,28,28)、 输出 大小为(512,1,1)； 所述全连接层的输入神经节点数512、 输出神经节点数6 。 8.如权利要求7所述的一种基于图像风格迁移的舰船目标融合识别方法， 其特征在于， 还包括： 对所述自适应平均池化层输出的特征图进行整形， 将整形后的特征图送入所述全连接 层； 其中， 整形后的特 征图大小为(512,1)。 9.如权利要求6所述的一种基于图像风格迁移的舰船目标融合识别方法， 其特征在于， 所述舰船分类网络的损失函数为： l＝Lc+Ladv， 其中， Lc为分类损失函数， 为期望， m为 舰船图像， 包括红外图像和可见光图像， n为舰船的标签， S为训练数据集， nk为第k个标签， K 为标签总数， Gc为舰船分类网络； Ladv为对抗损失函数， λadv表示对抗权重， Gs表示舰船分类对抗网络， 其网络架构与Gc一致， CR(z,z ′)为目标随机舰船特征图， 10.一种基于图像风格迁移的舰船目标融合识别装置， 包括存储器、 处理器以及存储在 所述存储器中并可在所述处理器上运行 的计算机程序， 其特征在于， 所述处理器执行所述 计算机程序时实现如权利要求 1‑9任一项所述的一种基于图像风格迁移的舰船目标融合识 别方法。权　利　要　求　书 2/2 页 3 CN 114973164 A 3