(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211223823.1 (22)申请日 2022.10.09 (71)申请人 中国海洋大学 地址 266100 山东省青岛市崂山区松岭路 238号 (72)发明人 魏志强　郑程予　宋宁　赵恩源　 聂婕　刘安安　宋丹　李文辉　 孙正雅　张文生　 (74)专利代理 机构 青岛华慧泽专利代理事务所 (普通合伙) 37247 专利代理师 赵梅 (51)Int.Cl. G06V 10/40(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01)G06V 10/30(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 类别引导多尺度解耦的海洋遥感图像文本 检索方法及系统 (57)摘要 本发明属于遥感图像处理技术领域， 公开了 类别引导多尺度解耦的海洋遥感图像文本检索 方法及系统， 首先提取海洋遥感图像的不同尺度 的图像特征和遥感相关文本的文本特征； 然后利 用双向多尺度解耦模块对得到的不同尺度的图 像特征进行解耦， 提取每个尺度上对应的潜在特 征， 抑制其他尺度上的繁琐特征， 获得解耦特征； 利用类别标签引导模块将图像和文本的类别特 征引导解耦的图像特征和文本特征， 利用乘法计 算最终的类别相关图像和文本特征； 最后计算相 似度与语义引导三元组损失。 通过本发明实现多 尺度解耦的同时引入有效类信息进行解耦， 建立 尺度与语义双解耦的海洋多模态信息融合方法， 解决多尺度维度的噪声冗余和多维度解耦表征 信息融合难的问题。 权利要求书3页 说明书8页 附图2页 CN 115311463 A 2022.11.08 CN 115311463 A 1.类别引导多尺度解耦的海洋遥感图像文本检索方法， 其特 征在于， 包括以下步骤： 步骤S0、 获取海洋遥感图像和遥感相关文本； 步骤S1、 提取海洋遥感图像的图像特征： 首先由卷积神经网络进行图像的特征嵌入工 作， 将得到的图像基础特征以不同采样率的空洞卷积进行采样， 得到不同尺度的图像特征 ； 步骤S2、 提取遥感相关文本的文本特 征T； 步骤S3、 双向多尺度解耦： 对步骤S1得到的不同尺度的图像特征进行解耦， 提取每个尺 度上对应的潜在特 征， 抑制其 他尺度上的繁琐特 征， 获得图像的解耦特 征F； 步骤S4、 类别标签引导： 首先生成图像和文本的类别特征， 然后利用生成的类别特征引 导图像的解耦特征 F和文本特征 T， 利用乘法计算最终的类别相关的图像特征 和文本特 征 ； 步骤S5、 计算相似度与语义引导 三元组损失： 首先对步骤S4输出的类别相关的图像特征 和文本特征 进行类别匹配， 判断图像 和文本是否属于同一类别， 并把类别属 性作为外部知识输入到下游任务中， 对异类图文匹 配的异类信息进行动态权重选择； 然后计算语义引导三元组损失， 迭代步骤S1 ‑S5， 反向传 播训练； 步骤S6、 输入待检索的海洋遥感图像， 输出遥感相关文本数据； 或者输入待检索的遥感 相关文本数据， 输出海洋遥感图像。 2.根据权利要求1所述的类别引 导多尺度解耦的海洋遥感图像文本检索方法， 其特征 在于， 步骤S3分为两个步骤： S31、 对于图像特征提取模块提取出的每个尺度的图像特征 ， 在当前尺度上基于注 意力机制构建注意力图   ， 提取潜在特 征； 并生成抑制掩膜 ； S32、 针对不 同特征尺度下提取的注意力图 与抑制掩膜 ， 通过  来促进对应 尺度上的显着性信息， 用于抑制其他尺度的显著性特征， 得到 过滤冗余信息之后的图像 特征来实现尺度解耦， 通过逐步抑制的方式将注意力图 应用到解耦特征 与 的生 成过程中， 其中 是小尺度到大尺度方向上的解耦特征， 是大尺度到小尺度方向上的 解耦特征； 最后通过concat操作， 把各种特征尺度的解耦特征 与 合成最终图像的解 耦特征F。 3.根据权利要求2所述的类别引 导多尺度解耦的海洋遥感图像文本检索方法， 其特征 在于， 步骤S32中， 解耦特 征的计算公式如下：权　利　要　求　书 1/3 页 2 CN 115311463 A 2其中， m为不同尺度的编号， 分别是大中小三个尺度， 注意力图 与抑制掩膜 通过运 算级联得到解耦特 征 与 。 4.根据权利要求1所述的类别引 导多尺度解耦的海洋遥感图像文本检索方法， 其特征 在于， 步骤S4具体如下： S41、 从步骤S0获取的海洋遥感图像 中获取类别语义标签， 通过遥感图像分类器训练得 到遥感图像 类别特征U； S42、 从步骤S0获取的遥感相关文本中获取类别语义标签， 通过遥感相关文本分类器训 练得到遥感相关文本类别特 征V， S43、 将步骤S3得到的图像的解耦特征 F与遥感图像类别特征 U相乘， 将步骤S2得到的文 本特征T和遥感相关文本类别特征 V相乘， 相乘目的是将图像的解耦特征 F与相关文本的文 本特征T分别与对应模态的类别特征 U&V进行注意力增强得到最终的类别相关的图像特征 和文本特 征 。 5.根据权利要求2所述的类别引 导多尺度解耦的海洋遥感图像文本检索方法， 其特征 在于， 步骤S31具体步骤是： 首先通过平均池化和最大池化操作聚合一个特征的通道信息， 生成两个特征描述符， 然后， 特征描述符通过一个标准的卷积层和  sigmoid 函数来产生注 意力图 ； 通过二进制掩码生成抑制掩膜 ； 其中 是一个二进制掩码， 它将最显著 的值取为0， 其 他取为1。 6.根据权利要求1所述的类别引 导多尺度解耦的海洋遥感图像文本检索方法， 其特征 在于， 步骤S5中， 首先， 通过softmax将类别特征转换为图像和文本的语义类别 和 ； 然 后， 定义一个参数 来调整损失， 参数 表示为： 为常数值， 在常数值 的基础上， 设计 基于类别的三元组损失， 详细 如下： 其中 指边距， 表示样本图像和正样本文本的相似度； 表示样本图像和 负样本文本的相似度；权　利　要　求　书 2/3 页 3 CN 115311463 A 3