(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210746586.0 (22)申请日 2022.06.28 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 街道八一路2 99号 (72)发明人 王密　肖晶　王慧雯　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 严彦 (51)Int.Cl. G06V 20/13(2022.01) G06V 10/54(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01)G06T 3/40(2006.01) G06T 9/00(2006.01) G06T 7/00(2017.01) (54)发明名称 一种基于参考影像纹理迁移的遥感影像压 缩方法及系统 (57)摘要 本发明提供一种参考历史影像的高分辨率 光学遥感影像压缩方法及系统， 包括数据准备， 将找到的参考影像与待压缩的重访影像做配准， 然后裁剪影像作为训练数据和测试数据； 设置基 于参考纹理迁移的光学遥感影像深度学习压缩 模型， 采用先降采样后超分的基于学习的网络架 构， 以原图的重构损失、 低分影像重构损失和编 码代码的熵作为损失函数训练设置的网络， 得到 训练好的光学遥感影像压缩模型； 基于训练好的 光学遥感影像压缩模型， 输入待压缩的光学遥感 影像， 提取压缩后的影像并进行质量评估。 本发 明对于相关性弱的参考区域， 采用自纹理学习的 方法替代 参考纹理迁移， 不仅可以有效地改善高 分遥感影像的压缩图像质量， 而且 具有更灵活的 率失真优化。 权利要求书3页 说明书13页 附图4页 CN 115131675 A 2022.09.30 CN 115131675 A 1.一种参 考历史影 像的高分辨 率光学遥感影 像压缩方法， 包括以下步骤： 步骤A， 数据准备， 将找到的参考影像与待压缩的重访影像做配准， 然后裁剪影像作为 训练数据和 测试数据； 步骤B， 设置基于参考纹理迁移的光学遥感影像深度学习压缩模型， 采用先降采样后超 分的基于学习的网络架构， 进行相应训练时包括以下处 理， 影像纹理特征的提取， 包括利用可学习的纹理提取器从参考影像与当前影像中分布提 取纹理特征， 将标准内积作为相似性构造硬注意力映射H与软注意力映射S， 记录参考影像 中与当前影 像相关纹 理的位置与置信度； 先降采样后超分的编解码， 包括对当前影像做降采样过滤掉大部分的空间信息， 在解 码时先重构出降采样后的低分影像， 然后通过引入参考影像作为辅助信息的超分网络对降 采样做相应超分， 恢复出原分辨 率大小的重构图像； 步骤C， 以原图的重构损失、 低分影像重构损失和编码代码的熵作为损失函数训练步骤 B中设置的网络， 得到训练好的光学遥感影 像压缩模型； 步骤D， 基于步骤C所训练好的光学遥感影像压缩模型， 输入待压缩的光学遥感影像， 提 取压缩后的影 像并进行质量评估。 2.根据权利要求1所述参考历史影像的高分辨率光学遥感影像压缩方法， 其特征在于： 可学习的纹理提取器是一个浅层神经网络， 用于从输入图像中提取出纹理特征， 依 次包括 CONV、 CONV、 PO OL、 CONV、 CONV、 PO OL和CONV， 其中CONV为卷积层， PO OL为池化层。 3.根据权利要求1所述参考历史影像的高分辨率光学遥感影像压缩方法， 其特征在于： 步骤D中会将参考图像的相似度作为评判依据， 进行基于参考纹理的自适应压缩方法和自 适应降采样方法。 4.根据权利要求1或2或3所述参考历史影像的高分辨率光学遥感影像压缩方法， 其特 征在于： 基于参考纹理迁移的光学遥感影像深度学习压缩模型中， 先降采样后超分的编解 码实现原理如下， 编码时， 设从当前影像和参考影像中提取的特征分别为Q和K， 且 c为维 度， 为实数域， 把特征从像素维度(h ×w)展开， 把特征K和Q从像素维度(h ×w)将特征展开 为逐个向量unfo ld(K)、 unfo ld(Q)， 如下式： Q中的每个子特征qi与K中的每个子特征kj计算它们 之间的相关性， 计算公式采用标准 内积： 由上述相关性可以得到硬注意力映射和软注意力映射， 硬注意力映射H的第i个分量 软注意力映射S的第i分量 其中软注意力映射的均值 用于作为衡量参考影像与当前影像相似度的指标， 指导模权　利　要　求　书 1/3 页 2 CN 115131675 A 2型进行自适应压缩和自适应降采样； 解码时， 利用低分影像的上采样图像提取的特征Q'和参考图像特征K计算硬注意力映 射H和软注 意力映射S， 实现方式和 编码端相同； 然后 构造可迁移的纹理特征， 利用硬注 意力 机制从参考纹理特征中找到相似性最高的分量， 这些分量组成可迁移的纹理特征， 公式如 下， 其中， ti为T的第i分量， 为按照硬注意力映射在特征K的分量中搜索到的对 应位置i的 特征分量； 对于采用了自适应压缩中的自纹理参考模型的区域， 需要对特征T进行修正， 实现方式 是从经过了粗压缩的高分图像块中提取纹理特征块， 从码流中读取出采用了自纹理参考区 域的位置， 用此 纹理特征替代原特征T中对应位置特征分量的数值， 每一块替换的区域长宽 为原来特 征T的1/4； 经过修正后的特征T就是接下来输入超分生成网络的可迁移纹理特征， 在做超分之前 还需要做特 征的融合， 公式如下： 其中， Fout是输出的融合特征， Conv和Concat分别表示卷积操作和张量的拼接操作， 是 两边矩阵对应位置上的元 素求积的运 算； 最终将融合特 征输入超分生成网络 输出原分辨 率影像的重构影 像。 5.根据权利要求1或2或3所述参考历史影像的高分辨率光学遥感影像压缩方法， 其特 征在于： 步骤C中， 以原图的重构损失、 低分影像重构损失和编码代码的熵作为损失函数训 练步骤B的网络 。 6.一种参考历史影像的高分辨率光学遥感影像压缩系统， 其特征在于： 用于实现如权 利要求1‑5任一项所述的一种参 考历史影 像的高分辨 率光学遥感影 像压缩方法。 7.根据权利要求6所述参考历史影像的高分辨率光学遥感影像压缩系统， 其特征在于： 包括以下模块， 第一模块， 用于数据准备， 将找到的参考影像与待压缩的重访影像做配准， 然后裁剪影 像作为训练数据和 测试数据； 第二模块， 用于设置基于参考纹理迁移 的光学遥感影像深度学习压缩模型， 采用先降 采样后超分的基于学习的网络架构， 进行相应训练时包括以下处 理， 影像纹理特征的提取， 包括利用可学习的纹理提取器从参考影像与当前影像中分布提 取纹理特征， 将标准内积作为相似性构造硬注意力映射H与软注意力映射S， 记录参考影像 中与当前影 像相关纹 理的位置与置信度； 先降采样后超分的编解码， 包括对当前影像做降采样过滤掉大部分的空间信息， 在解 码时先重构出降采样后的低分影像， 然后通过引入参考影像作为辅助信息的超分网络对降 采样做相应超分， 恢复出原分辨 率大小的重构图像； 第三模块， 用于以原图的重构损 失、 低分影像重构损 失和编码代码的熵作为损 失函数 训练网络， 得到训练好的光学遥感影 像压缩模型；权　利　要　求　书 2/3 页 3 CN 115131675 A 3