(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221071596 0.0 (22)申请日 2022.06.23 (71)申请人 昆明理工大 学 地址 650093 云南省昆明市五华区学府路 253号 (72)发明人 李凡　朱静　 (74)专利代理 机构 昆明明润知识产权代理事务 所(普通合伙) 53215 专利代理师 马海红 (51)Int.Cl. G06T 3/40(2006.01) G06V 10/75(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/74(2022.01)G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于细节信息渐近恢复的图像超分辨 率重建方法 (57)摘要 本发明涉及一种基于细节信息渐近恢复的 图像超分辨率重建方法， 属于图像超分辨率重建 技术领域。 该方法包括： 针对基于学习的图像超 分辨率重建算法中存在边缘信息丢失、 易产生视 觉伪影等问题。 本发明首先对SR网络中边缘特征 通过特征对齐模块和注意力模块分别将边缘特 征迁移到SR网络和保留信息量多的特征， 抑制信 息量少的特征； 再对上下文特征增强模块和特征 细化模块融合网络不同深度的特征。 其中， 残差 特征细化模块有效地帮助网络保留更丰富的图 像内容和纹理细节并增强丢失的细节信息和上 下文信息。 最后获得超分辨率图像结果， 对比现 有的超分辨率方法， 该方法显著提高超分辨率图 像细节信息的性能。 权利要求书4页 说明书10页 附图3页 CN 115272066 A 2022.11.01 CN 115272066 A 1.一种基于细节信息渐近恢复的图像超分辨 率重建方法， 其特 征在于： 包括如下步骤： Step1： 获取训练数据集： 对原始高分辨率图像进行预处理， 得到不同尺度的低分辨率 图像数据集； Step2： 提取图像的边缘特征： 通过Sobel方法获得Step1中低分辨率图像数据集 中低分 辨率图像ILR的结构特 征作为增强图像边 缘信息的特 征， 即边缘特征Fedge； Step3： 对Step1的训练数据集进行特征提取： 利用由两个3 ×3卷积和B N+ReLU构成的特 征提取器获得浅层特 征F0； Step4： 特征匹配： 设计特征对齐模块对Step2的边缘特征Fedge与Step3的浅层特征F0进 行匹配， 对 任意两张图片的特 征组进行图匹配操作， 对相似的特 征赋予权重后生成特 征Fa； Step5： 获取信息量丰富的特征： 使用注意力模块对Step2中的边缘特征Fedge和Step3中 的浅层特 征F0进行处理， 保留信息量多的特 征， 抑制信息量少的特 征， 获得特征C0； Step6： 获得深层特征： 先通过特征融合模块融合Step4的特征Fa和Step5的特征C0， 生成 融合特征 再由一个3 ×3卷积提取融合特 征 即生成深层特 征Fd； Step7： 获取上下文特征： 先利用由第一个 上下文特征增强模 块增强Step6的深层特征Fd 生成第一层细节特征 再由第一个残差特征细化模块逐恢复第一个上下文特征增 强 模块的第一层 细节特征 和Step3的浅层特 征F0以生成上 下文特征Fs1； Step8： 获取上下文细节特征： 利用由多个首尾相连的上下文特征增强模块和残差特征 细化模块构成的特征恢复模块逐步恢复Step7的上下文特征Fs1和Step3的浅层特征F0， 生成 最终的上 下文细节特 征Fcdf； Step9： 获取超分辨率图像： 利用由2个3 ×3卷积、 ReLU和亚像素卷积构成的自适应上采 样机制处理Step1中不同尺度的低分辨率图像和Step8的上下文细节特征Fcdf， 生成超分辨 率图像ISR； Step10： 对图像进行损失操作： 分别利用L1函数对Step1的原始高分辨率图像IHR与 Step9的超分辨率图像ISR作重建损失和对St ep1的原始高分辨率图像IHR与Step11的超分辨 率图像ISR作边缘损失来 提高超分辨 率网络的性能。 2.根据权利要求1所述的基于细节信息渐近恢复的图像超分辨率重建方法， 其特征在 于： 所述Step3 浅层特征F0提取的具体操作如下： 浅层特征F0的提取， 具体如下式所示： F0＝fSFEP(ILR) 式中fSFEP(·)表示浅层特 征提取函数， 包 含2个卷积层的内核大小为3 ×3和BN+ReLU层。 3.根据权利要求1所述的基于细节信息渐近恢复的图像超分辨率重建方法， 其特征在 于： 所述Step4中通过特征对齐模块来迁移Step2中的边缘特征， 其中， 特征对齐模块对边缘 特征和Step3的浅层特征F0进行拼接操作和相似性度量， 并赋予其权重， 相似的特征通过迁 移到低分辨 率图像中， 具体操作如下： ffusion＝Concat(Fedge,F0) α ＝Sigmo id(ffusion)权　利　要　求　书 1/4 页 2 CN 115272066 A 2β ＝Sigmi od(FLR) F1＝α *FLR F2＝(1‑α )*ffusion Fa＝F1+F2 式中， Fedge, F0, Concat(·),ffusion,Fa,Sigmoid(·)分别表示边缘特征、 边缘特征提取器， 浅层特征， 浅层特征提取器， 特征融合操作， 融合的边缘特征和浅层特征, 融合的对齐特征， 激活函数， α 表示对齐特征的权重， β 表示浅层特征的权重， F1,F2都表示为 对齐特征。 4.根据权利要求1所述的基于细节信息渐近恢复的图像超分辨率重建方法， 其特征在 于： 所述Step5注意力模块的具体步骤如下： C0＝A*F0 式中， Conv1×1和Conv分别表示1x1和3x3卷积操作， C0表示信丰富的特征， A表示注意力 权重图。 5.根据权利要求4所述的基于细节信息渐近恢复的图像超分辨率重建方法， 其特征在 于， 所述Step  6的具体步骤如下： 融合特征的生成： 深层特征的生成： 6.根据权利要求1所述的基于细节信息渐近恢复的图像超分辨率重建方法， 其特征在 于： 所述Step7通过第1个上下文特征增强模块和第1个残差特征细化模块丰富上下文特征 的具体步骤如下： 第1个上下文特征增强模块增强的信息， 具体操作如下： 式中， 表示网络第1层 细节特征， FCFEM表示上下文特征增强函数； 第1个残差特 征细化模块恢复上 下文信息， 具体步骤如下： 式中， 和 都代表网络第1层的中间特征图， H1×W1×C1分别表示 第1层补丁块网络的大小， 和F0分别表示网络第1层的细节特征和浅层特征， A1和B1表示 网络第1层的权重图， Concat( ·,·)表示通道级连接操作， σ( ·)为ReLU激活函数， ‘⊙’表 示元素级的乘法操作， η( ·)表示广播操作， 其中权 重沿频道维度进行广播复制； 从特征互补模块组成中得到的网络第1层的上 下文特征 的具体步骤如下：权　利　要　求　书 2/4 页 3 CN 115272066 A 3