(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211256252.1 (22)申请日 2022.10.14 (71)申请人 福建帝视信息科技有限公司 地址 350002 福建省福州市 鼓楼区西洪路 528号云座2号楼5楼B区 (72)发明人 罗鸣　胡义　童同　谢军伟　 杨宗晓　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 陈鼎桂　蔡学俊 (51)Int.Cl. G06V 10/24(2022.01) G06V 10/32(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 基于CNN与Transformer的低分辨率图像分 类方法及系统 (57)摘要 本发明涉及一种基于CNN与Transformer的 低分辨率图像分类方法， 包括以下步骤： 步骤S1: 构建图像数据集并对其中图像进行类别标注， 划 分为训练集和验证集； 步骤S2:对训练集和验证 集图像进行预处理 ； 步骤S3:基于CNN和 transformer， 构建双分支并行网络， 通过CNN网 络分支和tran sformer网络分支来对低分辨率图 像进行特征提取， 通过注意力特征融合网络将两 个分支每一层的特征进行有效融合， 并采用多通 道注意力网络对融合后的特征进行语义信息挖 掘； 步骤S4： 根据训练集和验证集对双分支并行 网络进行训练， 并利用交叉熵损失对其进行约 束， 得到图像分类网络； 步骤S5:将预处理后的待 测图像输入图像分类网络， 得到分类结果。 本发 明能有效提高对低分辨图像的分类性能。 权利要求书2页 说明书5页 附图2页 CN 115512096 A 2022.12.23 CN 115512096 A 1.一种基于 CNN与Transformer的低分辨 率图像分类方法， 其特 征在于， 包括以下步骤： 步骤S1:构建图像数据集并对其中图像进行类别标注， 同时将图像数据集按照一定比 例划分为训练集和验证集； 步骤S2:对训练集和验证集图像进行 预处理； 步骤S3:基于CNN和transformer， 构建双分支并行网络， 通过CNN网络分支和 transformer网络分支来对低分辨率图像进行特征提取， 通过注意力 特征融合网络将两个 分支每一层的特征进 行有效融合， 并采用多通道注意力网络对融合后的特征进行语义信息 挖掘； 步骤S4： 根据训练集和验证集对双分支并行网络进行训练， 并利用交叉熵损失对其进 行约束， 得到图像分类网络； 步骤S5:将预处 理后的待测图像输入图像分类网络， 得到分类结果。 2.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法， 其特征在 于， 所述预处理包括尺寸调整和数据增强， 所述尺寸调整是将输入的图像样本转化为预设 大小， 所述数据增强方式采用随机水平翻转、 随机垂直翻转以及随机 旋转。 3.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法， 其特征在 于， 所述transformer网络分支由四个阶段组成， 每个阶段由两个transformer编码器堆叠 而成， transformer网络分支会输出四种不同尺寸的一维特 征图。 4.根据权利要求3所述的基于CNN与Transformer的低分辨率图像分类方法， 其特征在 于， 所述transformer网络分支产生的一维特征输入到转换网络中进行转换， 使其与CNN网 络分支产生的特 征尺寸相同， 转换网络中的转换公式如下： Xi＝1×1Conv(Reshape(xi))i∈(1， 2， 3， 4) 其中x为transformer网络分支四个阶段输出的一维特征， X为一维特征经过转换网络 后产生的四个不同尺度的二维特 征。 5.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法， 其特征在 于， 所述CNN网络 分支由5层组成， 每一层均产生不同尺 寸的二维特征， 将第一次层网络提取 的特征输入到t ransformer分支中进行提取。 6.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法， 其特征在 于， 所述注 意力特征融合网络将CNN分支和transformer分支所提取的两种不同语义信息的 特征进行融合， 具体如下： 将CNN网络分支和t ransformer网络分支产生的特 征进行相加得到一个融合特 征； 将融合特征分两个分支进行处理， 第 一个分支利用全局 平均池化得到融合特征的特征 向量， 同时利用卷积来降低维度， 再利用relu激活函数进 行处理， 最后利用卷积来改变特征 维度， 得到第一个分支的注意力权 重； 第二个分支， 直接将融合特征进行卷积改变其特征尺寸， 再利用relu来进行激活处理， 最后利用卷积来恢复其特 征尺寸， 得到第二个分支的注意力权 重， 将这两个分支的注意力权 重进行相加得到一个新的注意力权 重. 最后将新的注意力权重特征图与CNN和transformer网络产生的特征进行相乘、 相加， 得到最终融合的特 征。 7.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法， 其特征在权　利　要　求　书 1/2 页 2 CN 115512096 A 2于， 所述多通道注 意力网络利用多个支路， 每个支路采用不同的卷积核来提取特征， 之后利 用通道注意力来增强特 征的表示能力， 公式如下： x1＝1×1Conv(x) X11＝x1+x1*Sigmoid(Conv6(Relu(COnv5(MaxPool(x1))))) x3＝3×3Conv(x) x33＝x3+x31*Sigmoid(Conv6(Relu(Co nv5(MaxPool(x3))))) x5＝5×5Conv(x) x55＝x5+x5*Sigmoid(Conv6(Relu(Co nv5(MaxPool(x5))))) xoutput＝x11+x33+x55 其中， Conv5为空洞卷积， 用于降维， Conv6为空洞卷积， 用于升维， xoutput为经注意力网络 输出的特 征。 8.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法， 其特征在 于， 所述交叉熵损失 公式如下： 其中， qi表示软标签， B表示一个批次的样本 数量， N表示类别总数也是预测向量的长度， pi表示教师网络的样本图像的预测值。 9.一种基于CNN与Transformer的低分辨率图像分类系统， 其特征在于， 包括处理器、 存 储器以及存储在所述存储器上 的计算机程序， 所述处理器执行所述计算机程序时， 具体执 行如权利要求1 ‑8任一项所述的基于 CNN与Transformer的低分辨 率图像分类方法。权　利　要　求　书 2/2 页 3 CN 115512096 A 3