(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211195534.5 (22)申请日 2022.09.29 (71)申请人 哈尔滨工业大 学 （深圳） （哈尔滨工 业大学深圳科技创新研究院） 地址 518000 广东省深圳市南 山区桃源街 道深圳大 学城哈尔滨工业大 学校区 (72)发明人 何震宇　吴昊　田超　杨超　 (74)专利代理 机构 深圳市科吉华烽知识产权事 务所(普通 合伙) 44248 专利代理师 胡吉科 (51)Int.Cl. G06T 5/00(2006.01) G06T 5/50(2006.01) G06V 10/28(2022.01) G06V 10/30(2022.01)G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/04(2006.01) (54)发明名称 红外图像量 化和增强方法、 系统及存 储介质 (57)摘要 本发明提供一种红外图像量化和增强方法、 系统及存储介质， 该方法包括数据准备步骤： 将 14bits红外图像数据生成8bits红外图像数据， 生成的8bits红外图像数据作为标签 图像； 训练 步骤： 将14bits红外图像数据归一化为[0,1]范 围内的浮点数， 归一化的数据输入到基于多尺度 特征融合的主网络中， 主网络提取不同尺度的 图 像特征， 对不同尺度的图像特征进行融合， 生成 8bits红外图像； 将 主网络生成的8bits 红外图像 和标签图像输入判别器模块， 促使主网络生成质 量更高的红外图像。 本发明的有益效果是： 本发 明能够将14bits 红外图像映射为高质量的8bits 红外图像数据， 生成图像速度更快， 占用的CPU资 源更少。 权利要求书3页 说明书8页 附图3页 CN 115272140 A 2022.11.01 CN 115272140 A 1.一种红外图像量 化和增强方法， 其特 征在于， 包括如下步骤： 数据准备步骤： 将14bits红外图像数据生成8bits红外图像数据， 生成的8bits红外图 像数据作为标签图像； 训练步骤： 将14bits红外图像数据归一化为[0,1]范围内的浮点数， 归一化的数据输入 到基于多尺度特征融合的主网络中， 主网络通过特征提取模块提取不同尺度的图像特征， 最后对不同尺度的图像特征进行融合， 增加图像的细节信息， 生成8bits红外图像； 将主网 络生成的8bits红外图像和标签图像输入判别器模块， 判别器模块从标签图像中辨别增强 的结果， 促使 主网络生成质量更高的红外图像； 预测步骤： 训练步骤之后， 得到主网络的权重文件， 使用权重文件能够使得主网络不使 用判别器模块就能够生 成高质量的8bits红外图像； 预测时只使用主网络， 不再使用判别器 模块， 主网络输入为训练得到的权重文件、 以及实用场景图像， 实用场景图像为14bits红外 图像数据， 实用场景图像通过训练好的主网络生成8bits红外图像数据。 2.根据权利要求1所述的红外图像量化和增强方法， 其特征在于， 在所述数据准备步骤 中， 将14bits红外图像数据经过前处理模块、 DDE和后处理模块生成8bits红外图像数据， 生 成的8bits红外图像数据作为标签图像。 3.根据权利要求2所述的红外 图像量化和增强方法， 其特征在于， 在数据准备步骤中， 预先统计得到DDE生 成8bits红外图像数据对应的14bits红外图像数据的像素值分布； 前处 理模块将输入的14bits红外图像数据的像素值分布通过非线性映射近似映射为预先统计 得到的像素值分布； 前处理模块生成的14bits红外图像数据经过DDE处理后， 得到高质量的8bits红外图像 数据； 后处理模块针对DDE增强后得到8bits红外图像数据， 进行全局的中值滤波去噪和自适 应gamma矫正。 4.根据权利要求1所述的红外 图像量化和增强方法， 其特征在于， 在所述训练步骤中， 输入主网络的14b its红外图像数据的图像分辨率为512x512,其中每个像素值为14bits红 外图像数据归一化到[0,1]的值， 首先通过一个Conv 3x3生成一个256x256x2C的特征图， 作 为高尺度的特征图， 该高尺度的特征图分别通过一个Conv 3x3生 成一个128 x128x4C的中尺 度特征图且通过一个Deconv 1x1生成一个2 56x256x2C 特征图， 128 x128x4C的中尺度特征图 通过一个Conv 3x3生成一个64x64x8C的低尺度特征图且通过一个Deconv 2x2生成一个 256x256x2C特征图， 64x64x8C的低尺度特征图通过一个Deconv 4x4生成一个2 56x256x2C的 特征图， 经过不同尺度但相同分辨率的特征图进行逐元素相加取平均， 最终生成一个 256x256x2C的特征图， 再通过一个Deconv 2x2生成一个与原始分辨率相同的8b its红外图 像； Conv 3x3表示3x3卷积， Deconv 1x1表示1x1反卷积， Deconv 2x2表示2x2反卷积， Deconv 4x4表示 4x4反卷积。 5.根据权利要求4所述的红外 图像量化和增强方法， 其特征在于， 在所述训练步骤中， 对主网络进行损失约束。 6.根据权利要求5所述的红外图像量化和增强方法， 其特征在于， 对主网络进行损失约权　利　要　求　书 1/3 页 2 CN 115272140 A 2束使用均方误差函数， 均方误差函数如公式5 ‑1所示， 其 中 为原始14bits红外图像数据， 为8bits的标签图像数据；                          （5‑1） 。 7.根据权利要求1所述的红外 图像量化和增强方法， 其特征在于， 在所述训练步骤中， 将主网络生成的8bits红外图像和标签图像输入判别器模块， 标签图像和主网络生成的 8bits红外图像为两个512x512xC的原始数据， 通过将两个512x512xC的原始数据拼接成 512x512x2C的拼接图像,拼接图像通过堆叠的Conv  3x3卷积生成28 x28x1特征图， 最后通过 Sigmoid函数输出元素值为(0,1)之间的特征图； 使用结构相似度作为判别器模块的约束， Conv 3x3表示3x3卷积。 8.根据权利要求7所述的红外图像量化和增强方法， 其特征在于， 使用结构相似度作为 判别器模块的约束， 如 公式5‑2所示， 其中 和 分别表示图像块的均值和方差， 表示图 像块x和图像块y的协方差；                      （5‑2） 。 9.根据权利要求1所述的红外 图像量化和增强方法， 其特征在于， 在所述训练步骤中， 采用离线知识蒸馏的方式提升主网络的推理速度， 将主网络作为教师网络， 教师网络用于 指导学生网络生成相似图像； 14bits红外图像数据分别通过教师网络和学生网络生成各自 的特征向量， 通过判别器判断两种 特征向量的差异， 使得学生网络能够学习到教师网络的 特征分布， 最终推理的时候， 使用学生网络替代教师网络 。 10.根据权利要求9所述的红外图像量化和增强方法， 其特征在于， 所述判别器为VGG网 络， 选用Shuf fle Net v3作为学生网络 。 11.根据权利要求1至10任一项所述的红外 图像量化和增强方法， 其特征在于， 将主网 络生成的质量较高的8bits红外图像称为图像y， 将图像y切分成大小相同的单元格， 再对相 邻的单元格进 行分组， 每次选择图像y中相 邻的两个 分组， 再对这两个相 邻的分组内的单元 格进行随机采样， 随机采样的操作称为采样器 ； 第一部分对图像y使用采样器 进行多次采样， 最终生成训练图像对 ， 其中 为训练数据， 为标签数据； 通过去噪网络 生成相应 的去噪图像 ； 第二部分先将图像y输 入到去噪网络进行处理生成图像 ， 再对去噪后的图像用采样器 进行采样， 生成 图像对 ； 最终使用正则化损失来训练去噪网络， 去噪网络的损失函数 如公式5‑3所示                        （5‑3）                （5‑4）    （5‑5） Lrec表示 L2损失函数， Lreg为 正则项， a为控制正则化强度的手工变量。 12.一种红外图像量化和增强系统， 其特征在于， 包括： 存储器、 处理器以及存储在所述权　利　要　求　书 2/3 页 3 CN 115272140 A 3