(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211077895.X (22)申请日 2022.09.05 (71)申请人 中国石油大 学 （华东） 地址 266580 山东省青岛市经济技 术开发 区长江西路6 6号 (72)发明人 高绍姝　伊升　张晓东　田琪琳　 秦子轩　 (74)专利代理 机构 武汉聚信汇智知识产权代理 有限公司 42 258 专利代理师 刘丹 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/44(2022.01) G06V 10/80(2022.01) (54)发明名称 一种夜视融合图像综合质量评价方法、 介质 及系统 (57)摘要 本发明提供了一种夜视融合图像综合质量 评价方法、 介质及系统， 属于图像质量评价技术 领域， 该夜视融合图像综合质量评价方法、 介质 及系统包括： 对图像数据库中的红外与可见光彩 色夜视融合图像进行预处理， 剔除图像中的热目 标； 将预处理后的图像分为训练集与测试集； 构 建支持向量回归器， 用于图像特征的提取和融 合， 所述支持向量回归器包括： 图像色彩特征提 取模块、 清晰度特征提取模块、 深层特征提取模 块和特征融合模块； 将所述训练集输入所述支持 向量回归器进行训练； 将待评价图像输入训练完 成的支持向量回归器中， 得到输入图像的质量评 分。 本发明对 图像色彩失真敏感， 充分考虑人眼 视觉特性， 可以给出与人眼主观感受较一致的评 价结果。 权利要求书1页 说明书5页 附图3页 CN 115439444 A 2022.12.06 CN 115439444 A 1.一种夜视融合图像综合质量评价方法， 其特 征在于， 包括以下步骤： S10： 对图像数据库中的红外与可见光彩色夜视融合图像进行预处理， 剔除图像 中的热 目标； S20： 将预处 理后的图像分为训练集与测试集； S30： 构建支持向量回归器， 用于图像特征的提取和融合， 所述支持向量回归器包括： 图 像色彩特 征提取模块、 清晰度特 征提取模块、 深层特 征提取模块和特 征融合模块； S40： 将所述训练集输入所述支持向量回归器进行训练； S50： 将待评价图像输入训练完成的支持向量回归器中， 得到 输入图像的质量评分。 2.根据权利要求1所述的一种夜视 融合图像综合质量评价方法， 其特征在于， 所述图像 色彩特征提取模块首先对输入图像进行局部对比度归一化处理， 计算归一化后图像R、 G、 B 三通道对应的灰度共生矩阵， 提取 灰度共生矩阵的统计特 征作为图像色彩特 征。 3.根据权利要求1所述的一种夜视 融合图像综合质量评价方法， 其特征在于， 所述清晰 度特征提取模块将输入图像划分为多个大小相同的区域， 计算每个区域的等价旋转不变局 部二值模式直方图， 对所述 等价旋转不变局部二 值模式直方图进行加权作为清晰度特 征。 4.根据权利要求1所述的一种夜视 融合图像综合质量评价方法， 其特征在于， 所述深层 特征提取模块使用Mobi leNetV3网络提取图像深层特 征。 5.根据权利要求1所述的一种夜视 融合图像综合质量评价方法， 其特征在于， 所属特征 融合模块将图像色彩特 征、 图像清晰度特 征和图像深层特 征进行串联融合。 6.根据权利要求1所述的一种夜视 融合图像综合质量评价方法， 其特征在于， 所述步骤 S10中对所述融合图像预 处理方法为， 将红外图像中超出一定阈值的区域标记 为热目标， 然 后将对应融合图像中热目标区域内的像素值用八邻域平均值进行代替。 7.根据权利要求2所述的一种夜视 融合图像综合质量评价方法， 其特征在于， 所述步骤 S30中所述图像色彩特征提取模块， 提取灰度共生矩阵的同质性、 角二阶矩和对比度三个统 计特征作为图像色彩特 征。 8.根据权利要求3所述的一种夜视 融合图像综合质量评价方法， 其特征在于， 所述步骤 S30中所述对等价旋转不变局部二值模式直方图进行加权的方式为， 利用MobileNetV3网络 得到输入图像的梯度类激活映射热力图， 将梯度类激活映射热力图划分为多个大小相同的 区域， 计算梯度类激活映射热力图每个区域的像素均值， 对输入图像中对应区域的旋转不 变等价二值模式直方图进行加权 。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序指令； 所述计算机程序指 令被处理器执行时实现如权利要求 1～8中任一项 所述的一种 夜视融合图像综合质量评价方法。 10.一种夜视融合图像综合质量评价系统， 其特征在于， 包括有如权利要求9所述的计 算机可读存 储介质。权　利　要　求　书 1/1 页 2 CN 115439444 A 2一种夜视融合图像综合质量评价 方法、 介质及系统 技术领域 [0001]本发明属于图像质量评价技术领域， 具体而言， 涉及一种 夜视融合图像综合质量 评价方法、 介质及系统。 背景技术 [0002]可见光(微光)图像包含较丰富的场景细节和纹理信息； 红外图像可以反映物体的 温度信息， 受天气和照明条件影响小。 可见光(微光)与红外彩色夜视融合技术结合两个波 段的成像优点， 产生热目标突出、 细节信息丰富且适于人眼观察的伪彩色融合图像， 不同的 彩色融合算法得到截然不同的视觉效果。 如何针对特定的视觉任务 实现融合图像综合质量 的客观评价， 国内外尚没有公认的理论和方法。 其研究难点在于低信噪比单色微弱可见光 与人眼不可见单色热辐 射图像的彩色融合图像评价缺 乏理想的参考图像。 同时， 彩色融合 图像有其独特的图像特点和具体的应用需求， 不宜直接采用现有的真彩色图像质量评价方 法进行衡量。 因此， 无参考的评价彩色融合图像满足特定应用需求的能力， 成为国内外理论 研究和系统应用迫切需要解决的焦点问题之一。 [0003]传统的方法依赖于图像的亮度对比度， 对像素关系关注有限， 存在对图像颜色的 变化不敏感， 而且在评价图像质量时较少考虑人眼视觉特性的技术问题， 对图像质量的评 分准确率较低。 发明内容 [0004]有鉴于此， 本 发明提供一种夜视融合图像综合质量评价方法、 介质及系统， 能解决 在对图像质量评价时存在的对图像颜色的变化不敏感， 而且在评价图像质量时较少考虑人 眼视觉特性的技 术问题。 [0005]本发明是这样实现的： [0006]本发明第一方面 提供一种夜视融合图像综合质量评价方法， 其中， 包括以下步骤： [0007]S10： 对图像数据库中的红外与可见光彩色夜视融合图像进行预处理， 剔除图像中 的热目标； [0008]S20： 将预处 理后的图像分为训练集与测试集； [0009]S30： 构建支持向量回归器， 用于图像特征的提取和融合， 所述支持向量回归器包 括： 图像色彩特 征提取模块、 清晰度特 征提取模块、 深层特 征提取模块和特 征融合模块； [0010]S40： 将所述训练集输入所述支持向量回归器进行训练； [0011]S50： 将待评价图像输入训 练完成的支持向量回归器中， 得到输入图像的质量评 分。 [0012]在上述技术方案的基础上， 本发明的一种夜视融合图像综合质量评价方法还可以 做如下改进: [0013]其中， 所述图像色彩特征提取模块首先对输入图像进行局部对比度归一化处理， 计算归一化后图像R、 G、 B三通道对应的灰度共生矩阵， 提取灰度共生矩阵的统计特征作为说　明　书 1/5 页 3 CN 115439444 A 3