(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210571779.7 (22)申请日 2022.05.25 (65)同一申请的已公布的文献号 申请公布号 CN 114663842 A (43)申请公布日 2022.06.24 (73)专利权人 深圳比特微电子科技有限公司 地址 518000 广东省深圳市南 山区高新 南 六道航盛科技大厦801 (72)发明人 张乐　周承涛　杨作兴　 (74)专利代理 机构 北京德琦知识产权代理有限 公司 11018 专利代理师 孟旸　王丽琴 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/62(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06T 5/00(2006.01) G06T 5/50(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 114299088 A,2022.04.08 WO 2021196401 A1,2021.10.07 审查员 郑明月 (54)发明名称 图像融合处理方法、 装置、 电子设备及存储 介质 (57)摘要 本公开关于一种图像融合处理方法、 装置、 设备及存储介质， 该图像融合处理方法包括： 获 取第一原始图像数据； 对第一原始图像数据进行 图像处理获得第一图像数据； 从第一原始图像数 据中获得仅包含感兴趣区域的第二原始图像数 据； 对第二原始图像数据进行特征增强处理获得 第二图像数据； 将第一图像数据和第二图像数据 进行图像融合获得融合图像数据。 本公开的方案 在传统图像处理流程的基础上专门针对感兴趣 区域的图像数据进行特征增强处理， 感兴趣区域 中的特征不会受到图像整体的处理过程的影响， 解决了图像处理过程中无法兼顾 图像的局部和 整体的特征表现的问题， 在实际应用当中， 可实 现对监控图像的端到端的局部特 征增强。 权利要求书2页 说明书12页 附图4页 CN 114663842 B 2022.09.09 CN 114663842 B 1.一种图像融合处 理方法， 其特 征在于， 包括： 获取第一原 始图像数据； 对所述第一原 始图像数据进行图像处 理获得第一图像数据； 从所述第一原 始图像数据中获得仅包 含感兴趣区域的第二原 始图像数据； 对所述第二原始图像数据进行校正处理， 所述校正处理所使用的校正参数的取值采用 所述图像处 理过程中所使用的校正 参数的取值； 采用局部区域增强网络， 对所述第 二原始图像数据进行特征增强处理获得第 二图像数 据； 将所述第一图像数据和所述第二图像数据进行图像融合获得融合图像数据； 其中， 所述局部区域增强网络包括顺次连接的至少一个图像卷积处理组件、 在所述至 少一个图像卷积处理组件之后顺次连接的至少一个图像反卷积处理组件、 以及在所述至少 一个图像反卷积处理组件之后连接的输出层， 所述图像卷积处理组件的数量和所述图像反 卷积处理组件的数量相等； 输入所述局部区域增强网络的所述第二原始图像数据依次经过 所述至少一个图像卷积处理组件、 所述至少一个图像反卷积处理组件和所述输出层的处 理， 获得所述第二图像数据。 2.根据权利要求1所述的图像融合处 理方法， 其特 征在于： 所述第一原 始图像数据是通过图像采集装置对图像的采集而产生。 3.根据权利要求1所述的图像融合处 理方法， 其特 征在于： 所述从所述第 一原始图像数据中获得仅包含感兴趣区域的第 二原始图像数据， 采用目 标识别算法实现。 4.根据权利要求3所述的图像融合处 理方法， 其特 征在于： 所述目标识别算法包括行 人检测算法、 车窗检测算法、 车牌检测算法的至少其中之一。 5.根据权利要求1所述的图像融合处 理方法， 其特 征在于： 所述校正处 理包括黑电平处 理和白平衡处 理的至少其中之一。 6.根据权利要求1所述的图像融合处 理方法， 其特 征在于： 每个所述图像卷积处理组件中均包括顺次连接的卷积层、 批量归一化层和第一激活 层； 每个所述图像反卷积处 理组件中均包括 顺次连接的反卷积层、 第二激活层和拼接层； 所述输出层包括第三卷积层。 7.根据权利要求1所述的图像融合处理方法， 其特征在于： 所述将所述第 一图像数据和 所述第二图像数据进行图像融合获得融合图像数据， 包括： 将所述第二图像数据替换至所述第 一图像数据中的所述感兴趣区域， 获得所述融合图 像数据。 8.根据权利要求7所述的图像融合处理方法， 其特征在于， 所述将所述第 二图像数据替 换至所述第一图像数据中的所述感兴趣区域之后， 所述图像融合处 理方法还 包括： 基于预设的融合权重值， 将所述第 二图像数据边缘内侧的预设宽度范围内的图像数据 与被该预设宽度范围内的图像数据所替换的第一图像数据， 进行图像融合。 9.根据权利要求1所述的图像融合处理方法， 其特征在于， 所述图像融合处理方法还包 括：权　利　要　求　书 1/2 页 2 CN 114663842 B 2将所述融合图像数据进行编码， 获得RGB数据。 10.根据权利要求1所述的图像融合处 理方法， 其特 征在于： 所述第一原 始图像数据和所述第二原 始图像数据均为原 始图像文件数据； 所述图像处 理为图像信号处 理流水线处 理； 所述第一图像数据、 所述第二图像数据和所述融合图像数据均为YUV图像数据。 11.一种图像融合处 理装置， 其特 征在于， 包括： 数据获取模块， 被 配置为执 行获取第一原 始图像数据； 图像处理模块， 被配置为执行对所述第 一原始图像数据进行图像处理获得第 一图像数 据； 感兴趣区域数据获取模块， 被配置为执行从所述第 一原始图像数据中获得仅包含感兴 趣区域的第二原 始图像数据； 校正处理模块， 被配置为执行对所述第二原始图像数据进行校正处理， 所述校正处理 所使用的校正 参数的取值采用所述图像处 理过程中所使用的校正 参数的取值； 特征增强模块， 被配置为执行采用局部区域增强网络， 对所述第二原始图像数据进行 特征增强处 理获得第二图像数据； 融合模块， 被配置为执行将所述第 一图像数据和所述第 二图像数据进行图像融合获得 融合图像数据； 其中， 所述局部区域增强网络包括顺次连接的至少一个图像卷积处理组件、 在所述至 少一个图像卷积处理组件之后顺次连接的至少一个图像反卷积处理组件、 以及在所述至少 一个图像反卷积处理组件之后连接的输出层， 所述图像卷积处理组件的数量和所述图像反 卷积处理组件的数量相等； 输入所述局部区域增强网络的所述第二原始图像数据依次经过 所述至少一个图像卷积处理组件、 所述至少一个图像反卷积处理组件和所述输出层的处 理， 获得所述第二图像数据。 12.一种电子设备， 其特 征在于， 包括： 处理器； 用于存储所述处 理器的可 执行指令的存 储器； 其中， 所述处理器被配置为执行所述可执行指令， 以实现如权利要求1至10任一项所述 的图像融合处 理方法。 13.一种计算机可读存储介质， 其特征在于， 当所述计算机可读存储介质中的至少一条 指令被电子设备 的处理器执行时， 使得所述电子设备能够实现如权利要求1至10任一项所 述的图像融合处 理方法。权　利　要　求　书 2/2 页 3 CN 114663842 B 3