(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211088239.X (22)申请日 2022.09.07 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 王力谦　王成　葛琦　邵文泽　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 刘艳艳 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/80(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多层次特征提取融合的低光照图 像增强方法 (57)摘要 本发明公开了一种基于多层次特征提取融 合的低光照图像增强方法， 包括： 对待增强的低 光照图像进行预处理； 将经过预处理的低光照图 像输入到训练好的低光照增强网络模 型中， 得到 低光照增强图； 低光照增强网络模 型的基础为卷 积神经网络； 本发明通过在低光照增强 网络模型 中多次利用特征提取模块实现对不同层次的特 征进行提取， 通过特征提取模块中的空洞卷积分 支来提取不同尺度的特征， 再通过通道注意力模 块和空间注意力模块对提取的特征进行权重调 整， 然后通过特征增强网络模块对 得到的不同层 次和不同尺度的特征进行增强， 最后进行特征融 合， 使得增强后图像的细节、 结构、 对比度、 颜色 等特征更明显。 权利要求书3页 说明书9页 附图4页 CN 115393225 A 2022.11.25 CN 115393225 A 1.一种基于多层次特征提取融合的低 光照图像增强方法， 其特征在于， 包括： 对待增强 的低光照图像进 行预处理； 将经过预 处理的低光照图像输入到训练好的低光照增强网络模 型中， 根据所述低光照增强网络模型的输出 得到低光照增强图； 其中所述低光照增强网络模型的训练过程包括： S1： 获取低光照图像及对应的正常光照图像作为数据集， 对数据集中图像进行像素归 一化， 得到训练数据集； S2： 将训练数据集中的低光照图像输入低光照增强网络模型中， 依次经过至少3个特征 提取模块， 进行 特征提取； S3： 每个特征提取模块输出的特征图同时作为对应特征增强模块和下一个特征提取模 块的输入； S4： 将多个特征增强模块输出的特征增强图输入到特征融合模块进行特征融合， 得到 最终的低光照增强图； S5： 利用损失函数约束低光照增强图与对应的正常光照图像之间的差异， 不断调整模 型的参数， 直到模型收敛， 完成模型的训练。 2.根据权利要求1所述的基于多层次特征提取融合的低光照图像增强方法， 其特征在 于， 对数据集中图像进行像素归一 化， 包括： 将数据集中图像的像素值归一 化到[0,1]范围间， 得到训练数据集。 3.根据权利要求1所述的基于多层次特征提取融合的低光照图像增强方法， 其特征在 于， 特征提取模块处 理过程包括： 将输入图像输入到第一卷积Conv层， 第一卷积Conv层的输出分别输入到两个Conv分支 中， 再将两个Conv分支输出的特征图通过第一Concatenate层进行通道连接， 将第一 Concatenate层的输出与第一卷积Conv层的输 出通过第二Concatenate层进行通道连接， 然 后将第二Concatenate层的输出图像依次经过Conv层、 通道注意力模块、 空间注意力模块， 最后输出 得到提取的特 征图； 其中， 第一卷积Conv层对输入图像进行浅层 特征提取， 卷积核大小为3 ×3， 步长为1， 激 活函数采用ReLU激活函数， 特征映射总数为8； 两个Conv分支均包含两个Conv层， 第一个 Conv分支的两个Conv层都采用普通卷积， 卷积核大小为3 ×3， 步长为1， 激活函数为ReLU， 特 征映射总数为8； 第二个Conv分支 中的第一个Conv层采用空洞卷积， 卷积核大小为3 ×3， 空 洞率分别为1， 2， 3， 步长为1， 激活函数为ReLU， 特征映射总数为8， 第二个Conv分支中的第二 个Conv层采用普通卷积， 卷积核大小为3 ×3， 步长为1， 激活函数为ReLU， 特征映射总数为8； 第二个Conv分支与第一个Conv分支相比具有相同的参数量， 但由于采用空洞卷积， 感受野 更大， 两个分支并列提取 特征， 用于联合 考虑特征图上下文信息 。 4.根据权利要求3所述的基于多层次特征提取融合的低光照图像增强方法， 其特征在 于， 所述通道注意力模块处 理过程包括： 将输入的特 征图分别输入到 两个分支中； 在第一个分支中， 输入的特征图先经过全局平局池化GlobalAvgPooling层 逐通道计算 每个通道的全局平均值， 输出结果大小为1 ×8， 再依次经过一个输出大小为1 ×1×8的 Reshape层和2个输出大小为1 ×1×1的Dense全连接层， Reshape层将全局池化层输出的图 像按照通道赋予新的形状；权　利　要　求　书 1/3 页 2 CN 115393225 A 2在第二个分支中， 输入的特征图先经过全局最大池化GlobalMaxPooling层 逐通道计算 每个通道的全局最大值， 输出结果大小为1 ×8， 再依次经过1个输出大小为1 ×1×8的 Reshape层和2个输出 大小为1×1×1的Dense全连接层； 两个分支的输出通过一个Add层进行像素加操作， 并采用sigmoid激活函数激活； Add层 输出的通道权重特征图与模块开始输入的特征图经过一个Multiply层 进行像素乘处理， 使 用通道注意力机制获取通道上的关联性， 输出得到大小为H ×W×8的通道注 意力调整图， 其 中H和W分别表示输出图像的长和宽 。 5.根据权利要求3所述的基于多层次特征提取融合的低光照图像增强方法， 其特征在 于， 所述空间注意力模块处 理过程包括： 将输入的特征图分别输入到最大池化MaxPool层和平均池化AvgPool层， 输出特征图大 小均为H×W×1； 将最大池化层和平均池化层的输出经过一个Concatenate层， 按照通道进行通道连接， 输出特征图大小为H ×W×2， 连接后的特征图经过一个Conv层进一步提取特征得到像素权 重图， 卷积核大小为3 ×3， 步长为1， 映射数为1， 激活函数为sigmoid， 输出特征图大小为H × W×1； 将空间注意力模块开始输入的特征图与Conv层输出的像素权重图一起经过一个 Multiply层 进行像素乘操作， 使用空间注 意力机制获取空间上的关联性， 输出得到大小为H ×W×8的空间注意力调整图， 作为 通道注意力的补充。 6.根据权利要求1所述的基于多层次特征提取融合的低光照图像增强方法， 其特征在 于， 特征增强模块处 理过程包括： 将输入的特征图依次送入到4个Conv层和3个Conv2DTranspose层中提取特征信息， 其 中， 4个Conv层的卷积核大小均为3 ×3步长均为1， 激活函数均采用ReLU， 输出通道数分别为 8， 8， 16， 32； 3个Conv2DTranspo se层的卷积核大小均为3 ×3， 步长均为1， 采用的激活函数均 为ReLU， 输出通道数分别为16， 8， 3； 然后将提取到的特征信息依次输入通道注意力模块和 空间注意力模块， 最后输出 大小为H×W×3的特征图。 7.根据权利要求1所述的基于多层次特征提取融合的低光照图像增强方法， 其特征在 于， 特征融合模块处理过程包括： 先将所有特征增强模块输出的特征增强图通过 Concatenate层连接， 得到的输出再经过一个Conv层， Conv层的卷积核大小为1 ×1， 步长为 1， 激活函数为ReLU， 得到大小为H ×W×3的输出图像即为 最终的低光照增强图。 8.根据权利要求1所述的基于多层次特征提取融合的低光照图像增强方法， 其特征在 于， 低光照增强网络模型的损失函数L osstotal表达式为： Losstotal＝LMAE+LSSIM+Lperc+Lregion+Lcolor 其中， 为像素级别的平均绝对误差损失， N为图像的数量， P为 一幅图像的像素总数， 下标p表示图像中某一像素， y代表原始正常光照图像， 代表输出的 低光照增强图； 为结构相似性损失， μy、 分别表示图像权　利　要　求　书 2/3 页 3 CN 115393225 A 3