(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210436280.5 (22)申请日 2022.04.25 (71)申请人 陕西西影数码传媒科技有限责任公 司 地址 710043 陕西省西安市雁塔区西影路 508号 申请人 西安石油大 学　西安电子科技大 学 (72)发明人 余润德　张仙伟　宋建锋　韩露　 谢琨　徐浩　张文英　 (74)专利代理 机构 西安智大知识产权代理事务 所 61215 专利代理师 段俊涛 (51)Int.Cl. G06T 5/00(2006.01) G06T 7/136(2017.01)G06T 7/90(2017.01) G06V 10/74(2022.01) G06N 3/08(2006.01) (54)发明名称 影像色彩修复的镜 头自动划分方法 (57)摘要 影像色彩修复的镜头自动划分方法， 获取包 含多种类别的目标检测训练数据， 训练VGG19网 络作为特征提取器， 将黑白影视文件逐帧切割， 得到每一帧的图像， 并将帧图像大小对齐， 将帧 图像输入训练好的特征提取器中， 提取得到帧图 像的多层特征图作为其深度特征， 计算每相邻两 帧图像的深度特征之间的语义相似度； 根据计算 得到的语义相似度， 基于阈值自适应算法确定分 割该黑白影视文件所需要的阈值， 将语义相似度 中低于该阈值的帧作为镜头的分割点， 完成镜头 分割。 本发 明能够根据不同影像利用阈值自适应 动态调整阈值， 为影像色彩修复等应用场景提供 关键技术支持， 同时也可用于非黑白影视的镜头 划分应用场景。 权利要求书2页 说明书5页 附图5页 CN 114862704 A 2022.08.05 CN 114862704 A 1.影像色彩修复的镜 头自动划分方法， 其特 征在于， 包括如下步骤： 步骤1， 获取包含多种类别的目标检测训练数据， 以VGG19网络作 为特征提取器， 利用所 述目标检测训练数据对其进行训练， 将VGG19网络的每一层输出的特征图作为提取到的图 像特征； 步骤2， 将黑白影视文件逐帧切割， 得到每一帧的图像， 并将帧图像大小对齐； 步骤3， 将所述帧图像输入训练好的特征提取器 中， 提取得到帧图像的多层特征图作为 其深度特 征， 计算每相邻两帧图像的深度特 征之间的语义相似度； 步骤4， 根据计算得到的语义相似度， 基于阈值自适应算法确定分割该黑白影视文件所 需要的阈值， 将语义相似度中低于该阈值的帧作为镜 头的分割点， 完成镜 头分割。 2.根据权利要求1所述影像色彩修复的镜头自动划分方法， 其特征在于， 所述步骤1， 从 ImageNet中获取包含多种类别的目标检测训练数据， 对目标检测训练数据进 行数据增强以 扩充数据集， 所述数据增强包括随机翻转、 平 移以及遮挡。 3.根据权利要求1所述影像色彩修复的镜头自动划分方法， 其特征在于， 所述步骤2， 利 用OPENCV模块进行视频 逐帧切割， 所 得帧图像大小对齐到216 *384。 4.根据权利要求1所述影像色彩修复的镜头自动划分方法， 其特征在于， 所述步骤3， 采 用梯度下降法进行训练， 方法如下： (1)、 采用Adam优化器， 采用交叉熵损失函数监 督训练； (2)、 在一次迭代中输入X张图片， 经过VGG19网络正向传播后根据损失函数计算损失 值， 并反向传播计算梯度； (3)、 按照等间隔方法调整学习率， 初始值为0.001， 间隔设置为100， 调整倍数设置为 0.1， 衰减到 0.000001为止； (4)、 按照上述(1)、 (2)、 (3)中的参数设置训练网络， 直至损失值停止下降后结束训练， 保存网络参数， 训练完成。 5.根据权利要求1所述影像色彩修复的镜头自动划分方法， 其特征在于， 所述步骤3， 将 提取得到的每张帧图像的多层特征图连接， 作为该帧图像的深度特征， 将所述深度特征输 入残差块得到该帧图像的特 征向量。 6.根据权利要求5所述影像色彩修复的镜头自动划分方法， 其特征在于， 所述步骤3， 每 相邻两帧图像的深度特 征之间的语义相似度 通过如下公式计算： 其中， Fx(i)表示在帧图像x对应的特征向量 中i位置的值， 表示帧图像x对应的特征 向量的平均值， Fy(j)表示帧图像y对应的特征向量中j位置的值， 表示图像像y对应的特 征向量的平均值。 7.根据权利要求1所述影像色彩修复的镜头自动划分方法， 其特征在于， 所述步骤4完 成镜头分割的方法如下： (1)、 将语义相似度的序列等比例缩放到0～255之间， 作为输入数据序列； 建立一个长 度为5的滤波队列， 将输入数据 序列的前5个数据先后放入滤波队列中；权　利　要　求　书 1/2 页 2 CN 114862704 A 2(2)、 从输入数据序列的第6个数据开始， 计算当前滤波队列中所有数据的均值， 若当前 数据的值与均值之差小于20， 则当前数据对应的黑白影视文件中的帧不是镜头分割点， 若 当前数据的值与 均值之差大于等于20， 则当前 数据对应的影视文件中的帧为镜 头分割点； (3)、 处理完输入数据序列中的一个数据后， 若该数据不为镜头分割点， 则将其放入滤 波队列队尾， 弹出 滤波队列队首的值， 否则滤波队列置为空； (4)、 按照(2)～(3)循环处 理输入数据 序列， 得到所有镜 头分割点。权　利　要　求　书 2/2 页 3 CN 114862704 A 3