(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210966666.7 (22)申请日 2022.08.12 (71)申请人 厦门市美亚柏科信息股份有限公司 地址 361000 福建省厦门市思明区软件园 二期观日路12号102-402单 元 (72)发明人 涂梅林　吴俊毅　张光斌　姚灿荣　 高志鹏　赵建强　杜新胜　韩名羲　 (74)专利代理 机构 厦门福贝知识产权代理事务 所(普通合伙) 35235 专利代理师 郭涵炜 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01) G06V 10/40(2022.01)G06T 7/13(2017.01) G06T 3/40(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种多任务边缘特征提取的深伪视频图像 鉴定方法及系统 (57)摘要 本发明提出了一种多任务边缘特征提取的 深伪视频图像鉴定方法， 该方法包括如下步骤： S1、 构建并获取图像鉴定 所需训练数据； S2、 搭建 网络框架对图像进行图像特征提取和边缘特征 提取； S3、 对提取的图像特征和边缘特征进行展 平和拼接处理； S4、 获得图像类别的预测结果。 通 过添加对边缘生成的任务， 能够让网络获取到边 缘特征， 利用这些特征进行进一步的分类， 本发 明能够解决传统特征提取耗时慢、 计算量大的问 题， 让神经网络具有可解释性的同时提高网络的 预测性能。 权利要求书2页 说明书7页 附图5页 CN 115205605 A 2022.10.18 CN 115205605 A 1.一种多任务边缘特征提取的深伪视频图像鉴定方法， 其特征在于， 该方法包括如下 步骤： S1、 构建并获取图像鉴定所需训练数据； S2、 搭建网络 框架对图像进行图像特 征提取和边 缘特征提取； S3、 对提取的图像特 征和边缘特征进行展平和拼接处 理； 以及 S4、 获得图像 类别的预测结果。 2.根据权利要求1所述的多任务边缘特征提取的深伪 视频图像鉴定方法， 其特征在于， 步骤S1还包括： 生 成真实图像和伪造图像的标签， 利用Canny边缘检测算子生 成真实图像的 边缘图像， 并进一 步生成边缘图像的标签。 3.根据权利要求2所述的多任务边缘特征提取的深伪 视频图像鉴定方法， 其特征在于， 步骤S1还 包括： 利用生成的边 缘图像作为后续 算法计算损失时所用的标签。 4.根据权利要求3所述的多任务边缘特征提取的深伪 视频图像鉴定方法， 其特征在于， 步骤S2还 包括： 使用残差块和下采样、 上采样分别构建图像特征提取模块、 边缘特征提取模块以及边 缘重建模块。 5.根据权利要求4所述的多任务边缘特征提取的深伪 视频图像鉴定方法， 其特征在于， 所述残差块选用在Ima geNet上预训练过的ResNet5 0的卷积块。 6.根据权利要求3所述的多任务边缘特征提取的深伪 视频图像鉴定方法， 其特征在于， 在步骤S3之后和步骤S4之前还 包括： S31、 利用L2损失对生成的边 缘图像和标签进行损失计算； S32、 对分类得到的结果利用交叉熵损失函数进行计算； S33、 对总的损失进行反向传播已对 模型进行优化； S34、 当损失下降到平稳状态时结束训练。 7.根据权利要求1所述的多任务边缘特征提取的深伪 视频图像鉴定方法， 其特征在于， 步骤S4还包括： 预测过程中利用边缘特征提取、 图像特征提取以及后续的类别预测部 分， 进 行类别的预测。 8.一种多任务 边缘特征提取的深伪视频图像鉴定系统， 其特 征在于， 包括： 构建模块： 用于构建图像鉴定所需训练数据以及网络 框架； 训练模块： 用于图像鉴定所需训练数据； 特征提取模块： 用于对图像进行图像特 征提取和边 缘特征提取； 重建模块： 用于 完成对图像的边 缘重建； 处理模块： 用于对提取的图像特 征和边缘特征进行展平和拼接处 理； 计算模块： 用于利用L2损失对生成的边缘图像和标签进行损失计算， 对分类得到的结 果利用交叉熵损失函数进行计算； 预测模块： 用于利用边缘特征提取、 图像特征提取以及后续的类别预测部分， 进行类别 的预测。 9.一种电子设备， 包括： 一个或多个处 理器； 存储装置， 用于存 储一个或多个程序；权　利　要　求　书 1/2 页 2 CN 115205605 A 2当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现如权利要求1至7中任一所述的方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行时实现如权利要求1至7中任一所述的方法。权　利　要　求　书 2/2 页 3 CN 115205605 A 3