(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210739266.2 (22)申请日 2022.06.28 (71)申请人 西北大学 地址 710069 陕西省西安市太白北路2 29号 (72)发明人 耿国华　赵燕婷　冯龙　李启航　 武浩东　周蓬勃　刘阳洋　 (74)专利代理 机构 西安众和至成知识产权代理 事务所(普通 合伙) 61249 专利代理师 强宏超 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于多尺度密集特征融合的妆容迁移 方法 (57)摘要 本发明公开了一种基于多尺度密集特征融 合的妆容迁移方法， 首先借用多尺度金字塔结构 思想， 对原图像和目标图像进行下采样， 得到不 同尺寸的输入图像； 然后 在生成器中将不同尺寸 的图像输入到密集特征模块进行风格特征提取， 将提取到的风格特征从原 图像迁移到目标图像 中， 通过与判别器不断的博弈对抗， 生成所需要 的翻译图像； 最后， 通过渐进式增长生成器训练 的方式， 在训练的每个阶段中不断增加密集特征 模块， 实现原图像的妆容迁移， 生成所需要的目 标图像妆容风格的图像； 与现有最先进的方法相 比， 本发明的方法训练时长减少3/4， 并且生成图 像的细节特征较好， 可以更好地捕获源域和目标 域之间分布的差异， 提高妆容迁移的质量。 权利要求书2页 说明书5页 附图3页 CN 114998970 A 2022.09.02 CN 114998970 A 1.一种基于多尺度密集特 征融合的妆容迁移方法， 其特 征在于包括以下步骤： 步骤1： 对输入的未化妆图像I ′A和具有参考妆容的图像I ′B使用MTCNN人脸检测算法进 行人脸检测， 定位并裁 剪出需要 进行妆容迁移的人脸图像IA和IB； 步骤2： 将IA和IB下采样到N个不同的尺度， 对每一个尺度的图像进行一次训练， 即整个 训练过程分为 N个阶段； 第n个阶段 和 的尺度计算如式(1)所示： 其中， n∈{1， 2， …， N}， 和 是模型设置的图像最小尺度， 和 是模型设置的最大 尺度图像， N是训练的总阶段 数； 步骤3： 整体网络结构由两个对称的金字塔结构 及一个金字塔结构判别器 组成； 将步骤2中下采样得到的N个尺度图像 作为输入图像， 采用 金字塔结构进行训 练， 然后在生成器 中将不同尺寸的图像输入到密集特征模块进行风格特征提取与融 合， 通过生成器 与判别器 不断的博 弈对抗， 生成所需要的妆容迁移图像IAB； 步骤4： 生成器通过密集特征模块来进行图像特征的提取和融合， 其过程为： 首先， 采用 三个3×3卷积从每个阶段 的输入图像 提取风格特征； 其次， 将各个阶段提取到的图像特 征进行拼接融合， 并利用这些特征将原图像的特征向量转换为 目标图像的特征向量； 最后 通过一个3 ×3卷积输出每 个阶段妆容迁移后的图像 密集特征模块的第L个密集特征卷积的输入来自于前面所有密集卷积阶段的特征映 射， 其表达式如式(2)所示： xL＝HL([x1， x2， ...， xL‑1])    (2) 其中， HL代表特征融合， 表示将第xL阶段到第xL‑1阶段的所有输出特征按通道组合在一 起； 步骤5： 为缓解网络的模式崩溃问题， 将步骤4中得到的妆容迁移图像 作为输入图像， 通过生成器 生成重建图像 然后使用循环一致性损失来约束 与 具有相似的 结构特征； 循环一 致性损失表达式如式(3)所示： 其中， 步骤6： 以 作为判别器 的输入， 输出结果为 是 对应域的自然图像的概 率， 通过与生成器 的不断博弈对抗， 最终判别器将达到纳什平衡状态， 即判别器判别生 成器生成的图像 为真或假的概 率都为50％； 步骤7： 完成第 二个阶段到第N个阶段的训练， 训练过程与第一个阶段的过程类似， 不同 之处在于生成器大小是逐步递增的； 在进行妆容迁移 时， 每次都从图像最小的尺度和最小 的生成器开始； 在训练过程中， 每个阶段都从前一阶段获取原始特征作为输入， 且前一阶段 参数值不是固定的； 一旦任意阶段模型收敛， 则在生成器的最后一个密集特征模块后添加权　利　要　求　书 1/2 页 2 CN 114998970 A 2一个与其相同的密集特征模块来增加生成器的大小； 重复这个过程N次， 直到达到训练设置 的图像最大尺度； 对于任意阶段n， 网络结构由两个生成器 及一个判别器 保证妆容迁 移图像属于正确的图像域， 使A图像域映射到B图像域得到妆容迁移图像 则使 反向映射得到 重建图像 即 2.根据权利要求1所述的一种基于多尺度密集特征融合的妆容迁移方法， 其特征在于： 密集特征模块仅由三个卷积块及一个转换层组成。 3.根据权利要求1所述的一种基于多尺度密集特征融合的妆容迁移方法， 其特征在于： 将每一层输出的特 征数设置为16 。权　利　要　求　书 2/2 页 3 CN 114998970 A 3