(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211330943.1 (22)申请日 2022.10.28 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 陈浩锟　申瑞雪　王锐　 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 专利代理师 毛丹 (51)Int.Cl. G06T 3/00(2006.01) G06T 5/50(2006.01) G06V 10/75(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 图像编辑方法、 装置、 计算机设备和存储介 质 (57)摘要 本申请涉及一种图像编辑方法、 装置、 计算 机设备、 存储介质和计算机程序产品。 本申请涉 及人工智能。 所述方法包括： 将第一随机变量输 入初始图像生成模型和特征图像生成模型； 基于 目标属性所属的属性类型在对象图像中对应的 图像区域， 获取初始图像生 成模型中第一网络层 输出的第一初始对象图像和特征图像生成模型 中第二网络层输出的第一特征对象图像分别对 应的属性遮罩图像； 基于由属性遮罩图像确定的 目标联合遮罩图像， 将初始图像生成模型和特征 图像生成模型中匹配的目标网络层输出的第二 初始对象图像和第二特征对象图像进行融合， 得 到参考对象图像； 参考对象图像用于表征对第二 初始对象图像进行目标属性编辑得到的图像。 本 方法可提高图像编辑效率。 权利要求书3页 说明书23页 附图12页 CN 115393183 A 2022.11.25 CN 115393183 A 1.一种图像编辑方法， 其特 征在于， 所述方法包括： 获取第一随机变量， 将所述第 一随机变量分别输入初始图像生成模型和特征图像生成 模型； 所述初始图像生成模型是基于第一训练图像集训练得到的， 所述特征图像生成模型 是基于第二训练图像集对所述初始图像生成模型进行训练得到的； 所述第一训练图像集和 所述第二训练图像集包括目标类别对象对应的对象图像， 所述第二训练图像集中的对象图 像为包含目标属性的对象图像， 所述特 征图像生成模型输出的图像具有目标属性； 获取所述初始图像生成模型中第一网络层输出的图像， 得到第一初始对象图像， 获取 所述特征图像生成模型中第二网络层输出的图像， 得到第一特 征对象图像； 基于所述目标属性所属的属性类型在对象图像中对应的图像区域， 获取所述第 一初始 对象图像和所述第一特征对象图像分别对应的属性遮罩图像， 基于各个所述属性遮罩图像 得到目标 联合遮罩图像； 获取所述初始图像生成模型和所述特征图像生成模型中匹配的目标网络层输出的图 像， 得到第二初始对象图像和第二特 征对象图像； 基于所述目标联合遮罩图像将所述第二初始对象图像和所述第二特征对象图像进行 融合， 得到参考对 象图像； 所述参考对 象图像用于表征对所述第二初始对 象图像进行目标 属性编辑得到的图像。 2.根据权利要求1所述的方法， 其特征在于， 所述获取第一随机变量， 将所述第一随机 变量分别输入初始图像生成模型和特 征图像生成模型之前， 所述方法还 包括： 基于所述第一训练图像集， 对初始图像生成网络和初始图像判别网络进行对抗学习， 得到中间图像生成网络和中间图像判别网络； 基于所述中间图像生成网络得到所述初始图像生成模型； 基于所述第二训练图像集， 对中间图像生成网络和中间图像判别网络进行对抗学习， 得到目标图像生成网络和目标图像判别网络； 基于所述目标图像生成网络得到所述特 征图像生成模型。 3.根据权利要求1所述的方法， 其特征在于， 所述获取第一随机变量， 将所述第一随机 变量分别输入初始图像生成模型和特 征图像生成模型之前， 所述方法还 包括： 获取第一候选图像集； 所述第 一候选图像集中的各个第 一候选图像为所述目标类别对 象对应的对象图像； 基于所述目标类别对象的参考对象部位在第 一候选图像中的位置， 对各个第 一候选图 像进行图像对齐； 基于图像对齐后的各个第一 候选图像， 得到所述第一训练图像集； 获取第二候选图像集； 所述第 二候选图像集中的各个第 二候选图像为所述目标类别对 象对应的对象图像， 所述第二 候选图像为包 含目标属性的对象图像； 基于所述目标类别对象的参考对象部位在第 二候选图像中的位置， 对各个第 二候选图 像进行图像对齐； 基于图像对齐后的各个第二 候选图像， 得到所述第二训练图像集。 4.根据权利要求1所述的方法， 其特征在于， 所述第 一初始对象图像和所述第 一特征对 象图像为不同尺寸的图像， 所述第一初始对象图像和所述第一特征对象图像分别对应的属 性遮罩图像为 不同尺寸的图像；权　利　要　求　书 1/3 页 2 CN 115393183 A 2所述基于各个所述属性遮罩图像得到目标 联合遮罩图像， 包括： 将所述第一初始对象图像对应的属性遮罩图像作为第 一遮罩图像， 将所述第 一特征对 象图像对应的属性遮罩图像作为第二遮罩图像； 将所述第一遮罩图像和所述第 二遮罩图像进行尺寸对齐， 基于尺寸对齐后的第 一遮罩 图像和第二遮罩图像得到所述目标 联合遮罩图像。 5.根据权利要求1所述的方法， 其特征在于， 所述基于所述目标联合遮罩图像将所述第 二初始对象图像和所述第二特 征对象图像进行融合， 得到参 考对象图像， 包括： 从所述第二初始对象图像中， 获取与所述目标联合遮罩图像中遮挡区域匹配的图像区 域作为第一图像区域； 将所述第二初始对象图像和所述第二特 征对象图像进行融合， 得到融合对象图像； 从所述融合对象图像中， 获取与 所述目标联合遮罩图像中非遮挡区域匹配的图像区域 作为第二图像区域； 基于所述第一图像区域和所述第二图像区域， 得到所述 参考对象图像。 6.根据权利要求5所述的方法， 其特征在于， 所述从所述第二初始对象图像中， 获取与 所述目标 联合遮罩图像中遮挡区域匹配的图像区域作为第一图像区域， 包括： 对所述目标联合遮罩图像进行尺寸变换， 得到与 所述第二初始对象图像对应相同尺寸 的变换联合遮罩图像； 对所述变换 联合遮罩图像进行反遮罩处 理， 得到反联合遮罩图像； 将所述第二初始对象图像和所述反联合遮罩图像进行融合， 得到所述第一图像区域； 所述从所述融合对象图像中， 获取与所述目标联合遮罩图像中非遮挡区域匹配的图像 区域作为第二图像区域， 包括： 将所述融合对象图像和所述变换 联合遮罩图像进行融合， 得到所述第二图像区域。 7.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 将所述参考对象图像替换所述第二初始对象图像输入所述初始图像生成模型中目标 网络层的后向网络层， 获取 结尾网络层输出的图像作为目标对象图像； 其中， 所述目标对象图像用于表征对原始对象图像进行目标属性编辑得到的图像， 所 述原始对象图像是将所述第一随机变量输入所述初始图像生成模型， 所述结尾网络层直接 输出的图像。 8.根据权利要求7所述的方法， 其特征在于， 所述将所述参考对象图像替换所述第 二初 始对象图像输入所述初始图像生成模型中目标网络层的后向网络层， 获取结尾网络层输出 的图像作为目标对象图像， 包括： 将所述参考对象图像替换所述第二初始对象图像输入所述初始图像生成模型中目标 网络层的后向网络层， 获取后向网络层中第三网络层输出的图像作为第三初始对象图像； 获取所述特征图像生成模型中与所述第三网络层匹配的第四网络层输出的图像作为 第三特征对象图像； 基于当前联合遮罩图像将所述第 三初始对象图像和所述第 三特征对象图像进行融合， 得到更新对象图像； 所述当前联合遮罩图像为所述目标联合遮罩图像或更新联合遮罩图 像， 所述更新联合遮罩图像是基于所述初始图像生成模型中第五网络层输出的图像和所述 特征图像生成模型中第六网络层输出的图像得到的；权　利　要　求　书 2/3 页 3 CN 115393183 A 3