(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221081816 5.4 (22)申请日 2022.07.12 (71)申请人 同济大学 地址 200082 上海市杨 浦区四平路1239号 (72)发明人 贾金原　黄安宁　张乾　 (74)专利代理 机构 北京中睿智恒知识产权代理 事务所(普通 合伙) 16025 专利代理师 黄莉 (51)Int.Cl. G06T 3/00(2006.01) G06T 7/10(2017.01) G06T 17/00(2006.01) G06V 40/16(2022.01) (54)发明名称 一种表情可编辑的人脸照片夸张化漫画的 智能生成方法 (57)摘要 本发明公开了一种表情可编辑的人脸照片 夸张化漫画的智能生成方法。 我们创新性地提出 了夸张化参数分析模块， 分析人脸照片和参考漫 画的情感、 脸型及五官特点， 自动匹配最合适的 夸张化草图， 基于三维夸张化方法对分割图进行 夸张化， 并支持液化表情编辑模块进行二次修 改。 生产夸张化分割图之后， 我们将分割图与参 考漫画作为输入， 采用基于StyleGAN的方法进行 风格转换， 从而生成具有多种夸张风格， 极具艺 术性的漫画。 本文的实验结果以及用户评测均证 实了我们的系统简单有效， 对比于现有漫画生成 方法， 我们第一个提出了对漫画整体与细节进行 编辑， 具有显著创新 性和良好的效果。 权利要求书2页 说明书6页 附图2页 CN 115239549 A 2022.10.25 CN 115239549 A 1.一种表情可编辑的人脸照片夸张化漫画的智能生成方法， 其特征在于， 包括以下步 骤： 在漫画生成任务 中， 有照片域X和漫画域Y， 目标是找到映射F:X →Y， 将深度语义分割映 射引入作为中间域Z＝{Zx,Zy}， 其中， Zx表示照片语义分割图域， Zy表示漫画语义分割图域； S1， 从照片中获取分割图， 并通过夸张参数分析模块， 对输入照片的情感信息， 参考漫 画的面部属 性信息及 几何组成进行分析， 匹配到一张最合适的夸张化草图， 用于夸张化网 络； S2， 根据分析结果， 使用我们提出的草图驱动的表情夸张化网络， 该夸张网络名为 SketchExpCar iNet， 用于预测面部形变 关键点， 并以此为依据对面部分割图进行形变， 得到 夸张化的面部分割图； 对于形变后的分割图， 用户可使用基于液化算法的在线交互式编辑 模块进行 更加细化的编辑， 该编辑包 含轮廓编辑以及面部细节编辑； S3， 使用夸张化分割图的风格转换网络， 该风格转换网络为CariMaskStyGAN， 基于 StyleGAN方法， 提取出参考漫画的纹理特征， 由夸张化漫画分割图获得风格与参考漫画一 致的漫画结果， 完成夸张化 面部分割图到漫画的转换。 2.根据权利要求1所述的表情可编辑的人脸照片夸张化漫画的智能生成方法， 其特征 在于， 所述步骤S1， 从照片中获取分割图， 并通过夸张参数分析模块， 对输入照片的情感信 息， 参考漫画的面部属性信息及几何组成进 行分析， 匹配到一张最合适的夸张化草图， 用于 夸张化网络， 具体包括： S101， 对输入的人脸照片进行语义分割： 使用经典的人脸语义分割网络对照片进行语义分割， 生成面部分割图； S102， 对输入照片进行夸张参数分析： 对照片的情感进行分类， 对照片进行人脸表情到情感的量化解析， 将人脸表情映射至 人类七大情感之一， 生成情感标签， 解决照片与参 考漫画的表情不 一致问题； S103， 对输入参 考漫画的进行夸张特 征分析： 通过属性判别器判别脸型等局部信息， 分析漫画面部的几何组成结构， 从夸张化草图 数据集中找出一个合 适的夸张化 草图； S104， 通过投影获得每 个3DMM参数向量对应的夸张化： 最后， 我们在一个模板网格上预标签35个特征点， 这些特征点定位于面部轮廓和面部 特征的轮廓。 由于所有的3D漫画都具有相同的拓扑结构， 我们可以很容易地在每个网格上 获得这些特征点， 并将它们投射到2D平 面上。 通连接这些2D面部特征点， 我们制作了10,000 个夸张化草图。 从而得到夸张化 草图和相应的3DM M参数向量。 3.根据权利要求1所述的表情可编辑的人脸照片夸张化漫画的智能生成方法， 其特征 在于， 所述步骤S2， 根据分析结果， 使用我们提出的草图驱动的表情夸张化网络， 来预测面 部形变关键点， 并以此为依据对面部 分割图进行形变， 得到夸张化的面部 分割图， 对于形变 后的分割图， 用户可使用基于液化算法的在线交互式编辑模块进行更加细化的编辑， 包含 轮廓编辑以及面部细节编辑， 具体包括： S201， 分别对照片与夸张化 草图进行三维建模， 将两者结合 生成夸张化 三维模型： 通过Id‑Net与Cari ‑Net分别对照片和进行建模， 生成真实人脸模型与夸张化人脸的 3DMM参数， 将两者结合 起来生成夸张化 三维模型；权　利　要　求　书 1/2 页 2 CN 115239549 A 2S202， 对真实面部分割图的特 征点进行夸张， 获得夸张化人脸分割图： 将夸张化三维模型中的面部特征点进行投影， 可以获得夸张化的二维面部特征点， 根 据照片特征点与夸张化特征点， 可以对人脸分割图进行夸张， 从而实现了照片深度分割图 到漫画深度分割图的转换。 4.根据权利要求1所述的表情可编辑的人脸照片夸张化漫画的智能生成方法， 其特征 在于， 所述步骤S3， 设计夸张化分割图的风格转换网络， 使用S1中生成的数据集{Y,Zy}进行 训练， 根据参 考样式获得漫画深度分割图和漫画之间的映射， 具体包括： S301， 语义细节预处 理； 对于输入图像我们使用一组定向Gabor内核过滤器来过滤它， 获得照片的细节， 生成的 结果将被添加到训练分割图中； S302， 由夸张化分割图和参 考漫画， 获得不同风格的漫画； S303， 通过对分割图涂抹以及液化编辑 等方式， 对漫画进行编辑。权　利　要　求　书 2/2 页 3 CN 115239549 A 3