(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210877210.3 (22)申请日 2022.07.25 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市钱塘新区白杨 街道2号大街1 158号 (72)发明人 计忠平　 (51)Int.Cl. G06T 15/00(2011.01) G06T 15/04(2011.01) G06T 15/50(2011.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于单张照片的目标立体化智能生成 方法 (57)摘要 本发明公开了一种基于单张照片的目标立 体化智能生成方法， 包括如下步骤： S1、 构建数据 集， 包括单个人物模型及由多个人物构成的场 景， 获取多个视角下带纹理的渲染图以及相应视 角下的原始高度图； S2、 构建特征提取网络模型， 所述特征提取网络模型包括结构特征提取模块 和细节特征提取模块， 输入原始高度图通过结构 特征提取模块得到结构高度图， 通过细节特征提 取模块得到细节高度图； S3、 将得到的结构高度 图和细节高度图通过加权融合得到完整的目标 立体化形象模型； S4、 目标立体化形象模型作可 选的后处理， 进行特征提升。 该方法 降低该过程 对设备和专业技能的依赖和要求， 降低每个互联 网用户进行虚拟内容生产制作的门槛， 使其变得 像拍照那样的便捷。 权利要求书2页 说明书6页 附图4页 CN 115222864 A 2022.10.21 CN 115222864 A 1.一种基于单张照片的目标立体化智能生成方法， 其特 征在于， 包括如下步骤： S1、 构建数据集， 包括单个目标模型及由多个目标构成的场景， 获取多个视角下带纹理 的渲染图以及相应视角下的原 始高度图； S2、 构建特征提取网络模型， 所述特征提取网络模型包括结构特征提取模块和细节特 征提取模块， 输入原始高度图通过结构特征提取模块得到结构高度图， 通过细节特征提取 模块得到细节高度图， 所述结构特 征提取模块的损失函数如下： 其中， hi(u,v)表示三维场景的原始高度图， φ1(u,v)表示结构梯度调节函数， Ω表示整 个图像域， 而hs(u,v)表示模型输出的结构高度图， 所述细节特 征提取模块的损失函数如下： 其中， hi(u,v)表示三维场景的原始高度图， φ2(u,v)表示结构梯度调节函数， hd(u,v) 表示模型输出的细节高度图， Δ表示拉普拉斯 算子， 而div表示散度算子； S3、 将得到的结构高度图和细节高度图通过加权融合得到完整的目标立体化形象模 型； S4、 目标立体化形象模型作可选的图像后处理， 所述图像后处理包括图像重新光照化， 彩色照片灰度化以及对照片作非真实渲染处 理。 2.根据权利要求1所述的基于单张照片的目标立体化智能生成方法， 其特征在于， 所述 步骤S1中， 原始高度图的采集方法， 设定光照条件模拟现实中的照 片的采集环 境， 通过目标 三维模型 的形变、 组合获得大量三维场景， 结合多视图构建适合各种规模深度网络模型 的 数据集。 3.根据权利要求2所述的基于单张照片的目标立体化智能生成方法， 其特征在于， 所述 光照条件 包括无光照环境、 高动态范围贴图环境 光以及正 面方向的光源光照。 4.根据权利要求1所述的基于单张照片的目标立体化智能生成方法， 其特征在于， 所述 步骤S2中， 结构高度图获取方法， 通过结构特征提取模块通过引入梯度调节函数处理原始 高度图的梯度向量， 从而去除三维场景原始高度图中与背景之间较大 的高度间隙， 同时保 持必要的高度层次感， 然后结合对数据集中的高度图梯度分布确定具体的梯度调节函数中 的参数用于去除不必要的模值较大的梯度向量， 并引入定义在 梯度域上的损失函数。 5.根据权利要求4所述的基于单张照片的目标立体化智能生成方法， 其特征在于， 所述 梯度调节函数采用如下梯度调节函数， 表达式如下： 其中， 参数α 的取值可根据高度图的分辨率而定， 如当分辨率为1024 ×1024时， 取值为 256， 该函数的特点是将大于一定值的梯度模值统一变换到1， 进而隐式地消除了原来较大 的梯度模值。权　利　要　求　书 1/2 页 2 CN 115222864 A 26.根据权利要求5所述的基于单张照片的目标立体化智能生成方法， 其特征在于， 所述 步骤S2中， 细节高度图获取方法， 所述细节特征提取模型通过细节梯度调节函数来处理高 度图的梯度向量， 再结合散度算子div计算高度图的局部细节， 所述细节梯度调节函数φ2 (u,v)为使用两个不同参数α 值的所述梯度调节函数S(x, α )之差， 其具体形式为， Φ2(x, α1, α2)＝(S(||x||, α2)‑S(||x||, α1))x。 7.根据权利要求1所述的基于单张照片的目标立体化智能生成方法， 其特征在于， 所述 步骤S3的加权融合表达式如下： h(u,v)＝Γ(hs(u,v)， hd(u,v)) 其中， Γ(·，·)表示具体的融合方式。权　利　要　求　书 2/2 页 3 CN 115222864 A 3