(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221083415 5.X (22)申请日 2022.07.14 (71)申请人 海信视像科技股份有限公司 地址 266555 山东省青岛市经济技 术开发 区前湾港路218号 申请人 清华大学　 聚好看科技股份有限公司 (72)发明人 于芝涛　徐乐朗　刘烨斌　吴连朋　 任子健　张富涛　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 任嘉文 (51)Int.Cl. G06T 17/00(2006.01) G06T 15/04(2011.01)G06T 7/10(2017.01) (54)发明名称 一种物体的三维模型重建方法及电子设备 (57)摘要 本申请提供一种物体的三维模型重建方法 及电子设备， 用于提高重建的三维模型的准确 率。 包括： 响应于用户触发的物体三维模型重建 指令， 获取与物体对应的多视角图像； 对多视角 图像分别进行分割， 得到分割后的各图像； 基于 分割后的各图像和各图像对应的掩膜 图像对所 述物体的目标参数以及所述物体的类别对应的 深度隐式模板DIT参数进行调整， 得到调整后的 目标参数和调整后的DIT 参数； 通过调整后的DIT 参数对与所述物体的类别对应的初始三维模型 的形状进行调整， 得到候选三维模型， 其中， 所述 初始三维模型为基于DIT 参数以及所述物体对应 的多视角图像得到的； 利用调整后的目标参数对 候选三维模 型的颜色进行调整， 得到所述物体的 目标三维模型。 权利要求书3页 说明书15页 附图8页 CN 115294268 A 2022.11.04 CN 115294268 A 1.一种物体的三维模型重建方法， 其特 征在于， 所述方法包括： 响应于用户触发的物体三维模型重建指令， 获取与 所述物体对应的多视角图像， 其中， 所述多视角图像为所述物体在不同角度下 所拍摄的各图像； 对所述物体的多视角图像分别进行分割， 得到分割后的各图像； 并， 基于所述分割后的各图像和所述各图像对应的掩膜图像对所述物体的目标参数以及 所述物体的类别对应的深度隐式模板DIT参数进行调整， 得到调整后的目标参数和调整后 的DIT参数； 通过所述调整后的DIT参数对与所述物体的类别对应的初始三维模型的形状进行调 整， 得到候选三维模型， 其中， 所述初始三维模型为基于所述DIT参数以及所述物体对应的 多视角图像得到的； 利用所述调 整后的目标参数对所述候选三维模型的颜色进行调整， 得到所述物体的目 标三维模型。 2.根据权利要求1所述的方法， 其特征在于， 通过以下方式得到所述各图像对应的掩膜 图像： 针对任意一个图像中的任意一个像素点， 从与 所述图像对应的相机视角发射一条指向 所述像素点的光线， 并在所述 光线上等距采样指定数量的采样点； 针对任意一个采样点， 基于所述采样点的位置坐标和所述目标参数， 确定所述采样点 的符号距离场 sdf值， 其中， 所述sdf值用于表征所述采样点与所述物体的初始三维模型表 面之间的距离； 将各采样点的sdf值中数值 最小的sdf值确定为与所述像素点相对应的掩膜像素值； 通过所述图像中的各像素点的掩膜像素值， 得到与所述图像对应的掩膜图像。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述采样点的位置坐标和所述目 标参数， 确定所述采样点的sdf值， 包括： 利用所述目标参数对所述采样点的位置坐标进行位置变换， 得到所述采样点的目标位 置坐标， 其中， 所述目标参数包括旋转 参数、 平移参数以及比例参数中的至少一种； 将所述采样点的目标位置坐标输入至sdf函数中， 得到所述采样点的sdf值。 4.根据权利要求1所述的方法， 其特征在于， 所述基于所述分割后的各图像和所述各图 像对应的掩膜图像对所述物体的目标参数以及所述物体的类别对应的DIT参数进行调整， 得到调整后的目标参数和调整后的DIT参数， 包括： 基于所述分割后的各图像以及所述各图像对应的掩膜图像， 得到第一损失值； 若所述第一损失值不满足第 一预设条件， 则按照预设规则分别对所述物体的目标参数 以及所述物体类别对应的DIT参数进行调整， 得到中间目标参数和中间DIT参数后， 利用所 述中间目标参数和所述中间DIT参数分别对各图像再次进行渲染， 得到所述各图像更新后 的掩膜图像， 并将所述各图像更新后的掩膜图像确定为所述各图像对应的掩膜图像后， 返 回执行基于所述分割后的各图像以及所述各图像对应的掩膜图像， 得到第一损失值的步 骤， 直至所述第一损失值满足所述第一预设条件， 则将满足第一预设条件的第一损失值对 应的中间目标参数确定为所述调整后的目标参数以及将满足所述预设条件的第一损失值 对应的中间DIT参数确定为所述调整后的DIT参数。 5.根据权利要求4所述的方法， 其特征在于， 所述基于所述分割后的各图像以及所述各权　利　要　求　书 1/3 页 2 CN 115294268 A 2图像对应的掩膜图像， 得到第一损失值， 包括： 针对任意一个分割后的图像， 将与 所述分割后的图像对应的掩膜图像中的第 一目标像 素点的像素值相加， 得到第一总像素值， 其中， 所述第一目标像素点为所述掩膜图像中像素 值小于指定阈值的各像素点； 以及， 将与所述分割后的图像对应的掩膜图像中的第 二目标像素点的像素值相加， 得到第 二 总像素值， 其中， 所述第二目标像素点为所述掩膜图像中像素值大于指定阈值的各像素点； 并， 将所述第一总像素值和所述第 二总像素值相加， 得到所述分割后的图像对应的目标总 像素值； 将各分割后的图像对应的目标总像素值相加， 得到所述第一损失值。 6.根据权利要求1所述的方法， 其特征在于， 所述利用所述调 整后的目标参数对所述候 选三维模型的颜色进行调整， 得到所述物体的目标三维模型， 包括： 针对所述多视角图像中的任意一个图像中的任一像素点， 利用预设函数、 所述调整后 的目标参数以及所述调整后的DIT参数， 确定所述像素点的目标颜色值； 基于所述图像中各像素点的目标颜色值对所述图像进行面绘制， 得到渲染图像； 基于所述 渲染图像和所述 渲染图像对应的掩膜图像， 得到第二损失值； 若所述第二损失值不满足第二预设条件， 则对所述预设函数中的指定参数进行调整 后， 返回利用预设函数、 所述调整后的目标参数以及所述调整后的DIT参数， 确定所述像素 点的目标颜色值的步骤， 直至所述第二损失值满足所述第二预设条件， 则基于满足所述第 二预设条件的第二损失值所对应的目标颜色值对所述候选三 维模型的颜色进 行调整， 得到 所述物体的目标三维模型。 7.根据权利要求6所述的方法， 其特征在于， 所述预设函数包括第 一预设函数和第 二预 设函数； 所述利用预设函数、 所述调整后的目标参数以及所述调整后的DIT参数， 确定所述像素 点的目标颜色值， 包括： 针对所述多视角图像中的任意一个图像中的任意一个像素点， 从与 所述图像对应的相 机视角发射 一条指向所述像素点的光线； 利用所述调 整后的目标参数对所述光线中的各采样点的位置坐标进行位置变换， 得到 所述光线中各采样点变换后的位置坐标； 利用所述光线中各采样点变换后的位置坐标、 所述第一预设函数以及 sdf函数， 得到所 述候选三维模型与所述 光线的交点的位置坐标； 通过所述调 整后的目标参数对所述交点的位置坐标进行位置变换， 得到所述交点变换 后的位置坐标； 将所述交点变换后的位置坐标输入至所述第 二预设函数中， 得到所述像素点的目标颜 色值。 8.根据权利要求7所述的方法， 其特征在于， 所述利用所述光线中各采样点变换后的位 置坐标、 所述第一预设函数以及sdf函数， 得到所述候选三 维模型与所述光线的交点的位置 坐标， 包括： 按照指定顺序遍历所述光线中的各采样点， 针对任意一个遍历到的采样点， 执行以下权　利　要　求　书 2/3 页 3 CN 115294268 A 3