(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210788579.7 (22)申请日 2022.07.06 (65)同一申请的已公布的文献号 申请公布号 CN 114863037 A (43)申请公布日 2022.08.05 (73)专利权人 杭州像衍科技有限公司 地址 311121 浙江省杭州市余杭区五常街 道文一西路9 98号19幢6 03B室 (72)发明人 鲍虎军　孙佳明　罗运升　余致远　 赵洪城　周晓巍　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 刘静 (51)Int.Cl. G06T 17/00(2006.01) (56)对比文件 CN 114581571 A,202 2.06.03CN 114004941 A,202 2.02.01 CN 114119839 A,202 2.03.01 CN 114241113 A,202 2.03.25 WO 2022121220 A1,202 2.06.16 WO 20210 37257 A1,2021.0 3.04 CN 114118367 A,202 2.03.01 WO 2022104299 A1,202 2.05.19 US 2014327613 A1,2014.1 1.06 F.Condorelli等.A COMPARISON BETWE EN 3D RECONSTRUCTION USI NG NERF NEURAL NETWORKS AND MVS ALG ORITHMS ON CULT URAL HERITAGE IMAGES. 《The I nternati onal Archives of the Photogram metry, Remote Sensing and Spatial I nformati on Sciences》 .2021,第5 65-570页. 董洪伟.基 于网格变形的从图像 重建三维人 脸. 《计算机 辅助设计与图形 学学报》 .2012,(第 07期),第932-940页. 审查员 娄贝贝 (54)发明名称 基于单手机的人体三维建模数据采集与重 建方法及系统 (57)摘要 本发明公开了一种基于单手机的人体三维 建模数据采集与重建方法及系统， 本发明在数据 采集方面可仅使用单个智能手机， 利用增强现实 技术引导用户采集对重建算法而言高质量的视 频数据输入， 以确保后续的人体重建算法能够稳 健地得到高质量三维人体模型。 在重建算法方 面， 本发明设计了可变形隐式神经辐射场。 隐式 空间变形场估计模型的使用解决了单手机采集 数据过程中被摄存在微小运动的问题； 使用隐式 带符号距离场来表示人体几何， 表达能力丰富， 提高了三维人体模型重建的精度。 综合数据采集 和重建算法， 本发明实现了可靠的基于单手机的 人体高质量 三维建模数据采集与重建。 权利要求书2页 说明书8页 附图3页 CN 114863037 B 2022.10.11 CN 114863037 B 1.一种基于单手机的人体三维建模数据采集与重建方法， 其特 征在于， 包括以下步骤： S1， 基于增强现实技 术的数据采集， 包括： S1.1， 要求被摄处于场景中心站立， 保持一展开人体表面的利于重建的姿态不动， 用户 通过手机环绕被摄一周， 根据多视角下拍摄到的被摄的体型和姿态拟合人体参数化模板网 格， 并利用增强现实技术将所述人体参数化模板网格渲染在被摄所站立的场景位置， 近似 达到人体参数化模板网格与被 摄重合的视 觉效果； S1.2， 利用拟合得到的人体参数化模板网格指引用户数据采集过程， 数据采集过程中， 判断所述人体参数化模板网格上单个面片在当前视角下的观测是否有效， 若面片在某一视 角的观测下， 同时满足有效观测的距离标准和视线角度标准， 则此面片的有效观测计数加 一， 若此面片的有效观测计数达到 设定数量阈值， 则认为此面片已经有足够数量的观测， 更 改此面片的颜色标记， 指示用户此面片位置已采集完成， 用户将视角移动到还未足够观测 的区域采集， 当人体参数化模板网格上的全部面片变色后， 数据采集过程完成； S2， 基于可变形隐式神经辐射场的三维人体模型重建， 包括： S2.1， 将S1.2采集的视频抽帧为一系列环绕人体拍摄的图像序列， 根据图像间特征点 的匹配关系， 估计出拍摄图像所对应的相机位姿和相机内参； S2.2， 使用可变形隐式神经辐射场对人体进行三维建模， 所述可变形隐式神经辐射场 包括隐式空间变形场估计模型、 隐式带符号距离场估计模型和隐式颜色估计模型； 利用神经网络建立从每一个图像帧对应的观测帧坐标系到基准空间的隐式空间变形 场估计模型， 所述隐式空间变形场估计模型 的输入为观测帧坐标系 下的三维点坐标， 输出 为基准坐标系下的三维点 坐标； 利用神经网络建立基准空间中表达基准形状的隐式带符号距离场估计模型， 所述隐式 带符号距离场估计模型的输入为基准空间中三维点坐标， 输出为三 维点的带符号距离和几 何特征； 利用神经网络建立基准空间中从特定方向观测三维点的颜色的隐式颜色估计模型， 所 述隐式颜色估计模型的输入为隐式带符号距离场估计模型输出的三维点的几何特征以及 表征视线的向量， 输出为模型估计的沿特定 视线方向每 个采样点的颜色； 基于S2.1得到的图像对应的相机位姿和相机内参， 在输入图像集合上利用体渲染的方 式对隐式空间变形场估计模型、 隐式带符号距离场估计模型和隐式颜色估计模型进行优 化， 得到隐式三维人体模型； 通过等值面提取方法对可变形隐式神经辐射场的隐式带符号距离场进行后处理， 得到 显式三维人体模型。 2.根据权利要求1所述的基于单手机的人体三维建模数据采集与重建方法， 其特征在 于， 步骤S1.1具体为： 运行定位与建图算法， 实时得到数据采集时的相机位姿； 运行人体关键点检测算法， 实时得到所摄图像上的人体关键点 位置； 根据得到的相机位姿和人体关键点位置， 拟合人体参数化模板网格至被摄位置， 达到 视觉上人体参数化模板网格与被摄重合的视觉效果， 用户将根据人体参数化模板网格的指 引完成数据采集。 3.根据权利要求1所述的基于单手机的人体三维建模数据采集与重建方法， 其特征在权　利　要　求　书 1/2 页 2 CN 114863037 B 2于， 步骤S1.2中， 基于对相机的实时定位结果， 计算相机光心与面片中心点的距离， 若此距 离小于设定距离阈值， 则认为当前视角下此面片符合有效观测的距离标准； 基于对相 机的 实时定位结果， 计算相 机光心与面片 中心点的连线， 若此连线与面片法向量的夹角小于设 定视线角度阈值， 则认为当前视角下 此面片符合有效观测的视线角度标准。 4.根据权利要求1所述的基于单手机的人体三维建模数据采集与重建方法， 其特征在 于， 步骤S2.1具体为： 通过运动恢复结构方法对图像序列进 行稀疏重建， 运动恢复结构方法 的输入是围绕人体使用手机拍摄的一系列图像帧， 输出是这些图像对应的相机位姿和相机 内参以及根据这些图像重建得到的稀疏点云。 5.根据权利要求1所述的基于单手机的人体三维建模数据采集与重建方法， 其特征在 于， 步骤S2.2中， 根据图像真实度损失函数和带符号距离场正则化损失函数， 反向传播更新 每一个观测帧的形变编码和隐式空间变形场估计模型、 隐式带符号距离场估计模型、 隐式 颜色估计模型。 6.一种实现如权利要求1 ‑5中任一项所述方法的基于单手机的人体三维建模数据采集 与重建系统， 其特 征在于， 该系统包括数据采集模块和重建模块； 数据采集模块： 通过增强现实技术在采集场景中虚拟放置人体参数化模板网格， 用户 跟随所述人体参数化模板网格上的视觉指引采集视频数据， 并从视频数据抽取图像帧后送 入重建模块； 重建模块： 估计所有图像帧所对应的相机位姿和相机内参， 使用可变形隐式神经辐射 场对人体进行三维建模， 利用体渲染的方式对隐式空间变形场估计模型、 隐式带符号距离 场估计模型和隐式颜色估计模型进行优化， 得到三维人体模型。权　利　要　求　书 2/2 页 3 CN 114863037 B 3