(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210964068.6
(22)申请日 2022.08.11
(71)申请人 广州沃佳科技有限公司
地址 510000 广东省广州市海珠区新港中
路397号自编82号3 06房A2号之二
(72)发明人 朱鹏飞
(74)专利代理 机构 成都顶峰专利事务所(普通
合伙) 51224
专利代理师 王袁辉
(51)Int.Cl.
G06T 17/10(2006.01)
G06T 7/60(2017.01)
G06V 40/10(2022.01)
G06V 10/44(2022.01)
G06V 10/26(2022.01)G06V 10/82(2022.01)
(54)发明名称
一种人体模型的构建方法、 装置、 电子设备
及存储介质
(57)摘要
本发明公开了一种人体模型的构建方法、 装
置、 电子设备及存储介质, 本发明在进行人体模
型重建时, 无需采集人体的深度图像, 也无需计
算人体的深度信息, 因此, 相比于设备扫描重建
方法以及双 目/多目视觉重建方法, 本发明的成
本低、 方式简便且不依赖设备, 更便于广泛推广;
同时, 生成的三维模型不需要算法连续性修正就
可以直接使用, 使用起来更加方便; 另外, 相比于
单帧图像重建算法, 本发明将正侧两张照片对应
的轮廓图像输入至人体参数识别模型中进行体
型参数的回归, 避免了单张图像缺失部分特征的
问题, 进而大幅提高了模型的构建精度。
权利要求书3页 说明书14页 附图2页
CN 115294295 A
2022.11.04
CN 115294295 A
1.一种人体模型的构建方法, 其特 征在于, 包括:
获取目标人物 的人体二维图像, 其中, 人体二维图像包括人体正面图像以及人体侧面
图像;
对所述人体二维图像进行轮廓识别, 得到人体正 面轮廓图像以及人体侧面轮廓图像;
将所述人体正面轮廓图像以及所述人体侧面轮廓图像输入至人体参数识别模型中, 分
别得到所述人体正面图像对应的第一人体体型参数, 以及所述人体侧面图像对应的第二人
体体型参数, 其中, 第一人体体型参数和第二人体体型参数均用于表征目标人物的身体形
态数据;
基于所述第一人体体型参数和所述第二人体体型参数, 得到目标人物的标定体型参
数;
获取初始人体三维模型, 并基于所述标定体型参数, 调 整所述初始人体三维模型, 以在
调整后, 得到所述目标 人物的人体模型。
2.根据权利要求1所述的方法, 其特征在于, 对所述人体二维图像进行轮廓识别, 得到
人体正面轮廓图像以及人体侧面轮廓图像, 包括:
将所述人体二维图像输入至训练后的语义分割深度神经网络 中进行轮廓识别, 得到人
体正面初始轮廓图像以及人体侧面初始轮廓图像;
对所述人体正面初始轮廓图像和所述人体侧面初始轮廓图像进行掩码顶格处理, 得到
处理后的人体正 面初始轮廓图像以及处 理后的人体侧面初始轮廓图像;
对所述处理后的人体正面初始轮廓图像以及所述处理后的人体侧面初始轮廓图像进
行边界填充处 理, 以在填充后, 得到所述人体正 面轮廓图像以及所述人体侧面轮廓图像。
3.根据权利要求2所述的方法, 其特征在于, 对所述人体正面初始轮廓图像进行掩码顶
格处理, 得到处 理后的人体正 面初始轮廓图像, 包括:
将所述人体正 面初始轮廓图像进行掩码处 理, 得到人体正 面轮廓掩码图像;
基于所述人体正面轮廓掩码图像, 得到目标点的坐标信 息, 其中, 所述目标点的坐标信
息包括目标点的最小横坐标、 最大横坐标、 最小纵坐标以及最大纵坐标, 且所述目标点为所
述人体正 面轮廓掩码图像中像素值 为255的像素点;
利用所述坐标信 息, 确定出目标图像区域的切割坐标, 其中, 所述目标图像区域为所述
人体正面轮廓掩码图像中, 所述目标 人物的正 面轮廓对应的图像区域;
基于所述切割坐标, 从所述人体正面轮廓掩码图像 中, 截取出所述目标图像区域, 以将
截取出的目标图像区域, 作为所述处 理后的人体正 面初始轮廓图像。
4.根据权利要求2所述的方法, 其特征在于, 对所述处理后的人体正面初始轮廓图像进
行边界填充处 理, 以在填充后, 得到所述人体正 面轮廓图像, 包括:
获取标准图像 高度以及所述处理后的人体正面初始轮廓图像的实际高度, 并基于所述
标准图像高度和所述实际高度, 计算得到图像缩放比例;
按照所述图像缩放比例, 对所述处理后的人体正面初始轮廓图像进行缩放处理, 得到
缩放后的人体正 面初始轮廓图像;
按照标准图像尺寸, 扩充所述缩放后的人体正面初始轮廓图像的边界, 以在扩充后, 得
到所述人体正 面轮廓图像。
5.根据权利要求1所述的方法, 其特征在于, 所述第一人体体型参数包括多个第一参权 利 要 求 书 1/3 页
2
CN 115294295 A
2数, 所述第二人体 体型参数包括多个第二 参数;
其中, 基于所述第一人体体型参数和所述第二人体体型参数, 得到目标人物的标定体
型参数, 包括:
对于所述第一人体体型参数中的各个第一参数, 从所述第二人体体型参数中, 匹配出
与各个第一参数相对应的第二参数, 其中, 任一第一参数相对应的第二参数, 为与所述任一
第一参数表征同一身体形态数据的第二 参数;
将各个第 一参数, 与各个第 一参数对应的第二参数相加, 得到各个第 一参数的参数值,
并计算每个参数值的均值, 以便将每个参数值的均值, 作为每个第一参数对应身体形态数
据的标定值;
利用每个第一参数对应身体形态数据的标定值, 组成所述标定体型参数;
相应的, 基于所述标定体型参数, 调整所述初始人体三维模型, 以在调整后, 得到所述
目标人物的人体模型, 包括:
为所述初始人体三维模型中的每种人体体型参数配置一BlendShape调整组件, 其中,
所述初始人体三维模型中的人体 体型参数与所述标定体型参数一 一对应;
基于所述标定体型参数中各个标定体型参数的参数值, 调整各个标定体型参数对应人
体体型参数的BlendShape调整组件的参数值, 以在调整后, 得到所述目标 人物的人体模型。
6.根据权利要求1所述的方法, 其特征在于, 在获取目标人物的人体二维图像前, 所述
方法还包括:
获取人体样本图像集, 其中, 所述人体样本图像集包括人体样本三维图像、 多张人体样
本正面图像以及多张人体样本侧面图像, 且每张人体样本正面图像以及每张人体样本侧面
图像均为 二维图像;
对所述人体样本三维图像进行PCA降维处 理, 得到人体样本体型参数;
对所述每张人体样本正面图像以及所述每张人体样本侧面图像分别进行轮廓识别, 得
到多张人体样本正 面轮廓图像以及多张人体样本侧面轮廓图像;
以人体样本体型参数、 多 张人体样本正面轮廓图像以及多 张人体样本侧面轮廓图像为
输入, 每张人体样本正面图像和每张人体样本侧 面图像的人体体型参数为输出, 训练神经
网络模型, 以在训练后, 得到所述人体参数识别模型。
7.根据权利要求6所述的方法, 其特征在于, 在训练所述神经网络模型时, 所述方法包
括:
对每张人体样本正面图像以及每张人体样本侧面图像进行人体关键点检测, 得到每张
人体样本正面图像对应的骨骼关键点信息, 以及每张人体样本侧面图像对应的骨骼关键点
信息;
基于每张人体样本正面图像以及每张人体样本侧面图像对应的骨骼关键点信 息, 得到
标定骨骼关键点信息;
记录所述神经网络模型输出的每一人体检测体型参数, 并基于记录的每一人体检测体
型参数, 调整 所述初始人体三 维模型, 并在调整后, 截取调整后的初始人体三 维模型的正面
图像, 以得到多张检测正 面图像;
对每张检测正 面图像进行 人体关键点检测, 得到多组人体 检测骨骼点信息;
对于每组人体检测骨骼点信息, 基于所述标定骨骼关键点信息, 计算每组人体检测骨权 利 要 求 书 2/3 页
3
CN 115294295 A
3
专利 一种人体模型的构建方法、装置、电子设备及存储介质
文档预览
中文文档
20 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共20页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 04:36:56上传分享