(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211287478.8 (22)申请日 2022.10.20 (71)申请人 聚好看科技股份有限公司 地址 266100 山东省青岛市崂山区松岭路 399号 (72)发明人 张思栋　许瀚誉　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 王春波 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/26(2022.01) G06V 10/40(2022.01) (54)发明名称 一种预测三维模型的姿态的方法及电子设 备 (57)摘要 本申请提供一种预测三维模型的姿态的方 法及电子设备， 用于提高姿态预测的准确率。 包 括： 利用预设算法对包含目标对象的图像进行手 部区域的分割， 得到手部区域图像和除所述手部 区域之外的人体区域图像； 对手部区域图像和人 体区域图像分别进行特征提取， 得到分辨率不同 的多个手部特征图和人体特征图； 针对手部区域 图像和人体区域图像中的任一区域图像， 基于区 域图像的初始三维姿态数据和区域图像的各特 征图分别对手部和人体的三维姿态进行预测， 得 到手部的三维姿态数据和人体的三维姿态数据； 通过各三维姿态数据中的各三维关键点之间的 旋转量， 将所述手部的三维关键点与所述人体的 三维关键点之间进行拼接， 得到所述目标对象 的 三维模型的姿态。 权利要求书3页 说明书12页 附图8页 CN 115482588 A 2022.12.16 CN 115482588 A 1.一种预测三维模型的姿态的方法， 其特 征在于， 所述方法包括： 利用预设算法对包含目标对象的图像进行手部区域的分割， 得到手部区域图像和除所 述手部区域之外的人体区域图像； 对所述手部区域图像和所述人体区域图像分别进行特征提取， 得到所述手部区域图像 的多层级金字塔特征图和所述人体区域图像的多层级金字塔特征图， 其中， 所述多层级金 字塔特征图包括分辨 率不同的多个特 征图； 针对所述手部区域图像和所述人体区域图像中的任意一个区域图像， 基于所述 区域图 像的初始三维姿态数据和所述区域图像的多层级金字塔特征图对手部或人体的三维姿态 进行预测， 得到手部的三维姿态数据或人体的三维姿态数据； 通过各三维姿态数据中的各三维关键点之间的旋转量， 将所述手部的三维关键点与 所 述人体的三维关键点之间进行拼接， 得到所述目标对象的三维模型的姿态。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述 区域图像的初始三维姿态数 据和所述区域图像的多层级金字塔特征图分别对手部或人体的三 维姿态进 行预测， 得到手 部的三维姿态数据或人体的三维姿态数据， 包括： 按照图像分辨 率从小到大的顺序对所述区域图像的多层级金字塔特 征图进行遍历； 针对任意一个遍历到的特征图， 将所述特征图和与所述特征图对应的目标三维姿态数 据输入至三 维姿态数据预测网络中， 得到预测三 维姿态数据， 其中， 所述目标三维姿态数据 包括所述初始三维姿态数据或上一次遍历得到的预测三维姿态数据； 判断是否还 存在未进行遍历的特 征图； 若存在， 则返回按照图像分辨率从小到大的顺序对所述 区域图像的多层级金字塔特征 图进行遍历的步骤， 直至不存在未进行遍历的特征图， 则将分辨率最高的特征图对应的预 测三维姿态数据确定为身体部位的三 维姿态数据， 其中， 所述身体部位包括人体或手部， 且 所述身体部位与所述区域图像中包 含的身体部位相同。 3.根据权利要求2所述的方法， 其特征在于， 通过以下方式确定与所述特征图对应的目 标三维姿态数据： 若所述特征图为初始进行遍历的特征图， 则与 所述特征图对应的目标三维姿态数据为 所述初始三维姿态数据； 或， 若所述特征图为非初始进行遍历的特征图， 则与 所述特征图对应的目标三维姿态数据 为上一次遍历得到的预测三维姿态数据。 4.根据权利要求1所述的方法， 其特征在于， 所述利用预设算法对包含目标对象的图像 进行手部区域的分割， 得到手部区域图像和除所述手部区域之外的人体区域图像， 包括： 利用区域检测算法对包含目标对象的图像进行手部区域检测， 得到所述图像中手部区 域的位置， 其中， 所述手部区域包括左手区域和右手区域； 根据所述手部区域的位置对所述目标图像进行裁剪， 得到所述手部区域图像和所述人 体区域图像。 5.根据权利要求1所述的方法， 其特征在于， 所述手部的三维关键点与 所述人体的三维 关键点之间进行拼接， 得到所述目标对象的三维模型的姿态之后， 所述方法还 包括： 针对所述三维模型的任意一个胳膊模型， 基于所述胳膊模型中肘部的三维关键点的位 置和所述胳膊模型中腕部的三维关键点的位置， 确定所述腕部与所述肘部之间的骨骼相对权　利　要　求　书 1/3 页 2 CN 115482588 A 2于预设平面的旋转角度， 其中， 所述肘部的三维关键点在所述预设平面中； 若所述旋转角度大于指定角度， 则根据所述指定角度和所述旋转角度得到优化角度； 利用所述优化角度对所述腕部与 所述肘部之间骨骼的旋转角度进行调整， 得到优化后 的三维模型。 6.根据权利要求1所述的方法， 其特征在于， 所述对所述手部区域图像和所述人体区域 图像分别进行 特征提取之前， 所述方法还 包括： 利用双线性插值 算法对所述手部区域图像进行 上采样。 7.一种电子设备， 其特征在于， 包括处理器和存储器， 所述处理器和所述存储器通过总 线连接； 所述存储器中存储有计算机程序， 所述处理器被配置为基于所述计算机程序 执行以下 操作： 利用预设算法对包含目标对象的图像进行手部区域的分割， 得到手部区域图像和除所 述手部区域之外的人体区域图像； 对所述手部区域图像和所述人体区域图像分别进行特征提取， 得到所述手部区域图像 的多层级金字塔特征图和所述人体区域图像的多层级金字塔特征图， 其中， 所述多层级金 字塔特征图包括分辨 率不同的多个特 征图； 针对所述手部区域图像和所述人体区域图像中的任意一个区域图像， 基于所述 区域图 像的初始三维姿态数据和所述区域图像的多层级金字塔特征图对手部或人体的三维姿态 进行预测， 得到手部的三维姿态数据或人体的三维姿态数据； 通过各三维姿态数据中的各三维关键点之间的旋转量， 将所述手部的三维关键点与 所 述人体的三维关键点之间进行拼接， 得到所述目标对象的三维模型的姿态。 8.根据权利要求7所述的电子设备， 其特征在于， 所述处理器执行所述利用预设算法对 包含目标对象的图像进行手部区域的分割， 得到手部区域图像和除所述手部区域之外的人 体区域图像， 具体 被配置为： 利用区域检测算法对包含目标对象的图像进行手部区域检测， 得到所述图像中手部区 域的位置， 其中， 所述手部区域包括左手区域和右手区域； 根据所述手部区域的位置对所述目标图像进行裁剪， 得到所述手部区域图像和所述人 体区域图像。 9.根据权利要求7 所述的电子设备， 其特 征在于， 所述处 理器， 还被 配置为： 所述手部的三维关键点与 所述人体的三维关键点之间进行拼接， 得到所述目标对象的 三维模型 的姿态之后， 针对所述三维模型 的任意一个胳膊模型， 基于所述胳膊模型中肘部 的三维关键点的位置和所述胳膊模型中腕部的三 维关键点的位置， 确定所述腕部与所述肘 部之间的骨骼相对于预设平面的旋转角度， 其中， 所述肘部的三维关键点在所述预设平面 中； 若所述旋转角度大于指定角度， 则根据所述指定角度和所述旋转角度得到优化角度； 利用所述优化角度对所述腕部与 所述肘部之间骨骼的旋转角度进行调整， 得到优化后 的三维模型。 10.根据权利要求7 所述的电子设备， 其特 征在于， 所述处 理器， 还被 配置为： 所述对所述手部区域图像和所述人体区域图像分别进行特征提取之前， 利用双线性插权　利　要　求　书 2/3 页 3 CN 115482588 A 3