(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211402737.7 (22)申请日 2022.11.10 (71)申请人 北方健康医疗大 数据科技有限公司 地址 250000 山东省济南市槐荫区恒大雅 苑8-1地块商务办公B座24层 (72)发明人 尹芳　邓小宁　马杰　匡尚超　 蔡卓人　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 梁军丽 (51)Int.Cl. G16H 30/00(2018.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06T 17/00(2006.01) (54)发明名称 一种基于 关键点生 成数字人体影像的方法、 装置及设备 (57)摘要 本发明公开了一种基于关键点生成数字人 体影像的方法、 装置及设备， 该方法包括： 获取生 物人图像； 将生物人图像输入至预先训练好的骨 骼关键点生成模块， 得到骨骼关键点， 根据骨骼 关键点得到骨骼矩阵； 将生物人图像输入至预先 训练好的皮肤生成模块， 根据骨骼关键点得到皮 肤矩阵； 将骨骼矩阵和皮肤矩阵输入到普通数字 人生成模块， 得到普通数字人影像； 获取对应生 物人图像的器官病灶影像， 通过器官病灶点云转 化模块根据器官病灶影像得到器官病灶点云矩 阵； 通过预设合成 网络将器官病灶点云矩阵和普 通数字人影像进行融合， 得到医学数字人影像。 解决了如何针对不同的生物人， 生成对应其形态 特征的电子数字人的技 术问题。 权利要求书4页 说明书10页 附图5页 CN 115458128 A 2022.12.09 CN 115458128 A 1.一种基于关键点 生成数字人体 影像的方法， 其特 征在于， 包括： 获取生物人图像； 将所述生物人图像输入至预先训练好的骨骼关键点生成模块， 得到骨骼关键点， 根据 所述骨骼关键点得到骨骼 矩阵； 将所述生物人图像输入至预先训练好的皮肤生成模块， 根据所述骨骼关键点得到皮肤 矩阵； 将所述骨骼 矩阵和所述皮肤矩阵输入到普通数字人生成模块， 得到普通数字人影 像； 获取对应所述生物人图像的器官病灶影像， 通过器官病灶点云转化模块根据 所述器官 病灶影像得到器官病灶点云矩阵； 通过预设合成网络将所述器官病灶点云矩阵和所述普通数字人影像进行融合， 得到医 学数字人影 像； 其中， 所述骨骼关键点生成模块、 所述皮肤生成模块、 所述普通数字人生成模块、 所述 器官病灶点云转 化模块根据网格卷积和骨骼卷积搭建。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述骨骼关键点得到皮肤矩阵， 具体包括： 根据生物人图像生成网格mesh， 确定骨骼关键点影响网格顶点的皮肤权重， 所述网格 mesh模拟人体的皮肤形状； 基于网格连通度， 对所述网格顶点的邻边特 征取平均值， 得到边 缘轴； 在所述邻边特征进行前向传递后， 根据所述骨骼关键点和所述皮肤权重对所述网格顶 点的坐标值进行 预测； 基于网格连接性， 根据所述 边缘轴和预测的网格顶点 坐标值确定数字人皮肤矩阵。 3.根据权利要求2所述的方法， 其特征在于， 所述确定骨骼关键点影响网格顶点的皮肤 权重， 具体包括： 确定骨骼关键点的坐标值和所述网格顶点的坐标值； 根据所述骨骼关键点的坐标值和所述网格顶点的坐标值确定网格顶点与每个骨骼关 键点之间的距离； 根据所述距离的远近确定皮肤权 重； 其中， 所述距离越近， 相应网格顶点的皮肤权 重越大。 4.根据权利要求1所述的方法， 其特征在于， 所述通过器官病灶点云转化模块根据 所述 器官病灶影 像得到器官病灶点云矩阵， 具体包括： 根据器官病灶影 像信息生成三维渲染图像； 获取所述三维渲染图像中红绿蓝RGB三个通道 的图像， 将三个通道 的图像都转化为点 云图像， 根据所述 点云图像得到点云矩阵。 5.根据权利要求4所述的方法， 其特征在于， 所述获取所述三维渲染图像中红绿蓝RGB 三个通道的图像， 将三个通道的图像都转 化为点云图像， 具体包括： 单独获取红色、 绿色或蓝色通道图像， 将所述图像转化为三维数据； 所述三维数据的格 式为[横坐标,纵坐标,像素值]； 根据所述 三维数据确定各个颜色通道对应的所有直角坐标点， 生成点云图像。 6.根据权利要求1所述的方法， 其特征在于， 所述通过预设合成网络将所述器官病灶点权　利　要　求　书 1/4 页 2 CN 115458128 A 2云矩阵和所述普通数字人影 像进行融合， 具体包括： 确定合成网络， 通过 下述公式进行 数字人合成： 其中， B为骨骼矩阵， S为数字人皮肤矩阵， i表示网格顶点， j为使用相对蒙皮权值将S特 征折叠为一组j深度偏移， Wij是骨骼关键点连接网格顶点i以抵消j的蒙皮权重， Rij为人体 器官病灶的点云矩阵， S和O右上角的撇表示多个通道。 7.根据权利要求6所述的方法， 其特征在于， 所述合成网络 中的每个层包括一个初始网 格卷积MeshConv、 几个连续的网格卷积MeshConv  + 激活函数ReLU  + 批归一化BatchNorm 层， 以及一个残差连接和另一个激活函数ReLU； 通过所述合成网络使用所述皮肤矩阵对所述骨骼关键点应用基于蒙皮的池化操作， 使 用相对蒙皮权值将皮肤矩阵特 征折叠为 一组深度偏移。 8.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 通过数字人简易 服装生成模块中的模板， 对数字人进行简易 服装生成。 9.根据权利要求1所述的方法， 其特征在于， 所述将所述生物人图像输入至预先训练好 的骨骼关键点 生成模块， 得到骨骼关键点， 根据所述骨骼关键点得到骨骼 矩阵， 具体包括： 所述骨骼关键点 生成模块包括骨骼关键点检测模型网络； 通过所述骨骼关键点检测模型网络提取骨骼关键点； 从所述骨骼关键点中依次选择两个位置相邻的骨骼关键点； 初始化预设数量的三维零矩阵； 用预设像素值填充每个三维零矩阵中所述两个位置相邻的骨骼关键点对应的区域， 以 将每个所述三维零矩阵转换为每两个位置相邻的骨骼关键点对应的骨骼 矩阵。 10.根据权利要求9所述的方法， 其特征在于， 所述预设像素值大于0， 所述区域为以所 述两个位置相 邻的骨骼关键点的中点作为中心的球体区域或椭球体区域， 所述两个骨骼关 键点均落在所述球 体区域或所述椭球 体区域的球面上。 11.一种基于关键点 生成数字人体 影像的装置， 其特 征在于， 包括： 获取模块， 用于获取生物人图像； 骨骼关键点生成模块， 用于根据所述生物人图像得到骨骼关键点， 根据所述骨骼关键 点得到骨骼 矩阵； 皮肤生成模块， 用于根据所述 生物人图像以及所述骨骼关键点得到皮肤矩阵； 普通数字人生成模块， 用于将所述骨骼矩阵和所述皮肤矩阵进行融合得到普通数字人 影像； 器官病灶点云转化模块， 用于获取对应所述生物人的器官病灶影像， 根据所述器官病 灶影像得到器官病灶点云矩阵； 医学数字人生成模块， 用于通过预设合成网络将所述器官病灶点云矩阵和所述普通数权　利　要　求　书 2/4 页 3 CN 115458128 A 3