(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210836442.4 (22)申请日 2022.07.15 (71)申请人 北京长木谷医疗科技有限公司 地址 100176 北京市大兴区北京经济技 术 开发区荣华南路2号院1号楼22层2201 （北京自贸试验区高端产业区亦庄组 团） 申请人 张逸凌 (72)发明人 张逸凌　刘星宇　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 耿琦 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01)G06T 17/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习的膝关节髌骨置换三维术前 规划系统及方法 (57)摘要 本发明提供一种基于深度学习的膝关节髌 骨置换三维术前规划系统及方法， 通过获取膝关 节的医学图像， 并基于医学图像进行图像分割， 得到髌骨特征图， 在髌骨特征图上识别并标记第 一髌骨特征点， 基于髌骨特征图进行三维重建， 得到三维髌骨模 型， 并基于所述第一髌骨特征点 的位置信息， 将所述第一髌骨特征点投影到所述 三维髌骨模型的第一表面， 得到第二髌骨特征 点， 其中， 第二髌骨特征点包括第二上极点、 第二 下极点、 第二外侧边缘点以及第二内侧边缘点， 基于三维髌骨模型的结构参数， 获取髌骨假体， 基于髌骨假体以及第二髌骨特征点， 确定三维髌 骨模型的目标截骨面。 可以获取到三维髌骨模型 的目标截骨面， 从而可以针对膝关节髌骨提供准 确的术前规划方案 。 权利要求书3页 说明书13页 附图5页 CN 115393272 A 2022.11.25 CN 115393272 A 1.一种基于深度学习的膝关节髌骨置换三维术前规划方法， 其特征在于， 所述方法包 括： 获取膝关节的医学图像， 并基于所述医学图像进行图像分割， 得到髌骨特 征图； 在所述髌骨特征图上识别并标记第一髌骨特征点， 其中， 所述第一髌骨特征点包括第 一上极点、 第一下极点、 第一外侧边 缘点以及第一内侧边 缘点； 基于所述髌骨特征图进行三维重建， 得到三维髌骨模型， 并基于所述第一髌骨特征点 的位置信息， 将所述第一髌骨特征点投影到所述三维髌骨模型的第一表面， 得到第二髌骨 特征点， 其中， 所述第二髌骨特征点包括第二上极点、 第二下极点、 第二外侧 边缘点以及第 二内侧边 缘点； 基于所述 三维髌骨模型的结构参数， 获取髌骨假体； 基于所述髌骨假体以及所述第二髌骨特 征点， 确定所述 三维髌骨模型的目标截骨面。 2.根据权利要求1所述的基于深度学习的膝关节髌骨置换三维术前规划方法， 其特征 在于， 所述第二髌骨特 征点还包括多个第一目标点； 在将所述第 一髌骨特征点投影到所述三维髌骨模型的第 一表面， 得到第 二髌骨特征点 之后， 所述方法还 包括： 基于所述第 二上极点与所述第 二下极点之间的连接线， 以及所述第 二外侧边缘点与 所 述第二内侧边 缘点之间的连接线， 将所述第一表面划分为四个点 候选区域； 从四个所述点候选区域中任取三个所述点候选区域， 并从任取的三个所述点候选区域 中分别选取一个点作为第一目标点， 基于三个所述第一目标点确定第一平面， 其中， 所述第 一平面用于确定所述 三维髌骨模型的目标截骨面。 3.根据权利要求2所述的基于深度学习的膝关节髌骨置换三维术前规划方法， 其特征 在于， 在基于所述第一髌骨特征点的位置信息， 将所述第一髌骨特征点投影到所述三维髌 骨模型的第一表面， 得到第二髌骨特 征点之前， 所述方法还 包括： 基于矫正线段调整所述三维髌骨模型， 以使所述三维髌骨模型的第 一表面与 人体冠状 面平行， 其中， 所述矫正线段由所述第二上极点与所述第二下级点的连接线， 以及所述第二 外侧边缘点与所述第二内侧边 缘点的连接线构成。 4.根据权利要求2所述的基于深度学习的膝关节髌骨置换三维术前规划方法， 其特征 在于， 基于所述髌骨假体以及所述第二髌骨特征点， 确定所述三 维髌骨模型的目标截骨面， 包括： 基于所述髌骨假体， 获取 所述髌骨假体的参数信息； 基于所述髌骨假体的参数信息， 确定所述 三维髌骨模型的截骨厚度值； 将三个所述第 一目标点沿远离所述三维髌骨模型的第 一表面的方向分别进行投影， 得 到与三个所述第一目标点分别对应的三个第二目标点， 每个所述第一目标点与每个所述第 二目标点之间的距离值 为所述截骨厚度值； 基于三个所述第 二目标点， 确定所述三维髌骨模型的目标截骨面； 其中， 所述目标截骨 面与所述第一平面平行。 5.根据权利要求1所述的方法， 其特征在于， 基于所述医学图像进行图像分割， 得到髌 骨特征图， 包括： 将所述医学图像输入预先训练完成的分割 模型， 得到髌骨特征图， 其中， 所述分割模型权　利　要　求　书 1/3 页 2 CN 115393272 A 2为基于样本医学图像训练得到的模型； 在所述髌骨特 征图上识别并标记第一髌骨特 征点， 包括： 将所述髌骨特征图输入预先训练完成的点识别模型， 得到已标记第 一髌骨特征点的图 像， 其中， 所述 点识别模型为基于样本髌骨特 征图训练得到的模型。 6.根据权利要求5所述的方法， 其特征在于， 所述分割模型包括： 深度 卷积神经网络、 空 洞空间卷积池化金字塔网络、 第一卷积层、 第二卷积层、 第三卷积层、 第一池化层、 第二池化 层以及拼接层； 将所述医学图像输入预 先训练完成的分割模型， 得到髌骨特 征图， 包括： 将所述医学图像输入所述深度卷积神经网络提取低级图像特 征； 将所述低级图像特征输入所述空洞空间卷积池化金字塔网络， 提取图像的语义信息， 得到高级图像特 征； 将所述低级图像特 征输入所述第一卷积层， 得到当前低级图像特 征； 将所述高级图像特征输入所述第 二卷积层， 并将所述第 二卷积层输出的图像特征输入 所述第一池化层进行 上采样， 得到当前高级图像特 征； 将所述当前高级图像特征与 所述当前低级图像特征输入所述拼接层进行拼接， 得到骨 骼特征图； 将所述骨骼特征图输入所述第 三卷积层， 并将所述第 三卷积层输出的图像特征输入所 述第二池化层进行 上采样， 得到与所述医学图像尺寸 一致的髌骨特 征图。 7.根据权利要求5所述的方法， 其特征在于， 所述点识别模型包括： 第四卷积层、 第五卷 积层、 复制层以及池化层； 将所述髌骨特征图输入预先训练完成的点识别模型， 得到已标记髌骨特征点的图像， 包括： 将所述髌骨特 征图输入所述第四卷积层进行 特征提取， 得到待复制特 征； 将所述待复制特 征输入对应的所述复制层进行 特征复制， 得到复制特 征； 将所述待复制特 征输入所述第五卷积层进行 特征提取， 得到待池化特 征； 将所述待池化特征与复制特征相加， 并输入对应的池化层， 得到池化特征， 基于所述池 化特征， 得到热力图， 其中， 所述热力图中包括像素值能够表征髌骨特 征点概率的像素； 从所述热力图中选取最大概率值点作为第一髌骨特征点， 并标记所述第一髌骨特征 点， 其中， 所述 最大概率值点为像素的像素值 最大的点。 8.一种基于深度学习的膝关节髌骨置换三维术前规划系统， 其特征在于， 所述系统包 括： 第一获取模块， 用于获取膝关节的医学图像， 并基于所述医学图像进行图像分割， 得到 髌骨特征图； 标记模块， 用于在所述髌骨特征图上识别并标记第 一髌骨特征点， 其中， 所述第 一髌骨 特征点包括第一上极点、 第一下极点、 第一外侧边 缘点以及第一内侧边 缘点； 投影模块， 用于基于所述髌骨特征图进行三维重建， 得到三维髌骨模型， 并基于所述第 一髌骨特征点的位置信息， 将所述第一髌骨特征点投影到所述三维髌骨模型 的第一表面， 得到第二髌骨特征点， 其中， 所述第二髌骨特征点包括第二上极点、 第二下极点、 第二外侧 边缘点以及第二内侧边 缘点；权　利　要　求　书 2/3 页 3 CN 115393272 A 3