(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210834325.4 (22)申请日 2022.07.14 (71)申请人 苏州微创畅行机 器人有限公司 地址 215000 江苏省苏州市苏州工业园区 凤里街151号3号厂房部分区域 (72)发明人 不公告发明人 　 (74)专利代理 机构 上海思捷知识产权代理有限 公司 312 95 专利代理师 张敏 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/187(2017.01) G06T 7/33(2017.01) G06T 17/00(2006.01)G06T 5/00(2006.01) G06N 3/04(2006.01) A61B 34/20(2016.01) (54)发明名称 图像处理方法、 手术 导航方法、 设备和介质 (57)摘要 本发明提供了一种图像处理方法、 手术导航 方法、 电子设备和存储介质， 图像处理方法包括： 将所获取的待处理图像输入至预先训练好的神 经网络模型中， 以获取初始目标对象分割图像和 至少一目标标志点热力图像； 对初始目标对象分 割图像进行去噪处理， 以获取目标对象分割图 像； 根据目标标志点热力图像， 获取目标标志点 的位置信息。 手术导航方法采用上文所述的图像 处理方法对 所获取的骨骼图像进行处理， 以获取 骨骼分割图像和解剖标志点的位置信息。 本发明 通过一个神经网络模型可以同时进行目标对象 的分割与目标标志点的定位这两个任务流程， 从 而可以大大提高图像处理的效率， 有效缩短术前 规划的工作流 程。 权利要求书3页 说明书20页 附图8页 CN 115222695 A 2022.10.21 CN 115222695 A 1.一种图像处 理方法， 其特 征在于， 包括： 将所获取的待处理图像输入至预先训练好的神经网络模型中， 以获取初始目标对象分 割图像和至少一目标 标志点热力图像； 对所述初始目标对象分割图像进行去噪处 理， 以获取目标对象分割图像； 根据所述目标 标志点热力图像， 获取目标 标志点的位置信息 。 2.根据权利要求1所述的图像处理方法， 其特征在于， 在将所获取的待处理图像输入至 预先训练好的神经网络模型之前， 所述图像处 理方法还 包括： 对所获取的待处理图像进行调窗操作， 以将所述待处理图像中的各个像素点的像素值 调整至预设范围； 对调窗操作后的所述待处理图像中的各个像素点的像素值进行归一化操作， 以将所述 待处理图像中的各个 像素点的像素值调整至 0‑1。 3.根据权利要求2所述的图像处理方法， 其特征在于， 在对所获取的待处理图像进行调 窗操作之前， 所述图像处 理方法还 包括： 将所述待处 理图像的尺寸调整至预设尺寸。 4.根据权利要求1所述的图像处理方法， 其特征在于， 所述对所述初始目标对象分割图 像进行去噪处 理， 以获取目标对象分割图像， 包括： 对所述初始目标对象分割图像进行孔洞填充， 以获取第一目标对象分割图像； 对所述第一目标对象分割图像进行 连通域分析， 以提取 出最大的连通 域； 将最大的连通 域作为目标对象所在区域， 以获取目标对象分割图像。 5.根据权利要求1所述的图像处理方法， 其特征在于， 所述根据 所述目标标志点热力图 像， 获取目标 标志点的位置信息， 包括： 针对每一目标标志点热力图像， 将该目标标志点热力图像中的像素值最大的像素点的 位置信息作为对应的目标 标志点的位置信息 。 6.根据权利要求1所述的图像处理方法， 其特征在于， 所述神经网络模型包括特征提取 网络、 分割网络和目标 标志点定位网络； 所述特征提取网络用于对预处理后的所述待处理图像进行目标对象特征的提取， 以获 取目标对象特 征的提取 结果； 所述分割网络用于根据 所述目标对象特征的提取结果进行目标对象的分割， 以获取初 始目标对象分割图像； 所述目标标志点定位网络用于根据所述目标对象特征的提取结果进行目标标志点的 定位， 以获取目标 标志点热力图像。 7.根据权利要求6所述的图像处理方法， 其特征在于， 所述特征提取网络包括输入层、 多个级联的编码器和瓶颈器， 其中最后一级所述编码器的输出为所述 瓶颈器的输入； 所述编码器包括第一卷积层、 第 一特征重标定模块、 最大池化层和第 一残差模块， 所述 第一卷积层用于对其输入依次进 行卷积操作、 归一化操作、 Relu激活操作和随机失活操作， 所述第一特征重标定模块用于对最后一层所述第一卷积层的输出进行特征重标定， 所述第 一残差模块用于将所述编 码器的输入和所述第一特征重标定模块的输出进 行相加， 相加的 结果为所述最大池化层的输入， 所述最大池化层用于对其输入进行池化操作， 池化的结果 为所述编码器的输出；权　利　要　求　书 1/3 页 2 CN 115222695 A 2所述瓶颈器包括第二卷积层、 第二特征重标定模块和第二残差模块， 所述第二卷积层 用于对其输入依次进 行卷积操作、 归一化操作、 Relu激活操作和随机失活操作， 所述第二特 征重标定模块用于对最后一层所述第二卷积层的输出进行特征重标定， 所述第二残差模块 用于将所述瓶颈器的输入和所述第二特征重标定模块的输出进行相加， 相加的结果为所述 分割网络和所述目标 标志点定位网络的输入。 8.根据权利要求7所述的图像处理方法， 其特征在于， 所述分割网络和所述目标标志点 定位网络均包括多个级联 的解码器、 第三卷积层和输出层， 所述分割网络中的解码器和所 述目标标志 点定位网络中的解码 器均与所述特征提取网络中的编 码器一一对应， 且所述分 割网络中的输出层用于输出所述初始目标对象分割图像， 所述目标标志 点定位网络中的输 出层用于 输出所述目标 标志点热力图像； 所述解码器包括反卷积层、 合并层、 第四卷积层、 第三特征重标定模块和第三残差模 块， 所述反卷积层用于对其输入进行反卷积操作， 所述合并层用于将所述反卷积层的输出 与所述特征提取网络中的相应的所述第一特征重标定模块的输出进行合并， 所述第四卷积 层用于对所述合并层的输出依次进行卷积操作、 归一化操作、 Relu激活操作和随机失活操 作， 所述第三特征重标定模块用于对最后一层所述第四卷积层的输出进行特征重标定， 所 述第三残差模块用于将所述反卷积层的输出与所述第三特征重标定模块的输出进 行相加， 相加的结果 为所述解码器的输出； 所述第三卷积层用于对最后一级所述 解码器的输出进行 卷积操作。 9.根据权利要求8所述的图像处理方法， 其特征在于， 所述第一特征重标定模块、 所述 第二特征重标定模块和所述第三特征重标定模块均包括投影单元和激励单元， 所述投影单 元用于对输入的特征图在高度方向、 宽度方向和深度方向分别进行投影操作， 以得到高度 方向压缩特征图、 宽度方向压缩特征图和深度方向压缩特征图， 并将所述高度方向压缩特 征图、 所述宽度方向压缩特征图和所述深度方向压缩特征图扩展至投影前的尺寸后进 行相 加， 以得到全局特征图； 所述激励单元包括第 五卷积层、 第一激活层、 第六卷积层和第二激 活层， 所述第五卷积层用于对所述全局特征图进 行卷积操作， 以压缩通道数； 所述第一激活 层用于对所述第五卷积层的输出进 行Relu激活操作； 所述第六卷积层用于对所述第一激活 层的输出进行卷积操作， 以恢复通道数； 所述第二激活层用于对所述第六卷积层的输出进 行非线性映射回归， 以为每个通道生成对应的权重， 将所述第二激活层生成的权重与输入 的所述特 征图相乘， 以得到特 征重标定后的特 征图。 10.根据权利要求6所述的图像处理方法， 其特征在于， 所述神经网络模型在训练过程 中采用的损失函数如下 所示： L＝w1*lseg+w2*llandmark 其中， lseg表示与所述分割网络的预测结果相关的损失函数， llandmark表示与所述目标标 志点定位网络的预测结果相关的损失函数， w1表示损失函数lseg的权重， w2表示损失函数 llandmark的权重。 11.根据权利要求1所述的图像处理方法， 其特征在于， 所述神经网络模型通过以下步 骤进行训练： 获取预设数量的训练样本， 所述训练样本包括训练图像以及与 所述训练图像对应的目 标对象标签图像和目标 标志点热力标签图像；权　利　要　求　书 2/3 页 3 CN 115222695 A 3