(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210779803.6 (22)申请日 2022.07.04 (71)申请人 武汉联影智融 医疗科技有限公司 地址 430040 湖北省武汉东湖新 技术开发 区高科园路99 号联影医疗武汉总部基 地A区 (72)发明人 汪先远　张璟　张文伟　方伟　 (74)专利代理 机构 北京华进京联知识产权代理 有限公司 1 1606 专利代理师 唐德君 (51)Int.Cl. G06T 5/50(2006.01) G06T 17/00(2006.01) G06T 7/10(2017.01) G06T 7/33(2017.01) (54)发明名称 图像融合方法、 装置、 系统、 计算机设备和存 储介质 (57)摘要 本申请涉及一种图像融合方法、 装置、 系统、 计算机设备和存储介质。 该方法包括： 获取患者 目标区域的术前扫描图像、 术中内窥镜图像及术 中超声图像， 将术前扫描图像与术中内窥镜图像 进行图像融合， 生成第一融合图像， 以及将术中 超声图像与术中内窥镜图像进行图像融合， 生成 第二融合图像， 最后， 将第一融合图像、 第二融合 图像叠加至术中内窥镜图像中， 生成目标融合图 像； 能够实现对术前扫描 图像、 术中超声图像以 及术中内窥镜图像的三种不同模态和类型的图 像的准确融合， 且得到的融合图像的质量较高， 提高融合图像的质量和准确性。 权利要求书2页 说明书14页 附图5页 CN 115375595 A 2022.11.22 CN 115375595 A 1.一种图像融合方法， 其特 征在于， 所述方法包括： 获取患者目标区域的术前扫描图像、 术中 内窥镜图像及术中超声图像； 将所述术前扫描图像与所述 术中内窥镜图像进行图像融合， 生成第一融合图像； 将所述术中超声图像与所述 术中内窥镜图像进行图像融合， 生成第二融合图像； 将所述第一融合图像、 所述第二融合图像叠加至所述术中内窥镜 图像中， 生成目标融 合图像。 2.根据权利要求1所述的方法， 其特征在于， 所述将所述术前扫描图像与所述术中内窥 镜图像进行图像融合， 生成第一融合图像， 包括： 根据所述术前扫描图像生成第 一点云模型， 根据 所述术中内窥镜图像生成第 二点云模 型； 对所述第一 点云模型和所述第二 点云模型进行融合， 得到所述第一融合图像。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述术前扫描图像生成第 一点云 模型， 包括： 采用图像分割技术对所述术前扫描图像进行分割， 得到第一分割图像； 所述第一分割 图像中包括所述目标区域的器官组织信息； 采用三维重建技 术对所述第一分割图像进行重建， 得到第一 三维模型； 对所述第一 三维模型进行转换， 得到所述第一 点云模型。 4.根据权利要求2所述的方法， 其特征在于， 所述根据所述术中内窥镜图像生成第 二点 云模型， 包括： 采用图像分割技术对所述术中内窥镜 图像进行分割， 得到第二分割图像； 所述第二分 割图像中包括所述目标区域的目标器官信息； 获取所述第二分割图像中各像素点的像素值和深度信息； 基于所述各像素点的像素值和深度信息， 生成所述第二 点云模型。 5.根据权利要求2所述的方法， 其特征在于， 所述对所述第 一点云模型和所述第 二点云 模型进行融合， 得到所述第一融合图像， 包括： 从所述第一 点云模型中确定预设数量的第一配准对象； 从所述第二 点云模型中确定与所述第一配准对象对应的第二配准对象； 基于所述第一配准对象和所述第二配准对象计算配准矩阵； 根据所述配准矩阵对所述第 一点云模型与 所述第二点云模型进行融合， 得到所述第 一 融合图像。 6.根据权利要求2所述的方法， 其特征在于， 所述将所述术中超声图像与所述术中内窥 镜图像进行图像融合， 生成第二融合图像， 包括： 对所述术中超声图像进行图像分割处理， 得到第三分割图像； 所述第三分割图像中包 括所述目标区域的血 管和肿瘤信息； 采用三维重建技 术对所述第三分割图像进行重建， 得到第二 三维模型； 对所述第二 三维模型进行转换， 得到第三 点云模型； 对所述第二 点云模型与所述第三 点云模型进行融合， 生成所述第二融合图像。 7.根据权利要求6所述的方法， 其特征在于， 所述对所述第 二点云模型与所述第 三点云 模型进行融合， 生成所述第二融合图像， 包括：权　利　要　求　书 1/2 页 2 CN 115375595 A 2获取所述第二 点云模型在预设的世界坐标系下的第一 位置信息； 获取所述第三 点云模型在所述世界坐标系下的第二 位置信息； 基于所述第 一位置信 息和所述第 二位置信 息， 对所述第 二点云模型和所述第 三点云模 型进行融合， 得到所述第二融合图像。 8.一种图像融合装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取患者目标区域的术前扫描图像、 术中 内窥镜图像及术中超声图像； 第一融合模块， 用于将所述术前扫描图像与所述术中内窥镜 图像进行图像融合， 生成 第一融合图像； 第二融合模块， 用于将所述术中超声图像与所述术中内窥镜 图像进行图像融合， 生成 第二融合图像； 生成模块， 用于将所述第一融合图像、 所述第二融合图像叠加至所述术中内窥镜 图像 中， 生成目标融合图像。 9.一种图像融合系统， 其特征在于， 所述图像融合系统包括内窥镜设备、 超声设备和处 理设备； 所述处 理设备分别与所述内窥镜设备和所述超声设备通信连接； 所述内窥镜设备， 用于采集患者目标区域的术中内窥镜 图像， 并将所述术中内窥镜 图 像发送至所述处 理设备； 所述超声设备， 用于采集所述目标区域的术中超声图像， 并将所述术中超声图像发送 至所述处 理设备； 所述处理设备， 用于接收所述内窥镜设备发送的所述术中内窥镜 图像， 以及接收所述 超声设备发送的所述 术中超声图像； 所述处理设备， 还用于获取所述目标区域的术前扫描图像， 并将所述术前扫描图像与 所述术中内窥镜图像进行图像融合， 生成第一融合图像； 将所述术中超声图像与所述术中 内窥镜图像进 行图像融合， 生成第二融合图像； 将所述第一融合图像、 所述第二融合图像叠 加至所述 术中内窥镜图像中， 生成目标融合图像。 10.根据权利要求9所述的系统， 其特 征在于， 所述系统还 包括追踪设备； 所述追踪设备， 用于对所述内窥镜设备和所述超声设备进行实时追踪。 11.一种计算机设备， 包括存储器和 处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处 理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。 12.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115375595 A 3