(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210807701.0 (22)申请日 2022.07.11 (71)申请人 四川大学 地址 610065 四川省成 都市武侯区一环路 南一段24号 (72)发明人 章毅　李林　胡俊杰　蔡华伟　 皮勇　赵祯　 (74)专利代理 机构 成都弘毅天承知识产权代理 有限公司 5123 0 专利代理师 谢建 (51)Int.Cl. G06T 7/11(2017.01) G06V 10/80(2022.01) (54)发明名称 一种基于PET-CT的跨模态注意力肿瘤分割 方法、 系统 (57)摘要 本发明公开了一种基于PET ‑CT的跨模态注 意力肿瘤分割方法、 系统及设备， 涉及图像处理 技术领域中的基于PET ‑CT的肿瘤分割， 其目的在 于解决现有技术中基于PET ‑CT多模态图像分割 时存在的各模态 影像特征融合效率低、 较难实现 精准分割肿瘤区域的问题， 其主要是先使用自注 意力机制分别提取PET图像、 CT图像中的特征， 再 使用自注意力机制跨模态融合PET图像、 CT图像 中的单模态特征， 得到跨模态融合影像特征； 最 后基于跨模态融合影像特征分割肿瘤区域。 本发 明中的自注意力机制通过不同区域特征之间的 相互作用， 实现了表达单模态特征 至融合影 像特征 的变换， 融合影像特征 具有不同的 维度信息， 实现PET图像、 CT图像的跨模态高效融 合， 实现肿瘤区域的精准分割。 权利要求书2页 说明书6页 附图2页 CN 114862881 A 2022.08.05 CN 114862881 A 1.一种基于PET ‑CT的跨模态 注意力肿瘤分割方法， 其特 征在于， 包括： 步骤S1、 获取PET图像、 CT图像； 步骤S2、 使用自注意力机制分别提取PET图像、 CT图像中的特 征； 步骤S3、 使用自注意力机制跨模态融合PET图像、 CT图像中的单模态特征， 得到跨模态 融合影像特征； 步骤S4、 基于跨模态融合影 像特征分割肿瘤区域。 2.如权利 要求1所述的一种基于PET ‑CT的跨模态注意力肿瘤分割方法， 其特征在于： 步 骤S1中， 使用PET/ CT扫描仪获取配准 好的PET图像、 CT图像。 3.如权利 要求1所述的一种基于PET ‑CT的跨模态注意力肿瘤分割方法， 其特征在于： 步 骤S2中， 分别将步骤S1获取的PET图像、 CT图像进行分块， 并将分块后的图像由矩阵变换至 向量形式， 得到向量 ； 再对向量 进行非线性变换， 得到PET图像、 CT图像的单模态图像 特征。 4.如权利 要求1所述的一种基于PET ‑CT的跨模态注意力肿瘤分割方法， 其特征在于： 步 骤S3中， 对步骤S2得到的PET图像的单模态图像特征进行线性变换 、 和 ， 得到 不同向量表达 、 和 ， 将向量表达 、 和 改写为矩阵形式Q1、 K1和V1， 再进行 自注意力计算得到矩阵形式 ： 对步骤S2得到的CT图像 的单模态图像特征进行线性变换 、 和 ， 得到不同 向量表达 、 和 ， 将向量表达 、 和 改写为矩阵形式Q2、 K2和V2， 再进行自注 意力计算得到矩阵形式 ： 再对矩阵形式 、 矩阵形式 进行叠加、 融合， 得到矩阵形式C， 即 ， 再对矩阵形式C进行线性变换 、 和 ， 得到不同向量表达 、 和 ， 将向量 表达 、 和 改写为矩阵形式Q3、 K3和V3， 再进行自注意力计算得到矩阵形式 ， 即为跨模态融合影 像特征： 其中， 是融合影像特征 的矩阵形式， T是矩阵的转置， 、 和 为可学习 的参数矩阵。 5.一种基于PET ‑CT的跨模态 注意力肿瘤分割 系统， 其特 征在于， 包括： 图像获取模块， 用于获取PET图像、 CT图像； 特征提取模块， 用于使用自注意力机制分别提取图像获取模块获取的PET图像、 CT图像权　利　要　求　书 1/2 页 2 CN 114862881 A 2中的特征； 特征融合模块， 用于使用自注意力机制跨模态融合特征提取模块提取并得到的PET图 像、 CT图像中的单模态特 征， 得到跨模态融合影 像特征； 肿瘤分割模块， 用于基于特 征融合模块得到的跨模态融合影 像特征分割肿瘤区域。 6.如权利 要求5所述的一种基于PET ‑CT的跨模态注意力肿瘤分割系统， 其特征在于， 图 像获取模块是使用PET/ CT扫描仪获取配准 好的PET图像、 CT图像。 7.如权利 要求5所述的一种基于PET ‑CT的跨模态注意力肿瘤分割系统， 其特征在于， 特 征提取模块是分别将图像获取模块 获取的PET图像、 CT图像进 行分块， 并将分块后的图像由 矩阵变换至向量形式， 得到向量 ； 再对向量 进行非线性变换， 得到PET图像、 CT图像的 单模态图像特 征。 8.如权利 要求5所述的一种基于PET ‑CT的跨模态注意力肿瘤分割系统， 其特征在于， 特 征融合模块对特征提取模块得到的PET图像的单模态图像特征进行线性变换 、 和 ， 得到不同向量表达 、 和 ， 将向量表达 、 和 改写为矩阵形式Q1、 K1和 V1， 再进行自注意力计算得到矩阵形式 ： 特征融合模块对特征提取模块得到的CT图像的单模态图像特征进行线性变换 、 和 ， 得到不同向量表达 、 和 ， 将向量表达 、 和 改写为矩阵形式 Q2、 K2和V2， 再进行自注意力计算得到矩阵形式 ： 特征融合模块再对矩阵形式 、 矩阵形式 进行叠加、 融合， 得到矩阵形式C， 即 ， 再对矩阵形式C进行线性变换 、 和 ， 得到不同向量表达 、 和 ， 将向量表达 、 和 改写为矩阵形式Q3、 K3和V3， 再进行自注意力计算得到 矩阵形式 ， 即为跨模态融合影 像特征： 其中， 是融合影像特征 的矩阵形式， T是矩阵的转置， 、 和 为可学习 的参数矩阵。权　利　要　求　书 2/2 页 3 CN 114862881 A 3