(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210833903.2 (22)申请日 2022.07.15 (71)申请人 神州医疗科技股份有限公司 地址 100080 北京市海淀区北四环西路6 6 号16层1901室 (72)发明人 许峥　王剑仲　许娟　弓孟春　 史文钊　 (74)专利代理 机构 北京星通盈泰知识产权代理 有限公司 1 1952 专利代理师 夏晶 (51)Int.Cl. G16H 50/30(2018.01) G16H 30/20(2018.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于多模态信息融合的癌症预测方法 与系统 (57)摘要 本申请提出一种基于多模态信息融合的癌 症预测方法与系统， 其中方法包括： 获取任意两 种或两种以上的多模态信息； 针对 所述任意两种 或两种以上的多模态信息， 分别提取对应的特 征； 将所述特征在时间域上对齐； 将对齐后的特 征融合在动态的多模态图网络中， 进行多模态表 征交互与融合后， 输出总表征向量； 选择评价结 果最高的对应预测算法作为最终预测算法， 对应 的癌症预测结果为最终的癌症预测结果。 所述系 统包括： 数据获取模块、 特征提取模块、 多模态融 合模块、 算法预测模块、 参数评价模块。 本申请实 现了CT影像、 病理信息、 临床信息以及基因数据 的多模态信息融合， 并且提高了术后癌症预测的 准确性。 权利要求书2页 说明书8页 附图3页 CN 115223715 A 2022.10.21 CN 115223715 A 1.一种基于多模态信息融合的癌症预测方法， 其特 征在于， 包括如下步骤： 获取任意两种或两种以上的多模态信息； 针对所述任意两种或两种以上的多模态信息， 分别提取对应的特 征； 将所述特 征在时间域上对齐； 将对齐后的特征融合在动态的多模态图网络中， 进行多模态表征交互与融合后， 输出 总表征向量； 将所述总表征向量输入多模态 记忆状态， 得到多模态 记忆状态的最终输出状态； 将所述总表征向量更新长短期记忆网络 中的下一个时间序列 数据， 得到长短记忆网络 的输出； 结合所述长短记忆网络的输出与多模态记忆状态的最终输出状态， 采用不同的预测算 法进行分类预测， 得到癌症预测结果 集合； 选择评价 参数， 对所采用的预测算法进行评价， 得到 评价结果； 选择评价结果最高的对应预测算法作为最终预测算法， 对应的癌症预测结果为最终的 癌症预测结果。 2.如权利要求1所述的基于多模态信 息融合的癌症预测方法， 其特征在于， 所述多模态 信息包括： 影 像组学数据、 病理 组学数据、 基因 组学数据、 临床文本数据； 所述影像组学数据为反映病灶部位的CT影 像； 所述病理 组学数据为反映病灶部位的病理切片图像； 所述基因 组学数据为反映病灶部位的基因测序数据； 所述临床文本数据为反映病灶的文字数据。 3.如权利要求2所述的基于多模态信 息融合的癌症预测方法， 其特征在于， 所述对应的 特征包括： 影像组学特征， 提取过程如下： 针对反映病灶部位的CT影像， 采用基于 transformer的n n‑UNet模型提取影 像组学特征和深度组学 特征。 4.如权利要求2所述的基于多模态信 息融合的癌症预测方法， 其特征在于， 所述对应的 特征包括： 影像组学特征， 为能够反映医学图像的病灶部位的信息的特征数据， 包括： 直方 图特征、 形态学特征、 共生矩阵特征、 游程矩阵特征、 灰度连通大小矩阵特征、 基于梯度图的 特征。 5.如权利要求2所述的基于多模态信 息融合的癌症预测方法， 其特征在于， 所述对应的 特征包括： 所述病理 组学特征， 其提取过程如下： 针对病灶部位的历史病理切片图像进行 数据标注； 基于数据标注的结果对病灶部位的病理切片图像中组织 区域进行识别， 识别结果为癌 症区域以及正常组织区域； 分别从所述癌症区域以及正常组织区域 提取用于训练的小图数据集； 将所述小图数据集输入到深度卷积神经网络模型， 得到深度卷积神经网络 输出； 针对深度 卷积神经网络输出， 分别对病理切片图像中的癌症区域以及正常组织 区域做 概率热图； 针对所述概率热图， 对需要提取特征的病理切片图像进行分类， 得到病理切片分类结 果。 6.如权利要求2所述的基于多模态信 息融合的癌症预测方法， 其特征在于， 所述对应的权　利　要　求　书 1/2 页 2 CN 115223715 A 2特征包括： 基因 组学特征， 其提取过程步骤如下： 针对基因 组学数据进行基因 组学分析； 根据筛选条件逐个对基因 组学分析 结果进行 过滤； 针对过滤后的基因组学分析结果进行行列转换， 同时针对过滤后的基因组学分析结果 中的突变信息转换为1或0， 得到转换后的基因 组学分析 结果； 将转换后的基因组学分析结果合并成一个文本文件， 每一行代表一个病人或者一 次检 查， 每一列代 表某个基因的某个 基因组学分析 下存在特 征值。 7.如权利要求1所述的基于多模态信 息融合的癌症预测方法， 其特征在于， 所述动态的 多模态图网络， 包含三类节点， 即单模态向量， 两模态向量， 三模态向量， 所述单模态向量， 两模态向量以及三模态向量之 间具有包含和被包含的关系， 所有的节点均与动态的多模态 图网络的总输出相关联， 将各节点连接构建动态的多模态图网络， 所述动态的多模态图网 络中每个边关系上隐含着一个权 重参数， 代 表节点之间关系的强弱性。 8.一种基于多模态信息融合的癌症预测系统， 其特征在于， 包括： 数据获取模块、 特征 提取模块、 多模态融合模块、 算法预测模块、 参数评价模块； 所述数据获取模块、 特征提取模块、 多模态融合模块、 算法预测模块、 参数评价模块依 次顺序相连接； 所述数据获取模块用于获取任意两种或两种以上的多模态信息； 所述特征提取模块用于针对所述任意两种或两种以上的多模态信 息， 分别提取对应的 特征； 所述多模态融合模块用于将所述特征在时间域上对齐； 将对齐后的特征融合在动态的 多模态图网络中， 进 行多模态表征交互与融合后， 输出总表征向量； 将所述总表征向量输入 多模态记忆状态， 得到多模态记忆状态的最终输出状态； 将所述总表征向量更新长短期记 忆网络中的下一个时间序列数据， 得到 长短记忆网络的输出； 所述算法预测模块用于结合所述长短记忆网络的输出与多模态记忆状态的最终输出 状态， 采用不同的预测算法进行分类预测， 得到癌症预测结果 集合； 所述参数评价模块用于选择评价参数， 对所采用的预测算法进行评价， 得到评价结果； 选择评价结果最高的对应预测算法作为最终预测算法， 对应的癌症预测结果为最 终的癌症 预测结果。 9.一种计算机装置， 其特 征在于， 计算机装置包括： 处 理器； 所述处理器用于执行存储器 中存储的计算机程序时实现如权利要求1 ‑7中任意一项所 述方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机指令， 其特征在于， 所述计算机指令 被处理器执行时实现如权利要求1 ‑7中任意一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115223715 A 3