(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210993132.3 (22)申请日 2022.08.18 (71)申请人 中国—东盟信息 港股份有限公司 地址 530000 广西壮 族自治区南宁市良庆 区秋月路18号 (72)发明人 韦涛　梁勇　杜欢　 (74)专利代理 机构 广州海心联合专利代理事务 所(普通合伙) 44295 专利代理师 张栩颜　李哲瑜 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/62(2017.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 一种基于时序图像的肺结节识别系统及方 法 (57)摘要 本发明公开了一种基于时序图像的肺结节 识别系统， 属于智 能识别系统的技术领域， 该识 别系统根据患者不同时间点的肺结节图像信息， 能够识别出肺结节的病变性质， 具有识别速度 快、 准确率高的特点； 包括： 数据预处理模块， 用 于通过交互方式获取患者确诊肺结节后第1至4 个月的回访复查胸部影像信息进行预处理后得 到识别预处理数据； 识别模型模块， 用于将得到 的识别预处理数据构建训练神经网络识别模型 或者将得到的识别预处理数据 识别出判断结果； 所述的数据预处理模块和识别模 型模块连接。 本 发明还公开了一种基于时序图像的肺结节识别 方法， 利用该方法可以有效识别出肺结节的病变 性质。 权利要求书3页 说明书9页 附图1页 CN 115239695 A 2022.10.25 CN 115239695 A 1.一种基于时序图像的肺结节 识别系统， 其特 征在于， 包括： 数据预处理模块， 用于通过交互方式获取患者确诊肺结节后第1至4个月的回访复查胸 部影像信息进行 预处理后得到识别预处 理数据； 识别模型模块， 用于将得到的识别预处理数据构建训练神经网络识别模型或者将得到 的识别预处 理数据识别出判断结果； 所述的数据预处 理模块和识别模型模块连接； 所述的识别模型模块包括： 病例库， 用于存 储各个患者的识别预处 理数据； 识别模型单元， 用于存储训练好的神经网络识别模型或者将输入的患 者的识别预处理 数据进行分析识别后输出 结果； 训练单元， 用于将病例库中的识别预处理数据在识别模型单元中训练出神经网络识别 模型； 所述的识别模型 单元分别与病例库和训练单 元连接； 所述的识别模型 单元中包括： 基于CNN的特征提取器组： 用于从识别预处 理数据中提取每 个时期的肺结节图像特 征； Concatenate模块： 用于将提取 出的每个时期的肺结节图像特 征拼接成二维张量； RNN模块： 用于将二维张量 转换成时间序列后输出信息流； 所述的基于 CNN的特征提取器通过Co ncatenate模块与RN N模块连接 。 2.根据权利要求1所述的一种基于时序图像的肺结节识别系统， 其特征在于， 所述的数 据预处理模块包括： 交互单元， 用于通过交互界面获取患 者确诊肺结节后第1至4个月的回访复查胸部影像 信息； 图像裁剪单元， 用于将所获取的患 者确诊肺结节后第1至4个月的回访复查胸部影像信 息进行标准化处理后裁剪出结节病灶体部分的图， 再进行统一 化处理； 图像增强单元， 用于将进行了统一化处理 的结节病灶体部分的图进行增强处理得识别 预处理数据； 所述的交 互单元通过图像裁 剪单元与图像增强单 元连接。 3.根据权利要求1所述的一种基于时序图像的肺结节识别系统， 其特征在于， 所述基于 CNN的特征提取器组包括4个并列设置的特征提取器， 所述的特征提取器包括卷积 ‑池化层 和全连接层， 所述的卷积 ‑池化层的输出端与全连接层的输入端 连接， 所述全连接层的输出 端输出2048维的特 征向量。 4.根据权利要求3所述的一种基于时序图像的肺结节识别系统， 其特征在于， 所述的特 征提取器还包括输入判空层， 所述输入判空层的输出端分别与卷积 ‑池化层的输入端和 Concatenate模块的输入端连接 。 5.根据权利要求1所述的一种基于时序图像的肺结节识别方法， 其特征在于， 包括如下 步骤： (1)获取患者确诊肺结节后第1至4个月的回访复查胸部影像信息进行预处理后得到识 别预处理数据； (2)将得到的识别预处 理数据存 入病例库中， 利用训练单 元训练出神经网络识别模型；权　利　要　求　书 1/3 页 2 CN 115239695 A 2(3)调取待预测的患者确诊肺结节后第1至4个月的回访复查胸部影像信息进行预处理 后得到待预测识别预处 理数据； (4)将待预测识别预处 理数据导入神经网络识别模型中获得识别结果。 6.根据权利要求5所述的一种基于时序图像的肺结节识别方法， 其特征在于， 所述的步 骤(1)中， 包括如下步骤： (1.1)将患者确诊肺结节后第1至4个月的回访复查胸部影像信息均转换成jpg格式的 图像； (1.2)将步骤(1.1)得到的转换后的图像进行 标准化处理； (1.3)在步骤(1.2)进行标准化后得到的图像中裁剪出肺结节病灶体部分图像后调整 得肺结节病灶体部分统一图； (1.4)将步骤(1.3)得到的肺结节病灶体部分统一图及该患者的真实结果组合成识别 预处理数据。 7.根据权利要求5所述的一种基于时序图像的肺结节识别方法， 其特征在于， 所述的步 骤(2)中， 包括如下步骤： (2.1)将得到的识别预处 理数据存 入病例库中； (2.2)将病例库中的识别预处理数据随机划分成训练集和测试集两组， 所述训练集和 测试集中患者的识别预处 理数据比例为8： 2； (2.3)设置神经网络识别模型， 以大型数据集ImageNet的预训练ResNet模型参数来初 始化神经网络识别模型中所有卷积层权重参数， 其他参数使用均值为0， 方差为1的高斯随 机数， 卷积层的t rainable参数设置为false； (2.4)设置训练的初始学习率为10‑4和从训练集中抽取识别预处理数据的数量， 迭代次 数为100000epoch； (2.5)将抽取的识别预处理数据导入神经网络识别模型中获得识别结果， 使用交叉熵 损失函数作为训练的优化目标函数， 计算网络输出与真实值的Loss值， 训练的优化目标函 数公式为： 其中， n为识别结果的类型数； zi为模型预测每个类别的概率； zy为每个识别预处理数据 的真实值； (2.6)将Loss值反向传播得到每个网络参数的更新量， 使用梯度下降算法更新除了卷 积层以外的其 他参数， 同时将迭代次数加1； (2.7)判断迭代次数是否达到设置的值， 若未达到， 重复步骤(2.5)～(2.6)， 若达到， 则 完成训练获得神经网络识别模型,将该神经网络识别模型保存至识别模型 单元中。 8.根据权利要求7所述的一种基于时序图像的肺结节识别方法， 其特征在于， 所述的步 骤(2.7)后还 包括： 步骤(2.8)从测试集中抽取识别预处理数据导入步骤(2.7)中得到的神经网络识别模 型进行识别， 将识别结果与患者的真实结果进行对比得到TP、 FP、 FN、 TN四个值， 其中， TP表 示将正例预测为正的个数， FP表示将负例预测为正的个数， FN表 示将正例预测为负的个数， TN表示将 负例预测为负的个数；权　利　要　求　书 2/3 页 3 CN 115239695 A 3