(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211013370.X (22)申请日 2022.08.23 (71)申请人 浙江省肿瘤医院 地址 310022 浙江省杭州市 半山桥广济路 38号 (72)发明人 陈明　张婕　杨一威　徐裕金　 季永领　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 赵杭丽 (51)Int.Cl. G06T 11/00(2006.01) G06T 11/40(2006.01) G06T 7/11(2017.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于神经网络的多特征感兴趣区域的 自动勾画系统与方法 (57)摘要 本发明提供一种基于神经网络的多特征感 兴趣区域的自动勾画系统与方法， 包括影像模 块、 预处理模块、 自动勾画模块、 输出模块； 其中 影像模块用于获取影像； 预处理模块用于对所述 影像模块获取的影像进行处理， 使其符合自动勾 画模块要求的图像标准； 自动勾画模块对预处理 后的图像进行ROI的分割； 输出模块将所述自动 勾画模块输出的分割结果进行处理， 使其成为可 被其他设备读取的格式。 本发明能够识别不同特 征、 相同标签的目标。 本发明采用的动态区域感 知卷积的卷积参数会根据输入图像区块的影像 特征进行自动匹配， 因此， 当输入图像中ROI的不 同区块呈现不一样的特征时， 本发 明能做出正确 的判断。 权利要求书2页 说明书6页 附图2页 CN 115359140 A 2022.11.18 CN 115359140 A 1.一种基于神经网络的多特征感兴趣区域的自动勾画系统， 其特征在于， 包括影像模 块、 预处理模块、 自动勾画模块、 输出模块； 其中影像模块用于获取影像； 预 处理模块用于对 所述影像模块获取 的影像进行处理， 使其符合自动勾 画模块要求的图像标准； 自动勾 画模 块对预处理后的图像进行ROI的分割； 输出模块将所述自动勾画模块输出的分割 结果进行 处理， 使其成为可被其 他设备读取的格式。 2.权利要求1所述的自动勾画系统的构建方法， 其特 征在于， 通过以下步骤实现： S1： 影像模块采用医学影 像设备拍摄感兴趣区域的影 像， 记为I0； 所述医学影像设备包括： 计算机断层扫描图像、 磁共振成像、 正电子发射型计算机断层 显像、 PET ‑CT； S2： 预处理模块对I0进行预处理， 使其成为符合自动勾画模块处 理的图像标准， 记为 I1； S3： 将S2输出的预处理后的图像I1输入自动勾画模块， 模块中包含的自动勾画模型M对 图像I1进行ROI识别， 生成分割掩 模图Ioutput； 所述分割掩模图Ioutput是尺寸与I1相同的图像， 该图像中， 被M识别为目标的像 素标记为 1， 被M识别为非目标的像素 标记为0； S4： 输出模块对S3 输出的掩 模图Ioutput进行处理， 生成可被其 他设备读取的格式。 3.根据权利要 求2所述的构建方法， 其特征在于， 步骤S2中I0是CT图像时， 所述预处理的 方法包括以下方法中的一个或多个： (1)将I0中CT值在[u,v]范围内的像素线性转换为[0, 255]或[0,1]， 小于u的CT值均转换为0， 大于v的CT值均转换为255或1； (2)将I0中与ROI无关 的区域裁 剪并舍弃。 4.根据权利要求2所述的构建方法， 其特征在于， 步骤S3所述的自动勾画模型M是基于 动态区域感知卷积建立的神经网络模型， 该模型的结构包括： 输入层、 动态区域感知卷积 层、 激励函数层、 批归一化层、 基于动态区域感知卷积的转置卷积层、 输出层， 这些层按照一 定规律排布。 5.根据权利要求2所述的构建方法， 其特征在于， 所述的自动勾画模型M的训练步骤包 括： (1)收集多幅影 像I及该影 像中的ROI轮廓； (2)将ROI轮廓转换为掩膜图Imask， 该Imask的尺寸与I一致， ROI的轮廓及其内部的像素或 体素值设为1， 其 余像素或体素值设为0； (3)对影像I进行预处理， 将其处于[u,v]范围的数值线性转换至[0,255]或[0,1]， 小于 u的数值转换为0， 大于v的数值 转换为25 5或1； (4)将预处理后的多幅影像I及其对应的掩模图Imask分别作为自动勾画模型M的输入与 输出， 应用反向传 播算法优化M参数， 直至自动勾画模型的输出M(I)与Imask之间的重合度 达 到最大； 其中， 评估 “M(I)与Imask之间的重合度 ”的函数是dice  similarity  coefficient(DSC)， 计算公式如下： 6.根据权利要求2所述的构建方法， 其特征在于， 步骤S4所述对S3输出的掩模图Ioutput 进行处理包括以下 方法中的一个或多个：权　利　要　求　书 1/2 页 2 CN 115359140 A 2(1)将I1与Ioutput进行对应 元素相乘， 使得相乘产生的 图像仅包含目标区域的灰度值， 非 目标区域的灰度值变为0； (2)Ioutput按照I1被S2裁掉的像素区域用零值进 行填充， 使得填充后的Ioutput与I0的尺寸 一致， 再将Ioutput与I0进行对应元素相乘， 使得相乘产生的图像仅包含目标区域的灰度值， 非目标区域的灰度值变为0； (3)读取掩膜图像Ioutput中目标区域的边缘坐标， 该坐标是二维或三维坐标， 将该坐标 值按照DICOM标准写入文件中， 以使该文件被DICOM处 理软件读取。 7.根据权利要求4所述的构建方法， 其特征在于， 所述基于动态区域感知卷积建立的神 经网络模 型的排布 规律按照输入到输出的方向依次是输入层， 5组动态区域 感知卷积层、 激 励函数层、 批归一化层的组合， 5组基于动态区域 感知卷积的转置卷积层、 激励函数层、 批归 一化层的组合， 输出层； 动态区域感知卷积层包括： 特征提取模块、 特征编码模块、 卷积核生成模块、 卷积计算 模块。 其中， 特征提取模块 从该层的输入图像I ′的不同区块中提取特征， 图像的每个像素点 或体素点均有相对应的特征值， 这些特征值共同形成特征图F； 特征编码模块对F中的特征 值进行1～N的编码， 形成编码图IN； 卷积核生成模块生成N个卷积核W＝{W1,W2,…,WN}； 卷积 计算模块根据编码图IN， 在I′的每个像素或体素上， 根据该像素或体素对应的编码i∈[1, N]， 选择相应的卷积核Wi(i∈[1,N])进行对应元素相乘求和计算， 输出相应的值， 这些值共 同构成动态区域感知卷积层的输出。 8.根据权利要求7所述的构建方法， 其特征在于， 所述动态区域感知卷积层的特征提取 模块的计算包括以下 过程的一个或多个： (1)通过1个尺寸为kx×ky×C或kx×ky×kz×C的卷积核(其中， kx、 ky、 kz是沿着x、 y、 z三 个方向上的卷积核尺 寸， C是输入图像I ′的通道数)与输入图像I ′进行卷积计算求得特征图 F； 特征编码模块将F中的特征值按照从小到大的顺序平均分为N段， 第i个数值段内的特征 值都编码为 i(i∈[1,N])； (2)通过N个尺寸为kx×ky×C或kx×ky×kz×C的卷积核(其中， kx、 ky、 kz是沿着x、 y、 z三 个方向上的卷积核尺 寸， C是输入图像I ′的通道数)与输入图像I ′进行卷积计算求得特征图 F， 该特征图有N个通道， 即F中的每个像素或体素处均对应N个特征值； 特征编码模块根据F 中每个像素或体素 处最大特征值所对应的通道索引进行编码， 即特征图F中坐标为(t,p)的 像素或坐标为(t,p,q)的体素有N个通道的特征值， 其中第m(m∈[1,N])个通道的特征值最 大， 则该像素或体素的编码为m。 9.根据权利要求7所述的构建方法， 其特征在于， 所述动态区域感知卷积层的卷积核生 成模块生成的N个卷积核的初始化 参数是随机产生的。 10.根据权利要求7所述的构建方法， 其特征在于， 所述基于动态区域感知卷积的转置 卷积层的计算过程是： (1)根据该层的输入参数步长str ide、 补0个数padding和卷积核大小 (kx×ky或kx×ky×kz)， 先在该层输入图像It的每两个像素或体素间插入stride ‑1个零值， 再在图像四周分别插入kx‑padding‑1行、 ky‑padding‑1列的零值或kx‑padding‑1行、 ky‑ padding‑1列、 kz‑padding‑1层的零值， 形成新图像 Iw； (2)将卷积核参数沿着x、 y方向或x、 y、 z方向分别进行翻转； (3)翻转后的卷积核参数与Iw进行动态区域感知卷积计算， 该卷积计 算的结果即为该层输出。权　利　要　求　书 2/2 页 3 CN 115359140 A 3