(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210940594.9
(22)申请日 2022.08.06
(71)申请人 河南大学
地址 475001 河南省开封市顺河区明伦街
85号
(72)发明人 庞子龙 马韶胤 武戈 莫也
蒋奇臻
(74)专利代理 机构 郑州大通专利商标代理有限
公司 41111
专利代理师 张立强
(51)Int.Cl.
G06T 7/00(2017.01)
G06T 7/11(2017.01)
G06V 10/44(2022.01)
G06V 10/82(2022.01)G06N 3/08(2006.01)
G06N 3/04(2006.01)
(54)发明名称
一种双重特征融合MRA图像的颅内动脉瘤分
割方法
(57)摘要
本发明属于医学图像处理技术领域, 公开了
一种双重 特征融合MRA图像的颅内动脉瘤分割方
法, 提出了一种新型的特征融合方式, 使神经网
络能更有效的分割出颅内动脉瘤的精确位置。 具
体包括以下步骤: 对三维时间飞跃磁共振血管成
像图像进行预处理, 将其制作为数据集; 将处理
过的图像输入用于特征提取的解码器以获得逐
渐增大的高级语义特征, 然后通过双重特征融合
使特征反馈至解码器中; 解码器进行多尺度的特
征提取后还原原本的图像, 以取得分割效果。 本
发明提出的神经网络结构有效的解决了在颅内
动脉瘤分割任务中目标较小、 样本不均衡的问
题, 并拥有较优的分割效果。
权利要求书3页 说明书9页 附图5页
CN 115147404 A
2022.10.04
CN 115147404 A
1.一种双重特 征融合MRA图像的颅内动脉瘤分割方法, 其特 征在于, 包括:
步骤1: 对 采集到的MRA图像进行 预处理并划分数据集;
步骤2: 将预处 理后的数据输入编码器模块进行语义特 征提取;
步骤3: 进行层间及通道间双重特 征融合, 并将融合后的特 征反馈至解码器模块中;
步骤4: 解码器模块基于步骤2和步骤3提取的特征对MRA图像进行重建, 并输出分割结
果;
步骤5: 基于划分后的数据集进行训练与测试, 评价分割结果。
2.根据权利要求1所述的一种双重特征融合MRA图像的颅内动脉瘤分割方法, 其特征在
于, 所述步骤1包括:
步骤1.1: 对 采集到的MRA图像进行筛 选;
步骤1.2: 对筛 选后的数据进行N 4偏置场矫 正;
步骤1.3: 移除数值 为0的体素;
步骤1.4: 对数据进行图像增强:
步骤1.5: 将数据集划分为训练集、 验证集和 测试集;
步骤1.6: 将数据转 化为Tensor格式, 并进行归一 化使数据限定在[0, 1]之间;
步骤1.7: 将所有数据由中心切割为128像素 ×128像素×128像素的大小。
3.根据权利要求2所述的一种双重特征融合MRA图像的颅内动脉瘤分割方法, 其特征在
于, 所述步骤1.4包括:
步骤1.4.1: 依据probability=0.8, m ax_left_rotation=10, m ax_right_rotation=
10, 对图像进行随机左右旋转; 其中, probability为旋转概率, max_left_rotation为最大
左旋角度, max_right_rotati on为最大右旋角度;
步骤1.4.2: 取sigma=0.5对图像进行高斯模糊;
步骤1.4.3: 将数据进行随机 裁剪, 并随机改变其长 宽高比例;
步骤1.4.4: 对数据进行l ossless重排。
4.根据权利要求1所述的一种双重特征融合MRA图像的颅内动脉瘤分割方法, 其特征在
于, 所述步骤2包括:
步骤2.1: 使用尺寸为4 ×4×4, 步长为4的卷积核对输入图像进行3D Patch Partition
与Linear Embedding操作使特征图的尺寸减小到原来的1/4; 并将上述特征图输入至LN层
进行Layer Norm操作; 对上述输出做Drop Out操作; 得到特 征图1;
步骤2.2: 先对Drop Out操作后输出的特征图进行Layer Norm操作, 之后使用Swin
Transformer的编码器架构, 将上述输出特征图分为多个7 ×7×7大小的小块, 使用全连接
层对每一个小块生成对应的Query、 Key与Value; 之后以每个小块为单位进行Swin
Transformer中的多头注意力操作; 将上述特征图输入到全连接层中, 进行Drop Out操作;
将Drop Out操作后的输出特征图与特征图1进行相加得到特征图2; 将特征图2进行Layer
Norm操作; 然后输入MLP层中, 进行Drop Out操作; 将Drop Out操作后的输出特征图与特征
图2相加, 输出 特征图3;
步骤2.3: 将特征图3进行L ayer Norm操作; 对上述分块操作的小块进行滑动; 使用全连
接层对每一个小块生成对应的Query、 Key与Value; 之后以每个小块为单位进行Swin
Transformer中的滑动多头注 意力操作, 将上述操作后的特征图输入到全连接层中, 然后进权 利 要 求 书 1/3 页
2
CN 115147404 A
2行Drop Out操作; 将Drop Out操作后的输出特征图与特征图3进行相加得到特征图4; 将特
征图4进行Layer Norm操作; 将Layer Norm操作后输出特征图输入MLP层中, 进行Drop Out
操作; 将Drop Out操作后输出 特征图与特 征图4相加, 输出 特征图5;
步骤2.4: 使用Swin Transformer中的3D Patch Merging对特征图5进行下采样, 使其
H、 W减小至原来的1/2, D不变, 其中H、 W、 D分别表示特 征图的高、 宽、 长;
步骤2.5: 重复操作步骤2.2、 步骤2.3与步骤2.4各两次, 得到特 征图6。
5.根据权利要求3所述的一种双重特征融合MRA图像的颅内动脉瘤分割方法, 其特征在
于, 所述步骤3包括:
步骤3.1: 将步骤2中三轮编码器模块输出的结果保存; 通过不同的填充与卷积操作, 将
上述保存 特征图尺 寸均调整为7 ×7×7, 通道数不变, 得到特征图7、 特征图8、 特征图9; 在通
道维度上将特 征图7、 8、 9连接获得 特征图10; 将特 征图7、 8、 9、 10进行Layer Norm操作;
步骤3.2: 将特征图7、 8、 9通过全连接层生成拥有4head的Query1、 Query2、 Query3作为
多头注意力操作中的Query; 将特征图10通过全连接层生成拥有4head的Key、 Value; 使
4head的Key、 Value分别对Query1、 Query2、 Query3做通道维度上的自注意力得到 特征图R1、
R2、 R3;
通过mean操作将R1、 R2、 R3的head合并; 将上述输出特征图分别输入全连接层, 进行
Drop Out操作后输出O1、 O2、 O3; 将O1、 O2、 O3分别 与特征图7、 8、 9相加得到 特征图11、 12、 13;
对特征图11、 12、 13进行Layer Norm操作及MLP操作;
将MLP操作后输出分别与特 征图11、 12、 13相加得到特 征图14、 15、 16;
步骤3.3: 将步骤3.2重复三次, 对对应输出特征图分别进行L ayer Norm操作; 通过维度
变换操作使特征图尺寸由[B, Pat ch, C]转化为[B, D, H, W, C], 得到特征图17、 18、 19; 其中B 代
表训练中的Batch Size; Patch代表在自注意力操作中Query、 Key与Value的个数; C代表通
道数; D、 H、 W代 表特征图的长、 高、 宽;
步骤3.4: 输出三次重复步骤2.2 中的Key、 V alue得到k11、 k12、 k13、 v11、 v12、 v13; 输出三次
重复步骤2.3中的K ey、 Value 得到k21、 k22、 k23、 v21、 v22、 v23;
步骤3.5: 将特征图10进行SE注意力机制操作与softmax操作, 将按通道数分割后得到
结果与特征图17、 18、 19在通道方 向上做torch.cat操作; 通过填充与卷积操作将上述输出
特征图尺 寸转化为与其对应的步骤3.1输入的特征图尺 寸相同, 输出结果特征图; 将上述输
出特征图分别与步骤2.2重复三次的输入结果相加得到特 征图20、 21、 2 2。
6.根据权利要求4所述的一种双重特征融合MRA图像的颅内动脉瘤分割方法, 其特征在
于, 所述步骤4包括:
步骤4.1: 通过flatten与transp ose操作将 特征图6尺寸变为[B, H ×W×D, C]; 将上述输
出特征图通过全 连接层上采样 至[B, H×W×D, 2×C]; 上述输出特征图通过view操作将其尺
寸调整至[B, D, H, W, 2 ×C]; 通过rearrange操作 将上述输出特征图尺寸调整至[B, D, 2 ×H, 2
×W, C/2]; 将上述输出 特征图进行Layer Norm操作;
步骤4.2: 使用torch.cat操作将输入特征图22和步骤4.1中输出特征图在通道维度上
合并; 将上述输出特征图通过全连接层将其通道数减半, 然后分为
专利 一种双重特征融合MRA图像的颅内动脉瘤分割方法
文档预览
中文文档
18 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共18页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 04:37:10上传分享