(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210951127.6 (22)申请日 2022.08.09 (71)申请人 中北大学 地址 030051 山西省太原市学院路3号 (72)发明人 王丽芳　刘阳　米嘉　张炯　 (74)专利代理 机构 太原申立德知识产权代理事 务所(特殊普通 合伙) 14115 专利代理师 程园园 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/44(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种模态合成与增强的弱监督医学图像融 合方法 (57)摘要 本发明属于图像融合技术领域， 具体涉及一 种模态合 成与增强的弱监督医学图像融合方法。 针对多模态 图像融合需要患者多次成像造成的 对人体伤害和花费大、 图像融合需配准大量成对 数据集， 时间长、 难度大 以及融合图像纹理及精 细结构不够清晰的问题， 本发明提出了基于 CycleGAN与OctopusNet的模态合成与增强的弱 监督医学图像融合方法， 该方法由模态合成、 图 像增强与图像融合 三部分组成。 权利要求书3页 说明书13页 附图7页 CN 115375638 A 2022.11.22 CN 115375638 A 1.一种模态合成与增强的弱监督医学图像融合方法， 其特征在于， 由模态合成、 图像增 强和图像融合 三部分组成， 包括以下步骤： 步骤1， 在模态合成部分， MR图像通过多生成器模态合成网络训练得到的生成器， 生成 深层结构合成图sCT_stru与浅层细节合成图sCT_det； 步骤2， 在图像增 强部分， MR图像通过双生成器图像增 强网络训练得到的生成器， 生成 深层结构增强图sMR_stru与浅层细节增强图sMR_det； 步骤3， 在图像融合部分， 以sCT_stru、 sCT_det、 sMR_stru、 sMR_det和原始PET图像共同作为输入， 通过多模态图像融合 生成对抗网络， 获得CT、 MR、 PET三模态融合图像。 2.根据权利要求1所述的一种模态合成与增强的弱监督医学图像融合方法， 其特征在 于， 所述模态合 成部分包括两个阶段： 模态合 成训练和模态 合成预测； 在所述模态合成训练 阶段， 多生成器模态合成网络以CycleGAN为基础， 将生成器分为由MR合成CT图像的深层结 构生成器GCT_deep和浅层细 节生成器GCT_shallow以及由CT 合成MR图像的深层结构生成器GMR_deep 和浅层细节生成器GMR_shallow， 通过4个 生成器与模态合成鉴别器DCT、 DMR的相互对抗循环训练 网络， 不断对图像深层结构与浅层细节特征提取并提高生成器图像合成性能； 在所述模态 合成预测阶段， MR图像作为输入， 通过训练好的MR合成CT图像的深层结构生成器GCT_deep和 浅层细节生成器GCT_shallow， 生成深层结构合成图sCT_stru与浅层细节合成图sCT_det。 3.根据权利要求2所述的一种模态合成与增强的弱监督医学图像融合方法， 其特征在 于， 所述模态合成训练阶段采用弱监 督方式训练网络， 具体训练过程如下： MR图像作为训练数据， 输入到GCT_deep和GCT_shallow， 生成CT深层结构合成图SCT_structure与 CT浅层细节合成图SCT_details， CT图像同样作为训练数据输入到GMR_deep和GMR_shallow， 生成MR深 层结构合成图SMR_structure与MR浅层细节合成图SMR_details； 而后SCT_structure与SCT_details继续进 入GMR_deep和GMR_shallow， SMR_structure与SMR_details继续输入GCT_deep和GCT_shallow循环训练网络， 通 过 GCT_deep、 GCT_shallow与DCT， GMR_deep、 GMR_shallow与DMR的相互对抗， 使生成器的模态合成性能得以提 高。 4.根据权利要求2所述的一种模态合成与增强的弱监督医学图像融合方法， 其特征在 于， 所述MR合成CT图像的深层结构生成器GCT_deep和CT合成MR图像的深层结构生成器GMR_deep 均由编码、 转换和解码三部分组成； 所述编码 部分由2个卷积层Conv6、 Conv 7组成， 其中卷积 层Conv6代表一个7 ×7、 有k个滤波器且步长为1的Convolution ‑InstanceNorm ‑ReLU层； 卷 积层Conv7为一个3 ×3、 有k个滤波器且步长为2的Convolution ‑InstanceNorm ‑ReLU层； 所 述转换部分由9个Residualblock组成， 所述解码部分由1个反卷积层DeConv4和1个卷积层 Conv8组成， DeConv4为一个3 ×3、 有k个滤波器且步长为1/2的fractional ‑strided ‑ Convolution ‑InstanceNorm ‑ReLU层； Conv8代表一个7 ×7、 有k个滤波器且步长为1的 Convolution‑InstanceN orm‑ReLU层； 所述MR合成CT图像的浅层细节生成器GCT_shallow和CT合成MR图像的浅层细节生成器 GMR_shallow由编码、 转换和解码 三部分组成； 所述编码部分由2个卷积层 Conv6， Conv7组成， 其 中Conv6代表一个7 ×7、 有k个滤波器且步长为1的Convolution ‑InstanceNorm ‑ReLU层， Conv7为一个3 ×3、 有k个滤波器且步长为2的Convolution ‑InstanceNorm ‑ReLU层； 所述转 换部分由9个Residual  block组成； 所述解码部分由1个反卷积层DeConv4和1个卷积层 Conv8组成， 其中反卷积层DeConv4为一个3 ×3、 有k个滤波器且步长为1/2的fractional ‑权　利　要　求　书 1/3 页 2 CN 115375638 A 2strided‑Convolution ‑InstanceNorm‑ReLU层， 卷积层Conv8代表一个7 ×7、 有k个滤波器且 步长为1的Co nvolution‑InstanceN orm‑ReLU层。 5.根据权利要求3所述的一种模态合成与增强的弱监督医学图像融合方法， 其特征在 于， 所述GCT_deep、 GCT_shallow与DCT， GMR_deep、 GMR_shallow与DMR的相互对抗具体为： (1)通过对 抗性损失与循环一致性损失， 学习增强深层结构信息的XMR与YCT域、 浅层细节 信息的X′MR与Y′CT域； (2)网络包括四个映射 函数： G:XMR→YCT、 F:YCT→XMR、 M:X′MR→Y′CT及N:Y′CT→X′MR； (3)给定训练样本 其中xi∈XMR,X′MR、 yj∈YCT,Y′CT， N为正整数； (4)数据分布 表示为x～pdata(x)， y～pdata(y)， 将对抗 性损失应用于四个映射 函数； (5)MR合成CT图像G:XMR→YCT、 M:X′MR→Y′CT以及DCT的对抗性损失如公式(1)、 (2)所示： CT合成MR图像F:YCT→XMR、 N:Y′CT→X′MR以及DMR的对抗性损失如公式(3)、 (4)所示： (6)针对G:XMR→YCT与F:YCT→XMR映射以及M:X ′MR→Y′CT与N:Y′CT→X′MR映射引入 循环一致 性损失， 如公式(5)、 (6)所示： (7)对深层结构信息突出的总目标函数如公式(7)所示： 对浅层细节信息突出的总目标函数如公式(8)所示。 其中λ1、 λ2为控制目标的相对重要性； (8)总目标函数如公式(9)所示： 6.根据权利要求1所述的一种模态合成与增强的弱监督医学图像融合方法， 其特征在 于， 所述图像增强部分包括图像增强训练和图像增强预测两个阶段， 在所述图像增强训练 阶段， 双生成器图像增强网络以GAN为基础， 其内部包含对特征增强的结构生成器Gstructur e、 细节生成器Gdetail和一个增强鉴别器Den， 通过结构生成器Gstructure、 细节生成器Gdetail与增强 鉴别器Den的相互对抗以提高两生成器的特 征增强性能； 所述结构生成器Gstructure、 细节生成器Gdetail均由编码、 解码两部分组成， 所述结构生成权　利　要　求　书 2/3 页 3 CN 115375638 A 3