(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210808591.X (22)申请日 2022.07.11 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 白相志　高鸿渐　 (74)专利代理 机构 北京慧泉知识产权代理有限 公司 11232 专利代理师 王顺荣　唐爱华 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/30(2017.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于并联深度U形网络和概率密度图的 多器官分割方法 (57)摘要 本发明为一种基于并联深度U 形网络和概率 密度图的多器官分割方法， 步骤如下： 步骤一： 在 大规模无标签影像数据集上对深度卷积实例分 割网络编码器进行基于对比学习的自监督预训 练； 步骤二： 基于器官概率密度图与预训练网络 权重， 利用多尺度并联深度U形实例分割网络对 输入影像进行多器官初步分割； 步骤三： 利用多 尺度自适应融合模块改善初步分割结果， 得到对 输入影像的精细多器官分割。 本发 明可充分利用 传统有监督学习中难以利用的大规模无标签数 据， 同时针对多器官分割任务引入了概率密度图 引导和多尺度自适应融合模块， 保证了多器官分 割结果的准确性和可靠性。 本发 明可以与临床诊 断和放化疗计划制定等相关领域应用密切结合， 具有广阔的市场前 景与应用价 值。 权利要求书2页 说明书7页 附图5页 CN 115222748 A 2022.10.21 CN 115222748 A 1.一种基于并联深度U形网络和概率密度图的多器官分割方法， 其特征在于： 该方法步 骤如下： 步骤一： 在大规模无标签影像数据集上对深度卷积 实例分割网络编码器进行基于对比 学习的自监 督预训练： 基于U形实例分割网络构建深度卷积编码器网络， 利用大规模无标签影像数据集， 在像 素传播对比学习框架下对深度卷积编 码器网络进 行自监督预训练； 基于像素传播损失函数 对编码器网络参数进行优化， 最终输出 预训练的编码器网络参数； 步骤二： 基于器官概率密度图与预训练网络权重， 利用多尺度并联U形实例分割网络对 输入影像进行多尺度的多器官初步分割： 根据已标注数据集的多器官标注， 统计构建三维多器官概率密度图； 构建U形实例分割 网络， 将概率密度图作为先验引导信息， 与待分割影像一同作为U形实例分割网络输入， 以 专家事先对相应图像的手工标注作为标签对U形实例分割网络进 行训练； U形实例分割网络 通过编码器对网络输入编 码深度特征， 之后采用解码 器对深度特征解码得到对输入影像的 初步分割， 基于U形实例分割网络的分割结果与专家标注之间的Dice损失函数和交叉熵损 失函数对U形实例分割网络参数进行优化； 对U形实例分割网络的输入和标注进行重采样， 在多个尺度下进行优化， 最终输出为多尺度并联U形实例分割网络对影像的多尺度初步分 割结果； 步骤三： 利用多尺度自适应融合模块改善初步分割结果， 得到对输入影像的精细多器 官分割： 构建多尺度自适应融合模块， 多尺度自适应融合模块的参数为针对不同尺度 下各个器 官的自适应权重； 多尺度融合模块以多尺度初步分割 结果作为输入， 利用模块权重对多尺 度输入进行加权融合， 得到对输入影像的多尺度融合分割 结果； 基于多尺度融合分割与专 家标注之间的交叉熵损失函数和Dice损失函数对不同尺度的自适应权重参数进行优化更 新； 最终输出为多尺度初步分割经由多尺度自适应融合模块得到的对输入影像的精细分割 结果。 2.根据权利要求1所述的一种基于并联深度U形网络和概率密度图的多器官分割方法， 其特征在于： 所述 步骤一的具体过程如下： S11、 构建像素传播对比学习框架， 此框架包含两条前向通路， 其中每条前向通路包含 一个独立的分割网络编码 器和特征投影层， 通路A还包括一个像素传播模块； 此框架的输入 为同一影像的在不同视角下的两幅影像块， 两幅影像块分别通过通路A和通路B得到两幅特 征图， 框架的输出则为两幅特 征图之间的像素传播损失函数值； S12、 对用于自监督预训练的无标签影像进行两次随机裁剪， 得到一幅影像在不同视角 下的两幅影像块， 经过随机数据增强后作为输入样 本对， 按照步骤S11中对比学习框架对分 割网络编码器进行预训练， 具体为： 基于两幅影像块经过通路A和通路B得到的两幅特征图 之间的像素传播损失对对比学习框架中的编 码器网络参数进 行优化， 其中， 通路A中编 码器 网络参数以像素传播损失函数梯度反向传播方式更新， 通路B中编码器网络参数以指数移 动平均方式更新， 像素传播损失函数收敛后得到预训练的编码器网络参数。 3.根据权利要求1或2所述的一种基于并联深度U形网络和概率密度图的多器官分割方 法， 其特征在于： 所述 步骤二的具体过程如下：权　利　要　求　书 1/2 页 2 CN 115222748 A 2S21、 根据已标注数据集的多器官标注， 统计构 建三维多器官概率密度图， 具体为： 根据 标注的器官边界对数据集中的专家标注进行配准对齐， 之后对每幅进行重采样至标准尺 寸， 随后逐体素统计待分割的全部器官在数据集中出现的概率， 并对统计得到的概率进行 归一化得到各个 器官的概 率密度图； S22、 构建U形实例分割网络， U形实例分割网络包含一深度卷积编码器和一深度卷积解 码器， 输入为待分割影像及多器官概率密度图， 输出为对输入影像的初步分割结果； U形实 例分割网络中的深度卷积编码器用于对输入提取多尺度卷积特征， 随着U形实例分割网络 层数的加深， 输出特征图的空间尺寸缩减而通道数增加， 浅层特征包含更多局部细节信息 而深层特征包含更多全局语义信息； U形实例分割网络中的深度卷积解码器将编码器提取 的多尺度卷积特 征进行融合与解码， 得到对输入影 像的初步分割结果； S23、 利用步骤S21所得的多器官概率密度图和训练集的影像及专家标注数据对步骤 S22构建的U 形实例分割网络进 行训练优化； 首先对U 形实例分割网络进 行参数初始 化， 其中 深度卷积编 码器的初始 化参数为步骤一得到的预训练编 码器网络参数， 深度卷积解码器的 初始化参数以随机初始化的方式获得； 之后计算U形实例分割网络对输入影像的分割 结果 与对应的专家标注之间的分割损失函数L， 分割损失函数L为Dice损失函数和交叉熵损失函 数之和， Dice损失函数的表达式为 其中|X|和|Y|表示专家标注和分割结 果中的元 素数， |X∩Y|表示二者交集的元 素数， 交叉熵损失函数的表达式为 其中p(xi)和q(xi)分别表示某处的专家标注及对应位置 的分割结果； 采用随机梯度下降优化器对U形实例分割网络进行优化， U形实例分割网络的 初始学习率设置为10‑2并引入动量更新和权重衰减 机制， 通过梯度反向传播调整U形实例分 割网络权重值对分割损失函数L进行优化； S24、 对训练集影像、 专家标注及多器官概率密度图进行多尺度重采样， 对多个尺度下 的U形实例分割网络重复上述优化过程， 最 终得到多尺度并联U 形实例分割网络对输入影像 的多尺度初步分割结果。 4.根据权利要求1所述的一种基于并联深度U形网络和概率密度图的多器官分割方法， 其特征在于： 所述 步骤三的具体过程如下： 多尺度融合模块进行融合运算的表达式为 其中Pi表示影像中融合运 算后某位置属于第i个器官的概率， Pij表示在第j个尺度的初步分割结果中此位置属于第 i 个器官的概率， wij表示第j个尺度下第i个器官的自适应权重 参数， n表示步骤二中采用的全 部尺度； 基于多尺度融合分割与专家标注之间的分割损失函数L对多尺度下不同器官 的自 适应权重参数wij进行优化更新， 分割损失函数L为Dice损失函数和交叉熵损失函数之和， Dice损失函数的表达式为 其中|X|和|Y|表示专家标注和网络分割中的 元素数， |X∩Y|表示二者交集的元 素数， 交叉熵损失函数的表达式为 其中p(xi)和q(xi)分别表示某处的专家标注及对应位置 的网络分割结果； 初始学习率设置 为10‑3并引入动量 更新和权重衰减 机制， 通过梯度反向传 播使用调整多尺度自适应权重参数对分割损失函数L进行优化； 最终输出为多尺度初步分 割经由多尺度自适应融合模块后得到的对输入影 像的精细分割结果。权　利　要　求　书 2/2 页 3 CN 115222748 A 3