(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210420290.X (22)申请日 2022.04.21 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 余晋刚　吴锦全　吴梓浩　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 李斌 (51)Int.Cl. G16H 50/30(2018.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/762(2022.01)G06V 10/74(2022.01) G06V 10/82(2022.01) (54)发明名称 一种乳腺癌前哨淋巴结转移的预测方法、 系 统及存储介质 (57)摘要 本发明公开了一种乳腺癌前哨淋巴结转移 的预测方法、 系统及存储介质， 方法为： 获取带标 签的WSI作为训练数据集， 进行预处理得到图像 块集； 构建WSI 分类模型； 使用图像块集对特征提 取器进行预训练， 获得特征向量集； 将特征向量 集输入原型聚类模块中， 通过聚类提取多个原 型； 对乳腺癌前哨淋巴结WSI划分图像块后输入 特征提取器中提取图像块特征； 将图像块特征和 原型输入特征融合模块进行匹配， 生成软分配直 方图， 构造乳腺癌前哨淋巴结WSI的特征向量； 将 乳腺癌前哨淋巴结WSI的特征向量送入全 连接层 获取WSI分类分数并进行转移判断。 本方法在保 持对宏转移精确识别的同时， 能够更好的解决微 转移识别的问题， 从而对乳 腺癌前哨淋巴结转移 进行精确地诊断。 权利要求书3页 说明书10页 附图4页 CN 114783604 A 2022.07.22 CN 114783604 A 1.一种乳腺癌前哨淋巴结转移的预测方法， 其特 征在于， 包括下述 步骤： 获取带标签的WSI作为训练数据集， 进行 预处理得到图像块 集； 构建WSI分类模型， 所述WSI分类模型包括特征提取器、 原型 聚类模块、 特征融合模块及 全连接层； 使用图像块 集对特征提取器进行 预训练， 获得 特征向量集， 并固定特 征提取器的参数； 将特征向量集输入原型聚类模块中， 通过聚类提取多个原型； 对乳腺癌前哨淋巴结WSI划分图像块后输入固定参数的特征提取器中提取图像块特 征； 将图像块特征和原型输入特征融合模块进行匹配， 生成软分配直方图， 构造乳腺癌前 哨淋巴结WSI的特 征向量； 将乳腺癌前哨淋巴结WSI的特 征向量送入 全连接层获取WSI分类分数并进行转移判断。 2.根据权利要求1所述的一种乳腺癌前哨 淋巴结转移的预测方法， 其特征在于， 所述训 练数据集表示 为： 其中， Xi表示第i张带 标签的WSI， |S|表示 为训练数据集S中带 标签WSI的张数； 所述标签表示为Y∈{0,1}， 当Y＝1时表示乳腺癌前哨淋巴结发生转移； 当Y＝0时表示 乳腺癌前哨淋巴结 未发生转移； 所述预处理是指将训练数据集中带标签的WSI进行二值化处理， 再划分为多个长宽一 致的图像块， 表示为： 其中， 表示第i张带标签WS I划分后的第n个图像块， |Xi|表 示第i张带 标签WSI划分为图像块的块数。 3.根据权利要求2所述的一种乳腺癌前哨 淋巴结转移的预测方法， 其特征在于， 所述特 征提取器基于卷积神经网络构建， 使用最大池化多示例学习 方法进行预训练， 将输入的图 像块转换为特 征向量， 表示 为： 其中， 表示第i张带标签WSI划分后第n个图像块的特征向量， gθ表示预训练的特征提 取器， 参数为θ； 所述将图像块 集输入特 征提取器中获得 特征向量集， 表示为： 4.根据权利要求3所述的一种乳腺癌前哨 淋巴结转移的预测方法， 其特征在于， 所述将 特征向量集输入原型聚类模块中， 通过聚类提取多个原型， 具体为： 原型聚类模块使用AP聚类算法对任一WSI中图像块的特征向量进行聚类， 得到第一阶 段聚类中心： 其中， 表示对Xi中图像块的特征向量进行AP聚类得到的第一阶段聚类中心集 合， Mi表示第一阶段聚类中心的数量； 使用AP聚类算法对第一阶段聚类中心进行聚类， 得到第二阶段聚类中心作为原型：权　利　要　求　书 1/3 页 2 CN 114783604 A 2其中， 表示对第一阶段聚类中心进行AP聚类得到的第二阶段聚类中心集 合， M表示第二阶段聚类中心的数量； 所述AP聚类算法的相似性度量定义 为： 其中， Sab表示图像块a与图像块b的特征之间的相似性度量值， λ为超参数， 为图像块a 的特征， 为图像块b的特 征， ‖·‖F表示弗罗贝尼乌斯 ‑范数。 5.根据权利要求4所述的一种乳腺癌前哨 淋巴结转移的预测方法， 其特征在于， 所述乳 腺癌前哨淋巴结WSI表示 为X； 提取 得到的图像块特 征表示为 所述将图像块特 征和原型输入特 征融合模块进行匹配， 生成软分配直方图， 具体为： 引入度量学习机制， 使用可学习全连接层FC2将图像块特征映射到新的特征空间， 通过 余弦相似性 来度量第n个图像块特 征和第m个原型的相似性， 公式为： 其中， 表示相似性， W2为可学习全连接层FC2的参数， 为W2的转置矩阵； 根据计算得到的相似性 生成软分配直方图{hn}n， 其中x轴表示原型， y轴表示相似性。 6.根据权利要求5所述的一种乳腺癌前哨 淋巴结转移的预测方法， 其特征在于， 所述构 造乳腺癌前哨淋巴结WSI的特 征向量， 具体为： 引入TOP‑K选择机制， 使用全连接层FC3为每个图像块特征分配一个分数rn来量化其与 乳腺癌前哨淋巴结 阳性的相关性， 公式为： 其中， W3为可学习全连接层FC 3的参数， 为W3的转置矩阵； 按照降序对分数{rn}n进行排序， 选择 前K个最相关的图像块特 征IK＝{n1,…,nK}； 使用选择池化来聚合K个最相关图像块特征的相似度分数， 获得乳腺癌前哨淋巴结WSI 的特征向量h＝[h(1),…,h(M)]， 其中， M表示 WSI特征向量的维度， h(m)表示WSI特征向量第m维的数值。 7.根据权利要求6所述的一种乳腺癌前哨 淋巴结转移的预测方法， 其特征在于， 所述获 取WSI分类分数， 具体为： 将乳腺癌前哨淋巴结WSI的特 征向量送入 全连接层FC1中， 计算得到WSI分类分数： 其中， W1为全连接层FC1的参数， o 为softmax输出的分数， 表示W1的转置矩阵。 8.根据权利要求7所述的一种乳腺癌前哨淋巴结转移的预测方法， 其特征在于， 所述权　利　要　求　书 2/3 页 3 CN 114783604 A 3