(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210961993.3 (22)申请日 2022.08.11 (71)申请人 西安理工大 学 地址 710048 陕西省西安市金花 南路5号 (72)发明人 刘芸　刘雨萌　吴晓强　焦明星　 邢俊红　 (74)专利代理 机构 北京国昊天诚知识产权代理 有限公司 1 1315 专利代理师 李潇 (51)Int.Cl. G06V 10/44(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) (54)发明名称 一种密集型分布的粘连细胞深度学习识别 方法 (57)摘要 本发明公开了一种密集型分布的粘连细胞 深度学习识别方法， 包括以下步骤： S1， 收集红细 胞医学图像数据集并进行预处理； S2， 对数据集 进行样本扩增； S3， 对数据集进行样本标注； S4， 对红细胞图像进行特征提取； S5， 对预处理后的 样本经过平衡金字塔BFP进行特征提取； S6， 搭建 金字塔拆分注意力机制EPSA， 再送入区域生成 网 络RPN； S7， 用感兴趣区域校准ROI  Al ign获得更 准确的定位信息； S8， 搭建Fast  R‑CNN网络； S9， 对S1采集到 的测试数据进行S2、 S3操作； S10， 将 经过S9处理的样本送入S4至S8构建的模型中求 得测试结果， 再经过Fast  R‑CNN输出分类与回归 的结果。 深度学习方法同时识别单个细胞和粘 连 细胞， 并给出两类细胞的判别结果， 有效地提高 了细胞的平均识别精度。 权利要求书3页 说明书8页 附图2页 CN 115359264 A 2022.11.18 CN 115359264 A 1.一种密集型分布的粘连细胞深度学习识别方法， 其特 征在于， 包括以下步骤： S1， 收集红细胞医学图像数据集， 并对红细胞样本进行 预处理， 形成数据集样本； S2， 对经过S1所提取的数据集样本进行 数据扩增； S3， 对经过S2所处 理的数据集进行样本标注； S4， 对红细胞图像进行 特征提取， 添加可变形 卷积DCN结构； S5， 对预处 理后的数据集样本经 过平衡金字塔BFP网络进行 特征提取； S6， 搭建金字塔 拆分注意力机制EP SA， 再送入区域 生成网络RPN网络； S7， 用感兴趣区域校准ROI  Align获得更准确的细胞定位信息； S8， 搭建Fast  R‑CNN网络； S9， 对由S1采集到的测试 数据进行训练阶段的步骤S2、 S3预处 理操作； S10， 将经过S9处理的样本送入S4、 S5、 S6、 S7和S8构建的模型中求得测 试结果， 即最后 经过Fast R‑CNN输出分类与回归的结果。 2.根据权利要求1所述的一种密集型分布的粘连细胞深度 学习识别方法， 其特征在于， 所述步骤S1具体包括： 从伊斯法罕医学图像和信号处理MISP数据集收集含有红细胞目标的 单个独立细胞和粘连细胞的医学细胞图片， 作为训练 图像； 将训练 图像剪裁为779 ×519大 小的图片， 并去除剪 裁后训练集中的负 样本， 形成数据集样本 。 3.根据权利要求1所述的一种密集型分布的粘连细胞深度 学习识别方法， 其特征在于， 所述步骤S2具体包括： 对图片进行水平翻转、 旋转、 缩放、 平移处理， 将原有数据集扩增到 260张， 形成完整的数据集。 4.根据权利要求1所述的一种密集型分布的粘连细胞深度 学习识别方法， 其特征在于， 所述步骤S3具体包括： S301， 对于医学图像进行处理， 对医学图像中的红细胞进行标注， 从而构成训练Faster   R‑CNN神经网络模型所需的带有标注的数据集， 标注训练 图像中所有细胞目标的类别和位 置坐标， 得到样本目标； S302， 将标注好的数据集分为训练集、 验证集、 测试集三个部分。 其中训练集用于模型 拟合的数据样本， 在训练过程中对训练误差进行梯度下降和权重参数 的训练； 验证集用于 调整模型的超参数和初步评估 模型能力； 测试集用来评估 模最终模型的泛化能力。 5.根据权利要求1所述的一种密集型分布的粘连细胞深度 学习识别方法， 其特征在于， 所述步骤S4具体包括： 首先替换VGG16为ResNet50残差网络， 选择其最后4个残差模块最后 一层的特征图构建自下而上 的网络； 然后通过横向连接和自上而下 的上采样得到4层特征 图， 定为C2、 C3、 C4、 C5， 形成自上而下的网络； 在C3、 C4层引入了DCN模块， 即在传统卷积的基 础上， 增加了调整卷积核的方向 向量。 6.根据权利要求1所述的一种密集型分布的粘连细胞深度 学习识别方法， 其特征在于， 所述步骤S 5具体包括： 在步骤4的基础上， 给C5层后建立横向连接和自上而 下生成的新特征 层P2、 P3、 P4、 P5， 对于自上而下的网络， 输入自下而上网络对应层的特征图， 输出1 ×1卷积 和相邻上层上采样结果， 经过C5层建立的横向连接， 最终由P2、 P3、 P4、 P 5四层的结果同时作 为特征提取网络的输出； 特征金字塔FPN与非局部注意力机制non ‑local发挥各自优势， 将不同层级的特征图通 过自适应最大池化或者降采样的方法统一到C4层， 分别使用插值和最大池化处理， 对于小权　利　要　求　书 1/3 页 2 CN 115359264 A 2尺寸的特征图可以进行池化处理， 而对于大尺度的特征图可以进行双线性插值处理； 得到 的L个特征层逐元素相加并除以L， 即平衡 语义特征为： 式(1)中： Cl为预测特征层为l的层级、 L为预测特征层总层级数、 lmax为最高层级， lmin为 低层级。 7.根据权利要求1所述的一种密集型分布的粘连细胞深度 学习识别方法， 其特征在于， 所述步骤S6具体包括： S601， 搭建金字塔拆分注意力机制EPSA， 利用其中SPC模块对通道进行切 分； 首先设置 输入特征图X， 先将其拆分为S部分 [X0,X1,...,XS‑1]， 然后对不同部分提取不同尺度特征， 最后将所提取的多尺度特征进 行拼接， 其过程 为： [X0,X1,......,XS‑1]＝Split(X)； Fi＝Conv(Ki×Ki,Gi)(Xi),i＝0,1,.....,S‑1； F＝Cat([F0,F1,......,FS‑1])； S602， 在S601基础上， 再对不同部分特 征提取注意力权值， 如下 所示： Zi＝SEWeight(Fi),i＝0,1,......,S‑1 S603， 为更好地实现注意力信息交互并融合跨纬度信息， 将上述注意力向量进行拼接， 即 然后对所得注意力权值进行归一 化： att＝Softmax(Z) S604， 得到校正后的特 征： Y＝F ⊙att； S605， 对重新校正的权重和相应的特征图按元素进行点乘操作， 输出一个多尺度特征 信息注意力加权之后的特征图， 每个特征图的每个特征点将生成的锚点后续送入区域生成 网络RPN， 生成区域 候选框。 8.根据权利要求1所述的一种密集型分布的粘连细胞深度 学习识别方法， 其特征在于， 所述步骤S7具体包括： 选择用ROI  Align代替感兴趣区域池化ROI  Pooling， 其原理是取消 量化操作， 使用双线性内插的方法获得坐标为浮点数 的像素点上 的图像数值， 从而将整个 特征聚集过程转化为一个连续的操作， 当特征信息输入到金字塔中预测输出时， 采用后4层 数据输入到ROI  Align层， 从而增 加了网络特 征提取能力。 9.根据权利要求1所述的一种密集型分布的粘连细胞深度 学习识别方法， 其特征在于， 所述步骤S8具体包括： S801， 对每个候选区域的特征 图， 拉平成为一维向量， 经过线性整流函数ReLU后， 分别 经过两个全连接层， 一个经过归一化指数函数Softmax对候选区域进行分类， 另一个进 行检 测框坐标的更精确的回归； S802， 初始化上述模型中所有待训练的权重及偏置， 设置训练参数、 学习率、 批大小 batch_size、 RPN和Fast  R‑CNN网络各自正负 样本的阈值， 开启模型训练。 10.根据权利要求1所述的一种密集型分布的粘连细胞深度学习识别方法， 其特征在 于， 所述步骤S10具体包括： 计算红细胞目标的召回率、 精准 率、 平均精度； S1001， 红细胞测试样本的召回率recal l计算为：权　利　要　求　书 2/3 页 3 CN 115359264 A 3