(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211072494.5 (22)申请日 2022.09.02 (71)申请人 西安电子科技大 学杭州研究院 地址 311200 浙江省杭州市萧 山区萧山经 济技术开发区钱农东路8号 (72)发明人 祁佳炜　刘森森　刘晓宁　赵唯羽　 廖桂生　陆清声　王阳　 (74)专利代理 机构 北京子焱知识产权代理事务 所(普通合伙) 11932 专利代理师 胡晨琛 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/10(2017.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06V 10/44(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种介入手术机器人基于CNN的血管介 入导 丝尖端实时跟踪方法 (57)摘要 本发明公开了一种基于CNN的血管介入导丝 尖端实时跟踪方法， 所述方法包括： 由两部分组 成的跟踪器， 用于粗略检测尖端位置的检测网络 和用于在尖端位置附近精确描绘尖端的分割网 络。 为了学习强大的实时跟踪器， 我们提取小 图 像块， 包括连续帧中的尖端， 然后学习分割网络 的信息空间和运动特征。 在推理过程中， 首先通 过检测网络在初始帧中估计尖端边界框， 然后 在 后续帧中通过分割网络连续执行尖端描绘， 并在 具有挑战性的帧中跟踪失败时通过检测网络自 动重新启动跟踪， 该方法采用分治法的思想， 将 目标问题划分为两个子问题： 检测导丝尖端的目 标区域， 在上述区域的基础上进行分割， 从而实 现了更好的跟踪精度。 权利要求书2页 说明书6页 附图1页 CN 115393399 A 2022.11.25 CN 115393399 A 1.一种介入手术机器人基于CNN的血管介入导丝尖端实时跟踪方法， 其特征在于： 包括 所述卷积神经网络从输入到 输出包括： 2个卷积层， 2个池化层和两个全连接层； 所述卷积神经网络从输入到输出还包括标准化层， 激活函数层和减小过拟合的 DropOut， 检测网络使用RPN， RPN指区域建议网络， 主 要包括： 提取 特征， 分类器和回归器； 检测步骤为： S1、 利用5个尺寸为2， 卷积步长为3 的卷积核得到小为W ·H.256的卷积特征 图， 同时该 特征图的尺度缩小为原图的1/32， 因此特征图上的每一个特征点对应原图中的32 ×32感受 野； S2、 根据特征点的坐标对应到原图中指定区域， 并且在原图中预测不同尺寸的N候选区 域， 因此原图中 中一共有W ·H·N候选区域； S3、 然后利用一个3x3x256的卷积核与特征图卷积， 每卷积一次， 得到N候选框共享的 1x1×256维的特征； S4、 然后将该特征输入到训练好的分类器得到对应于原图中的区域属于目标区域和非 目标区域的概 率； S5、 最后对前5个得分最高的候选区域进行坐标回归， 然后对回归后的区域进行非极大 值抑制， 得到得分最高的区域作为 导丝的目标区域。 2.根据权利要求1所述的一种介入手术机器人基于CNN的血管介入导丝尖端实时跟踪 方法， 其特 征在于： 所述分隔步骤为： S1、 使用De epLabv3提取补丁并执 行分割； S2、 使用轮廓算法分离连接的组件； S3、 从前一帧预测的尖端中心选择最接近的组件， 如果有两个以上的连通组件， 则删除 除最近的组件之外的其 他组件； S4、 将分割网络结果重构到帧中。 3.根据权利要求1所述的一种介入手术机器人基于CNN的血管介入导丝尖端实时跟踪 方法， 其特征在于： 所述分割网络由类似于DeepLabv3的收缩路径和扩展路径组成， 在收缩 路径中， 重3×3卷积层(未填充)， 每个后跟ReLU， 并重复下采样2 ×2最大池化操作， 步长为 2， 在扩展路径中， 对特征进行上采样之后是扩展特征图的2 ×2卷积(上卷积)， 我们将这些 特征与收缩路径的相应特征图连接起来， 然后是两个重复的3 ×3卷积， 每个卷积都带有 ReLU， 在最后一层， 使用1 ×1卷积将每个组件特征映射到所需数量的类， 即两个类： 一个用 于机器人提 示， 另一个用于背景。 4.根据权利要求3所述的一种介入手术机器人基于CNN的血管介入导丝尖端实时跟踪 方法， 其特征在于： 所述ReLU是深度学习中的一种激活函数其函数表达式为:f(x)＝max(0, x)其函数图像为:ReLU该函数主要用于cnn卷积神经网络的卷积(Convolution)和池化 (MaxPooling)中,因为经过卷积运算和池化运算后的图像矩阵的值有正有负,这难免造成 了数据规模变得很大,那么经 过Relu函数之后的图像矩阵中的值只留下正数的值。 5.根据权利要求1所述的一种介入手术机器人基于CNN的血管介入导丝尖端实时跟踪 方法， 其特征在于： 所述DeeplabV3模型是这个模型实现出来的效果比较理想， 模型的架构 和引进了可控编码器提取特征出来的分辨率， 最后通过空洞卷积将耗时和精度平衡好， DeeplabV3在编码的过程中加入了许多空洞卷积， 并且在尽量不损失信息的情况下， 扩 大了权　利　要　求　书 1/2 页 2 CN 115393399 A 2感受野， 所谓的空洞， 就是在提取 特征的情况 下会跨像素， 也 就是会间隔提取 特征。 6.根据权利要求1所述的一种介入手术机器人基于CNN的血管介入导丝尖端实时跟踪 方法， 其特征在于： 所述Dr opout相当于从原始的网络中找到一个更瘦的网络， 对于一个有N 个节点的神经网络， 有了dr opout后， 就可以看做是2^n个模 型的集合， 但此时要训练的参数 数目却是不变的， 将dropout比作是有性繁殖， 将基因随机进行拆分， 可以将优秀的基因传 下来， 并且降低基因之间的联合适应性， 使得复杂的大段大段基因联合适应性变成比较小 的一个一个小段基因的联合适应性， dropout也能达到同样的效果， 它强迫一个神经单元， 和随机挑选出来的其他神经单元共同工作， 达到好的效果， 消除减弱了神经元节点间的联 合适应性。 7.根据权利要求1所述的一种介入手术机器人基于CNN的血管介入导丝尖端实时跟踪 方法， 其特征在于： 所述轮廓算法针对复杂背景下传统的目标轮廓检测 算法受图像对比度 和亮度变化的影响， 以及过多的噪声和轮廓弱化等问题， 提出了一种新的相位一致性边缘 抑制轮廓检测算法， 算法首先根据相位一致性(P C)的原理， 应用Log_ Gabor建立了相位一致 性模型， 克服了对比度和亮度变化的影响， 其次， 引入全变差去噪模型， 基于相位一致性进 行改进， 去除大量噪声， 最后， 提出各向 同性周边抑制模型优化上述模 型， 抑制纹理边缘， 更 加强调真实轮廓。 8.根据权利要求1所述的一种介入手术机器人基于CNN的血管介入导丝尖端实时跟踪 方法， 其特征在于： 所述卷积层的作用是提取输入图片中的信息， 这些信息被称为图像特 征， 这些特征是 由图像中的每个像素通过组合或者独立的方式所体现， 比如图片的纹理特 征， 颜色特 征。 9.根据权利要求8所述的一种介入手术机器人基于CNN的血管介入导丝尖端实时跟踪 方法， 其特征在于： 所述池化层的作用是对卷积层中提取的特征进 行挑选， 常见的池化操作 有最大池化和平均池化， 池化层是由n ×n大小的矩阵窗口滑动来进行计算的， 类似于卷积 层， 只不过不是做互相关运 算， 而是求 n×n大小的矩阵中的最大值、 平均值 等。 10.根据权利要求9所述的一种介入手术机器人基于CNN的血管介入导丝尖端实时跟踪 方法， 其特征在于： 所述池化层到全连接层会进行池化操作， 数据会进行多到少的映射， 进 行降维， 也就是为什么上图从20 ×12×12变成100个神经元， 数据在慢慢减少， 说明离输出 结果越来越近， 从全连接层到输出层会 再一次减少数据， 变成更加 低维的向量， 这个向量的 维度就是需要输出 的类别数， 然后将这个向量的每个值转换成概率的表示， 这个操作一般 叫做softmax， softmax使得向量中每个值范围在(0,1)之间， 它是二分类函数sigmoid在多 分类上的推广， 目的是将多分类的结果以概 率的形式展现出来。权　利　要　求　书 2/2 页 3 CN 115393399 A 3