(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210778943.1 (22)申请日 2022.07.04 (71)申请人 安徽医科 大学第二附属医院 地址 230601 安徽省合肥市经济技 术开发 区芙蓉路678号 申请人 合肥工业大 学 (72)发明人 毕良宽　方进　李霄剑　丁帅　 杨善林　肖夕林　李玲　 (74)专利代理 机构 北京久诚知识产权代理事务 所(特殊普通 合伙) 11542 专利代理师 王云海 (51)Int.Cl. A61B 34/10(2016.01) A61B 34/35(2016.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06T 7/73(2017.01) G06T 17/00(2006.01) (54)发明名称 面向动态手术路径引导的引导型三维虚拟 夹具生成方法 (57)摘要 本发明提供一种面向动态手术路径引导的 引导型三维虚拟夹具生成方法、 系统、 存储介质 和电子设备， 涉及虚拟夹具技术领域。 本发明中， 通过关键点的位置确定局部区域， 对局部区域进 行追踪， 来减少三维关键点的错误追踪； 结合内 窥镜图像的纹理信息和形状信息， 一定程度上避 免体内环 境特征的不明显带来的影 响； 在降维后 的点云上通过构造优化函数对三维关键点进行 精确定位， 避免了不同视角下造成的曲线形状不 一致性。 更进 一步的， 沿着跟踪得到的三维曲线， 建立包含引力与粘滞阻力的虚拟力场， 即引导型 虚拟夹具， 所述引导型虚拟夹具通过力反馈机制 精准引导手术器 械的移动轨 迹。 权利要求书5页 说明书14页 附图2页 CN 115349952 A 2022.11.18 CN 115349952 A 1.一种面向动态手术路径引导的引导型三维虚拟夹具生成方法， 其特 征在于， 包括： S1、 读取内窥镜图像， 根据医生的选择获取当前帧图像上的手术路径曲线， 并获取该手 术路径曲线经 过的若干第一 二维关键点； S2、 跟踪当前帧图像上包含第一二维关键点的第一局部区域， 获取下一帧图像上的第 二局部区域； S3、 根据内窥镜 图像与点云之间的映射关系， 分别将第一局部区域映射到第一局部点 云上、 第二局部区域映射到第二局部点云上； 并确定第一二维关键点在第一局部点云上 的 第一三维关键点， 通过坐标变换 得到第二局部点云上的第二 三维关键点； S4、 将第一局部点云进行降维， 获取第一二维点云， 并获取第 一三维关键点在第一二维 点云上的第二 二维关键点； 将第二局部点云进行降维， 获取第二二维点云， 并获取第二三维关键点在第二二维点 云上的第三 二维关键点； 根据第二二维关键点和第三二维关键点， 通过最小化预设的优化函数， 获取跟踪得到 的关键点在二维点云上的二维坐标； S5、 根据降维前后点云之间的映射关系， 获取每一个跟踪得到的关键点的三维坐标， 并 进行曲线拟合， 最终跟踪得到三维曲线； S6、 沿着跟踪得到的三维 曲线， 建立引导型虚拟夹具， 所述引导型虚拟夹具通过力反馈 机制引导手术器械的移动轨 迹。 2.如权利要求1所述的引导型三维虚拟夹具生成方法， 其特 征在于， 所述S6具体包括： S61、 将手术器械实时的三维位置信息、 以及前述步骤获取的点云转换到同一坐标系 下， 获取三维曲线上离手术器械末端pins最近的点pnearest， 以及两点之间的相对距离xd； S62、 建立关于pins的人工矢量场： 定义三维曲线上所有点包含在点集Vr中， 求取Vr的子点集Vp＝{v|‖pins‑v‖≤‖pins‑ pnearest‖ +Δr}， 其中Δr为 额外考察半径； 其中， g为pins的人工矢量场； g( ‖pins‑v‖ )为人工矢量长度函数， n(pins,v)为由点pins指 向点v的向量， 当v对应不同组织时， 设立不同的人工矢量长度函数g( ‖pins‑v‖ )， 满足条件 card(Vp)是子集Vp中元素的个 数； S63、 建立包 含引力与粘滞阻力的虚拟力场： 其中， Fvf为虚拟力场； Kvf为该位置引力与人工矢量的比例系数， Dvf(xd)为阻尼系数， 随 着最短距离xd进行移动； 为pins的速度。 3.如权利要求1或者2所述的引导型三维虚拟夹具生成方法， 其特 征在于， 所述S2包括 S21、 首先定义第k ‑1帧图像为 其中W表示内窥镜图像的宽度， H权　利　要　求　书 1/5 页 2 CN 115349952 A 2表示内窥镜图像的高度； 第k帧图像为 I(k)； 若干第一 二维关键点 分别确定所有第 一二维关键点在图像坐标系上u轴和v轴上的最大值和最小值， 选取各 轴上中值的位置作为pc(k‑1)＝(u1,v1)∈R2， 根据预设的区域形状和边长， 确定第一局部区 域 S22、 采用光流法对图像I(k ‑1),I(k)进行特征点的特征匹配， 获取图像I(k)上与pc(k‑ 1)对应的第二局部区域的中心pc(k)， 其中， 表示图像I(k)上的特征点， m表示图像I (k)上特征点的个数； S23、 根据中心pc(k)、 以及预设的区域形状和边长， 确定第二局部区域 4.如权利要求3所述的引导型三维虚拟夹具生成方法， 其特 征在于， 所述S3包括： S31、 对内窥镜图像进行深度估计， 得到与内窥镜图像相对应的深度图像； 通过按行读 取， 分别从深度图像和内窥镜图像中获得每个像素点的空间信息和颜色信息， 获取第一局 部点云 和第二局部点云 S32、 确定第一二维关键点 在第一局部点云 上的第一三维关键点 Pi(k‑1)＝ ψ(pi(k‑1)) ψ表示 到 之间的映射关系,记为 S33、 利用光流法获取局部区域 的特征点对， 分别 记作X和Y， 则X与Y之 间存在坐标变换关系： 其中， 是拟合函数的参数； 通过使用最 小二乘， ω可由以下公式求得： ω＝([X 1]T[X 1])‑1[X 1]TY 则 之间仿射变换的变换矩阵为： 其中， 0T＝(0,0,0)； S34、 通过对第 一三维关键点 进行三维仿射变换， 在第 二局部点云 上搜权　利　要　求　书 2/5 页 3 CN 115349952 A 3