(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211243483.9 (22)申请日 2022.10.12 (71)申请人 广州中平智能科技有限公司 地址 510000 广东省广州市南沙区丰泽 东 路106号X1301-I013661 (72)发明人 郑飞州　陈政霖　王永仲　 (74)专利代理 机构 广州容大知识产权代理事务 所(普通合伙) 44326 专利代理师 杨艳 (51)Int.Cl. G06T 7/136(2017.01) G06T 3/40(2006.01) G06V 10/26(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于Scaleformer 类算法的腹腔镜图像 分割方法及系统 (57)摘要 本发明公开一种基于Scaleformer类算法的 腹腔镜图像分割方法及系统。 通过 获取腹腔镜手 术图片及视频数据并生成腹腔 镜分割数据库； 采 用完美反射算法对原始内窥镜数据进行图像预 处理， 采用letterbox方法修改图像尺寸； 构建至 少一个基于Scaleformer 类算法的内窥镜图像语 义分割网络； 采用生成的语义分割内窥镜数据集 训练Scaleformer网络并保存模型； 采用测试集 数据进行实时测试； 将模型部署至GPU模块上处 理客户端传输的图片， 将分割结果返还至交互界 面； 可以有效减少数据噪声， 有效提高腹腔镜检 测模型性能， 通过使用Scaleformer类分割算法 来处理腹腔镜数据， 可以得到更准确的分割结 果。 权利要求书3页 说明书16页 附图4页 CN 115311317 A 2022.11.08 CN 115311317 A 1.一种基于Scaleformer类算法的腹腔镜图像分割方法， 其特征在于， 所述方法， 包括 如下步骤： 获取腹腔镜手术图片及视频 数据， 并生成腹腔镜分割数据库； 采用完美反射算法对原始内窥镜数据进行图像预处理， 并采用letterbox方法修改图 像尺寸； 构建至少一个 基于Scaleformer类算法的内窥镜图像 语义分割网络； 采用生成的语义分割内窥镜数据集训练Scaleformer网络并保存模型； 同时采用测试 集数据进行实时测试； 将模型部署至GPU模块上处 理客户端传输的图片， 并将分割结果返还至交 互界面。 2.根据权利要求1所述的一种基于Scaleformer类算法的腹腔镜图像分割方法， 其特征 在于， 所述获取腹腔镜手术图片及视频 数据， 并生成腹腔镜分割数据库， 还 包括如下步骤： 采用CVAT标注腹腔镜手术图片及视频。 3.根据权利要求1所述的一种基于Scaleformer类算法的腹腔镜图像分割方法， 其特征 在于， 所述采用完美 反射算法对原始内窥镜数据进行图像预 处理， 并采用letterbox方法修 改图像尺寸， 还 包括如下步骤： 根据输入尺寸和原 始输入图尺寸计算 生成收缩比r； 通过收缩比乘 原图长宽实时生成尺寸缩放后的图像； 计算收缩后图像中 需要填补的面积， 并实时填补像素。 4.根据权利要求1或3所述的一种基于Scaleformer类算法的腹腔镜图像分割方法， 其 特征在于， 所述完 美反射的算法的步骤 包括如下： 计算每个像素的R\G\B之和； 按R+G+B值的大小生成其前比例R%的值， 将其作为参考点 的阈值T； 对图像中的每个点， 计算其 中R+G+B值大于T的所有点的R\G\B分量的累积和的平均值； 同时对每 个点将像素进行量 化。 5.根据权利要求1所述的一种基于Scaleformer类算法的腹腔镜图像分割方法， 其特征 在于所述构建至少一个基于Scaleformer类算法的内窥镜图像语义分割网络， 还包括如下 步骤： 获取有用的细微分割任务相关信息； 并通过聚类的解码器解码编码器信息； 于原图中绘制出分割结果掩码； 所述采用测试集数据进行实时测试， 还 包括如下步骤： 输入内窥镜图像， 通过Scaleformer模型检测是否存在目标区域。 6.根据权利要求1或5所述的一种基于Scaleformer类算法的腹腔镜图像分割方法， 其 特征在于， 所述构建至少一个基于Scaleformer类算法的内窥镜图像语义分割网络， 还包括 如下步骤： 构建CNN的局部特征与每个尺度下基于transformer的全局表示耦合的尺度内 transformer模块； 所述尺度内t ransformer模块获得的特 征信息计算公式如下：权　利　要　求　书 1/3 页 2 CN 115311317 A 2     （1） 其中， i指trans former分支索引下采样层数， Nt代表transfor mer使用的数目， Down(.) 指补丁嵌入函数， 其通过步长为2的卷积运算实现， 随后是批量归一化和ReLU激活函数； [.] 指串联操作， Trans指尺度内transformer， 包含了轻型双轴多头自注意力机制模块和增强 型多层感知机 。 7.一种基于Scaleformer类算法的腹腔镜图像分割 系统， 其特 征在于， 所述系统包括： 数据获取 单元， 用于获取腹腔镜手术图片及视频 数据， 并生成腹腔镜分割数据库； 图像预处理单元， 用于采用完美反射算法对原始内窥镜数据进行图像预处理， 并采用 letterbox方法修改图像尺寸； 语义分割网络构建单元， 用于构建至少一个基于Scaleformer类算法的内窥镜图像语 义分割网络； 数据集训练单元， 用于采用生成的语义分割内窥镜数据集训练Scaleformer网络并保 存模型， 同时采用测试集数据进行实时测试； 图片传输单元， 用于将模型部署至GPU模块上处理客户端传输的图片， 并将分割结果返 还至交互界面。 8.根据权利要求7所述的一种基于Scaleformer类算法的腹腔镜图像分割系统， 其特征 在于， 所述数据获取 单元中， 还包括： 标注模块， 用于采用CV AT标注腹腔镜手术图片及视频； 和/或， 所述图像预处 理单元中， 还设置有： 第一生成模块， 用于根据输入尺寸和原 始输入图尺寸计算 生成收缩比r； 第二生成模块， 用于通过收缩比乘 原图长宽实时生成尺寸缩放后的图像； 第一计算模块， 用于计算收缩后图像中 需要填补的面积， 并实时填补像素； 第二计算模块， 用于计算每个像素的R\G\B之和； 按R+G+B值的大小生成其前比例R%的 值， 将其作为 参考点的阈值T； 第三计算模块， 用于对图像中的每个点， 计算其 中R+G+B值大于T的所有点的R\G\B分量 的累积和的平均值； 同时对每 个点将像素进行量 化； 和/或， 所述语义分割网络构建单 元中， 还设置有： 获取解码模块， 用于获取有用的细微分割任务相关信息； 并通过聚类的decoder解码 encoder信息； 绘制模块， 用于原图中绘制出分割结果掩码； 第一构建模块， 用于构建CNN的局部特征与每个尺度下基于transformer的全局表示耦 合的尺度内t ransformer模块； 和/或， 所述数据集训练单 元中， 还设置有： 输入检测模块， 用于 输入内窥镜图像， 通过Scaleformer模型检测是否存在目标区域。 9.一种基于Scale former类算法的腹腔镜图像分割 平台， 其特征在于， 包括： 处理器、 存 储器以及基于Scaleformer类算法的腹腔镜图像分割平台控制程序； 其中在所述的处理器执行所述的基于Scale former类算法的腹腔镜图像分割 平台控制 程序， 所述的基于Scaleformer类算法的腹腔镜图像分割平 台控制程序被存储在所述存储权　利　要　求　书 2/3 页 3 CN 115311317 A 3