(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211156241.6 (22)申请日 2022.09.22 (71)申请人 沈阳工业大 学 地址 110870 辽宁省沈阳市铁西区经济技 术开发区沈辽西路1 11号 (72)发明人 魏东　张潇瀚　朱智睿　刘欢　 (74)专利代理 机构 沈阳智龙专利事务所(普通 合伙) 21115 专利代理师 宋铁军 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) (54)发明名称 一种优化 边界的三维点云语义分割方法 (57)摘要 本发明一种优化边界的三维点云语义分割 方法， 属于自动驾驶及计算机视觉和深度学习领 域， 具体涉及一种优化边界的三维点云语义分割 方法。 其特征在于： 该分割方法包括： 步骤一的三 维点云预处理； 步骤二的编码层由局部特征融合 模块和随机采样模块组成； 步骤三的解码层： 将 步骤二得到的特征编码作为输入， 进行三维点云 数量的采样， 特征维度与对比边界学习特征维 度、 编码层逆序跳层送入共享MLP融合特征； 在完 成特征融合后进行全 连接升维， 再进行随机失活 操作， 最后通过共享MLP将维度下降到语义标签 数量相同的维度， 最终输出三维点云语义分割结 果； 步骤四的对比边界优化。 本发明的目的是为 了提高大规模三维点云语义分割的精度的问题。 权利要求书2页 说明书7页 附图3页 CN 115409989 A 2022.11.29 CN 115409989 A 1.一种优化 边界的三维点云语义分割方法， 其特 征在于： 该分割方法包括： 步骤一： 三维点云预处理： 仅在编码层前进行一 次三维点云预处理， 将输入的三维点云 特征维度通过共享MLP的方式将特 征维度定为8维； 步骤二： 编码层由局部特征融合模块和随机采样模块组成； 其中局部特征融合模块由 连续的两组局部空间编码和注意力池化部分组成； 1.局部空间编码： 局部特征编码分为三个部分： 寻找局部区域的点、 相对点的位置编 码、 点特征增强； 2.注意力池化； 通过一个Conv2d和 softmax组成的函数来学习每个局部特征点的注意力分数； 再将每 个局部区域点的特征与每个注意力分数进行点积之后求和， 将这个结果输入到由BN和 LeakyRelu所组成的共享MLP； 此时得到一个特 征向量fi； 步骤三： 解码层： 将步骤二得到的特征编码作为解码层的输入， 进行最近邻差值三维点 云数量的采样， 特征维度与对比边界学习特征维度、 编码层 逆序跳层连接送入共享MLP融合 特征； 在完成特征融合后进行全连接升维， 再进行随机失活操作， 最后通过共享MLP将维度 下降到语义标签数量相同的维度， 最终输出三维点云语义分割结果； 步骤四： 对比边界优化： 对比边界优化采用对比边界学习框架， 主 要分为两个模块： 1.边界子场景挖掘： 在不同尺度下的三维点云采样中提取真值标签， 每层采样点云数 与对应编 码层随机采样结果相同； 随着三维点云尺度降低会出现边界采样的点具体标签不 确定的情况， 采用CBL框架中的边界子场景挖掘来确定每层点云的语义标签； 2.对比边界学习： 在模型训练的过程中将每一层的边界点与边界子场景得到的与之对 应层的语义标签进行对比学习； 对比学习采用InfoNCE损失函数及其泛化去优化定义边界 点的目标函数， 使得边界点的最终结果更偏近于来自同一类别的相邻点， 最后优化对应解 码层三维点云特 征。 2.根据权利要求1所述的一种 优化边界的三维点云语义分割方法， 其特征在于： 在步骤 二的(1)局部空间编码中， 寻找局部区域的点： 根据场景规模控制的局部区域基于欧氏距离 d， 并使用KNN的算法收集近邻点， 以每个局部区域中心点为ith进行排序； 每个局部区域内邻 近点以K表示， 即为 其中下标i表示中心点的序号， 上标k表示中心点i局部区 域内点的序号， 通过 KNN构建KD‑tree索引； (2)相对位置编码： 为了使整个网络结构更好的理解局部特征， 编码方式是将每个局部 区域的中心点坐标、 局部区域内邻近点坐标、 局部区域内邻点坐标与局部区域的中心点坐 标差、 局部区域内邻点相对于局部区域的中心点的欧式距离这四部分进行拼接操作， 再通 过MLP操作； 以此将每个局部区域内的点与这个局部区域内的中心点相关联以提高整体网 络结构的局部性能； (3)点特征增强： 每个局部区域内K个近邻 点特征即为F＝{fi1…fik}； 其中下标i表示中 心点的序号， 上标k表示中心点i局部区域内点的序号， 将近邻点的相对位置编码与原始该 点的特征进行拼接操作， 由位置编码和特征构造成新的特征， 拼接后即为 其 中下标i表示中心点的序号， 上 标k表示中心点 i邻域内点的序号。 3.根据权利要求1所述的一种 优化边界的三维点云语义分割方法， 其特征在于： 步骤四权　利　要　求　书 1/2 页 2 CN 115409989 A 2中的边界子场景边界挖掘的层数与编 码层是相同的， 并且每层子场景边界挖掘与编 码层每 层共享随机采样； 在模型训练的过程中引入数据集的真值进行对比边界学习； 边界点就是 区分不同物体的点， 寻找方法是在三维点云中找到与相邻点语义标签不同的点， 目的是为 了在端到端网络模型中更清晰的分离不同物体， 提高三维点云语义分割精度； 其中边界邻 域选取整体三维点云规模为0.1％的球 体， 其表达公式为(6)： 其中χ表示整个三维点云， B表示边界点集合， Ni表示以xi的邻域点集合， xj表示在Ni邻域 内与xi语义标签不一致的点， l表 示语义标签， 并且Bn∈ χn， n表示对应编码层层数； 上标表 示 采样的层数， 下 标表示邻域内点的位置排序。权　利　要　求　书 2/2 页 3 CN 115409989 A 3