(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210766004.5 (22)申请日 2022.07.01 (71)申请人 上海人工智能创新中心 地址 200232 上海市徐汇区云锦路701号 37、 38层 (72)发明人 李怡康　马涛　费奔　 (74)专利代理 机构 上海智晟知识产权代理事务 所(特殊普通 合伙) 31313 专利代理师 李镝的 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06T 7/60(2017.01)G06T 5/00(2006.01) G06T 17/00(2006.01) (54)发明名称 一种基于轻量化点云补全的地面高度估计 方法及系统 (57)摘要 本发明涉及一种基于轻量化点云补全的地 面高度估计方法， 包括： 将初始点云体素化得到 初始点云体素； 将初始点云体素作为输入构建二 维主干网络模块， 其中初始点云体素作为输入， 采用编码器来提取特征， 然后通过解码器进行特 征解耦， 输出三维特征图； 通过三维分割头将二 维主干网络模块输出的三维特征图扩展维度， 增 加一维语义 分类概率分布， 并经过三维卷积得到 补全点云体素， 其中补全点云体素为多层体素； 去除补全点云体素中的噪声以及保留顶层的补 全点云体素； 以及从顶层的补全点云体素中提取 高度信息作为 地面高度。 权利要求书1页 说明书7页 附图3页 CN 115131758 A 2022.09.30 CN 115131758 A 1.一种基于轻量 化点云补全的地 面高度估计方法， 包括： 将初始点云体素化得到初始点云体素； 将初始点云体素作为输入构建二维主干网络模块， 其中初始点云体素作为输入， 采用 编码器来 提取特征， 然后通过解码器进行 特征解耦， 输出三维特 征图； 通过三维分割头将二维主干网络模块输出的三维特征图扩展维度， 增加一维语义分类 概率分布， 并经 过三维卷积得到补全点云体素， 其中补全点云体素为多层体素； 去除补全点云体素中的噪声以及保留顶层的补全点云体素； 以及 从顶层的补全点云体素中提取高度信息作为 地面高度。 2.根据权利要求1所述的基于轻量化点云补全的地面高度估计方法， 其特征在于， 所述 初始点云为单帧点云， 初始 点云中的每个点云具有三 维坐标(X,Y,Z)和地面标签/非地面标 签。 3.根据权利要求1所述的基于轻量化点云补全的地面高度估计方法， 其特征在于， 选取 行驶车辆前方51.2m， 左右两侧25.6m， 高度6.4m的空间范围内的点云作为初始点云， 进行体 素化， 得到初始点云体素， 其中每 个初始点云体素的尺寸 为0.2*0.2*0.2m。 4.根据权利要求3所述的基于轻量化点云补全的地面高度估计方法， 其特征在于， 每个 初始点云体素的标签为每 个初始点云体素中一类数量 最多的点的标签。 5.根据权利要求1所述的基于轻量化点云补全的地面高度估计方法， 其特征在于， 所述 二维主干网络模块的编 码器和解码器中的卷积层均为二 维卷积， 其中编码器沿着初始点云 体素的X和Y维度使用二维卷积， 高度维度Z作为特 征维度。 6.根据权利要求5所述的基于轻量化点云补全的地面高度估计方法， 其特征在于， 所述 二维主干网络模块的输出维度[bs,H,W,D]， 其中W,H,D是体素的维度， W表示宽度， H表示高 度， D表示深度， bs为超参数， 表示每批数据量的大小。 7.根据权利要求6所述的基于轻量化点云补全的地面高度估计方法， 其特征在于， 三维 分割头的最后的三维卷积的输出维度为[bs,C,W,H,D]， 其中W,H,D是点云体素的维度， 即地 面或非地面， W表示宽度， H表示高度， D表示深度， bs为超参数， 表示每批数据量的大小， C表 示类别。 8.根据权利要求1所述的基于轻量化点云补全的地面高度估计方法， 其特征在于， 通过 随机采样一 致性算法去除补全点云体素中的非地 面的点云体素噪声。 9.根据权利要求1所述的基于轻量化点云补全的地面高度估计方法， 其特征在于， 通过 随机采样一 致性算法将除了顶层 补全点云体素之外的多层体素去除。 10.一种基于轻量 化点云补全的地 面高度估计系统， 包括： 存储器； 以及 处理器， 所述处 理器用于执 行权利要求1至9中任一项所述的方法。权　利　要　求　书 1/1 页 2 CN 115131758 A 2一种基于轻量化点 云补全的地面高度估计方 法及系统 技术领域 [0001]本发明涉及计算机视觉技术领域， 尤其涉及一种基于轻量化点云补全的地面高度 估计方法及系统。 背景技术 [0002]地面高度信息在自动驾驶领域有着至关重要的作用。 目前绝大多数研究将地面视 为不具有高度信息的平面， 这样的假设会降低包括检测、 追踪等任务的精度。 [0003]早期的地面高度 估计方法是在DARPA地下城市挑战中使用的基于投影将3D 点映射 到2.5D网格， 然后应用最小 ‑最大高度图， 但这种方法在桥梁和树梢的情况下存在较大的误 差。 另一类方法是基于2D线提取的快速算法， 但其无法扩展到大规模场景。 其他方法利用地 形的梯度信息， 使用马尔可夫随机场(MRF)或条件随机场(CRF)建立地平面模型。 最近提出 了一种两阶段方法来估计接地点， 然后使用随机抽样一致性算法(RANSAC)拟合一个平面。 将高斯过程回归(GPR)和鲁棒局部加权回归(RLW R)相结合， 形成对地平 面的混合回归模 型。 但由于高斯过程回归的计算复杂性， 这种方法不是实时的。 [0004]语义场景补全(Semantic  Scene Completion,SSC)的目的是从不完整的点云输入 中获得完整的三维体素表示。 这个任务由端到端的SSCNet模型率先提出， 利用单视图深度 作为输入， 可以同时预测场景补全和 语义标注的结果。 但SSCNet模型在大规模激光雷达场 景下的研究较少， 且存在严重的几何细节 缺失和无法实时性。 最近， S3CNet设计了一个基于 稀疏卷积的神经网络， 从单一的、 统一的激光雷达(LiDAR)点云预测语义上完成的场景。 此 外， JS3C‑Net提出了一种基于上下文形状先验的单帧扫描LiDAR点云语义分割框架。 与前面 的方法不同， L ocal‑DIFs生成一个不基于体素化的连续场景表示。 [0005]大多数现有的地面高度估计方法都使用人为设计的特征， 这些特征通常无法应用 到大规模场景， 实现起来较为复杂， 而且计算成本很高。 由于没有考虑地形的稀疏性、 遮挡 和粗糙度， 导致结果不理想。 因此， 在点云场景补全中设计一个计算复杂度较低、 具有实时 使用潜力的网络来补全车辆可通行区域， 对于无 人驾驶来说具有至关重要的作用。 发明内容 [0006]本发明的任务是提供一种基于轻量化点云补全的地面高度估计方法及系统， 能够 通过点云补全场景中的道路， 从补全结果中提取出地面高度信息， 提出了一种能够用于 自 动驾驶实时地 面点云补全和地 面高度估计的深度神经网络架构， 可以用于大规模场景。 [0007]在本发明的第一方面， 针对现有技术中存在的问题， 本发明提供一种基于轻量化 点云补全的地 面高度估计方法来 解决， 包括： [0008]将初始点云体素化得到初始点云体素； [0009]将初始点云体素作为输入构建二维主干网络模块， 其中初始点云体素作为输入， 采用编码器来 提取特征， 然后通过解码器进行 特征解耦， 输出三维特 征图； [0010]通过三维分割头将二维主干网络模块输出的三维特征图扩展维度， 增加一维语义说　明　书 1/7 页 3 CN 115131758 A 3