(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211039050.1 (22)申请日 2022.08.29 (71)申请人 深圳一清创新科技有限公司 地址 518000 广东省深圳市南 山区粤海街 道高新区社区粤兴二道1号虚拟大学 园重点实验室平台大楼401(A414- A422) 申请人 清水湾 （深圳） 自动驾驶智能研究中 心 （有限合 伙） (72)发明人 刘明　廖毅雄　王鲁佳　 (74)专利代理 机构 深圳市六加知识产权代理有 限公司 4 4372 专利代理师 江晓苏 (51)Int.Cl. G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 20/58(2022.01) G06V 10/44(2022.01) G06V 10/26(2022.01) G06T 7/80(2017.01) G06N 3/04(2006.01) G01S 17/931(2020.01) G01S 17/89(2020.01) (54)发明名称 一种图像与点云的融合的处理方法、 装置和 无人车 (57)摘要 本发明涉及自动驾驶领域， 特别涉及一种图 像与点云的融合的处理方法， 应用于无人车， 所 述无人车设有激光雷达和车载摄像头， 方法包 括： 根据所述无人车当前的位置， 通过所述激光 雷达获取原始点云， 并通过所述车载摄像头获取 图像； 获取所述图像中障碍物的检测信息， 所述 检测信息包括检测框、 类别信息和二维轮廓； 将 所述障碍物对应的所述原始点云投影到所述图 像中， 得到投影点云； 计算所述投影点云与所述 二维轮廓的重合度； 当所述重合度大于预设阈值 时， 根据所述二维轮廓关联的所述类别信息确定 所述障碍物的类别。 本发明能够解决点云稀 疏无 法检测的情况， 提高类别判断的精度， 减少漏捡 的情况发生， 提高无人车周边环境的感知能力， 减少无人车盲区。 权利要求书2页 说明书7页 附图4页 CN 115457358 A 2022.12.09 CN 115457358 A 1.一种图像与点云的融合的处理方法， 应用于无人车， 所述无人车设有激光雷达和车 载摄像头， 其特 征在于， 所述方法包括： 根据所述无人车当前的位置， 通过所述激光雷达获取原始点云， 并通过所述车载摄像 头获取图像； 获取所述图像中障碍物的检测信息， 所述检测信息包括检测框、 类别 信息和二维轮廓； 将所述障碍物对应的所述原 始点云投影到所述图像中， 得到投影点云； 计算所述投影点云与所述 二维轮廓的重合度； 当所述重合度 大于预设阈值 时， 根据所述二维轮廓关联的所述类别信 息确定所述障碍 物的类别。 2.根据权利要求1所述的方法， 其特征在于， 所述获取所述图像中障碍物的检测信息， 包括： 通过实例分割 网络获取所述图像中所述障碍物的检测信息， 其中， 所述实例分割 网络 由卷积神经网络加入金字塔网络FPN和Head网络构成。 3.根据权利要求2所述的方法， 其特征在于， 所述通过实例分割网络获取所述图像 中所 述障碍物的检测信息， 包括： 通过所述金字塔网络FPN对高层特征图进行上采样， 并将所述上采样的结果与低层特 征图进行自顶向下连接， 以进 行多尺度预测； 其中， 在进 行所述多尺度预测时通过所述Head 网络对障碍物进行实例掩码预测。 4.根据权利要求1所述的方法， 其特征在于， 所述获取所述障碍物对应的所述原始点云 在所述图像中的投影点云， 包括： 根据所述原 始点云获取地 面点云和非地 面点云； 去除所述 地面点云， 将所述非地 面点云保留并作为障碍物点云； 将所述障碍物点云投影到所述图像中， 得到投影点云。 5.根据权利要求4所述的方法， 其特征在于， 所述将所述障碍物点云投影到所述图像 中， 得到投影点云， 包括： 根据标定相机的内外参及雷达 外参矩阵得到相关参数； 根据所述相关参数确定雷达坐标系和相机坐标系的映射关系； 基于所述映射关系将所述障碍物点云映射到图像中， 获取 所述投影点云。 6.一种图像与点云的融合的处理装置， 应用于无人车， 所述无人车设有激光雷达和车 载摄像头， 其特 征在于， 所述图像与点云的融合的处 理装置包括： 原始信息获取模块， 用于根据所述无人车当前的位置， 通过所述激光雷达获取原始点 云， 并通过 所述车载摄像头获取图像； 检测信息获取模块， 用于获取所述图像中障碍物的检测信息， 所述检测信息包括检测 框、 类别信息和二维轮廓； 投影点云获取模块， 用于将所述障碍物对应的所述原始点云投影到所述图像中， 得到 投影点云； 重合度计算模块， 用于计算所述投影点云与所述 二维轮廓的重合度； 语义赋予模块， 用于当所述重合度大于预设阈值时， 根据所述二维轮廓关联的所述类 别信息确定所述障碍物的类别。权　利　要　求　书 1/2 页 2 CN 115457358 A 27.根据权利要求6所述的图像与点云的融合的处理装置， 其特征在于， 所述检测信 息获 取模块包括： 实例分割单元， 通过实例分割网络获取所述图像 中所述障碍物的检测信息， 其中， 所述 实例分割网络由卷积神经网络加入金字塔网络FPN和Head网络构成。 8.根据权利要求7所述的图像与点云的融合的处理装置， 其特征在于， 所述实例分割单 元还用于： 通过所述金字塔网络FPN对高层特征图进行上采样， 并将所述上采样的结果与低层特 征图进行自顶向下连接， 以进 行多尺度预测； 其中， 在进 行所述多尺度预测时通过所述Head 网络对障碍物进行实例掩码预测。 9.根据权利要求6所述的图像与点云的融合的处理装置， 其特征在于， 所述投影点云获 取模块包括： 点云获取 单元， 用于根据所述原 始点云获取地 面点云和非地 面点云； 点云去除单 元， 用于去除所述 地面点云， 将所述非地 面点云保留并作为障碍物点云； 投影点云获取 单元， 用于将所述障碍物点云投影到所述图像中， 得到投影点云。 10.根据权利要求9所述的图像与点云的融合的处理装置， 其特征在于， 所述投影点云 获取单元具体用于： 根据标定相机的内外参及雷达 外参矩阵得到相关参数； 根据所述相关参数确定雷达坐标系和相机坐标系的映射关系； 基于所述映射关系将所述障碍物点云映射到图像中， 获取 所述障碍物投影点云。 11.一种无 人车， 其特征在于， 所述无 人车包括： 激光雷达； 车载摄像头； 至少一个处理器， 以及存储器， 所述存储器、 所述激光雷达、 所述车载摄像头分别与所 述处理器通信连接， 所述存储器存储有可被所述至少一个处理器执行 的指令， 所述指令被 所述至少一个处理器执行， 以使所述至少一个处理器能够执行权利要求1 ‑7任一项所述的 方法。权　利　要　求　书 2/2 页 3 CN 115457358 A 3