(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211050420.1 (22)申请日 2022.08.29 (71)申请人 上海大学 地址 200444 上海市宝山区上 大路99号 (72)发明人 陈金波　张进　徐凯　 (74)专利代理 机构 郑州翊博专利代理事务所 (普通合伙) 41155 专利代理师 周玉青 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/33(2017.01) G06T 7/73(2017.01) G06T 7/80(2017.01) G06T 5/00(2006.01)G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/762(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G01S 17/86(2020.01) G01S 17/06(2006.01) G01S 7/48(2006.01) (54)发明名称 一种基于激光雷达和相机信息融合的目标 定位检测方法 (57)摘要 本发明涉及图像处理领域， 公开了一种基于 激光雷达和相机信息融合的目标定位检测方法， 步骤为： S1、 对检测场景3D点云数据进行预处理， 得到可视化场景点云图； S2、 采用点云分割算法 对可视化场景点云图进行分割， 得到3D目标物体 区域点云图； S3、 从3D 目标物体区域点云图中挑 选出模板目标物体点云图； S4、 实时采集检测场 景的3D点云数据和2D图像， 按步骤S1、 S2的操作 对待检测3D点 云数据进行处理， 得到待检测3D目 标物体区域点云图； 采用神经网络对2D图像进行 目标物体检测， 生成目标物体检测检测结果图； S5、 将目标物 体检测结果图与待检测3D目标物体 区域点云图融合， 得到待检目标物体区域融合点 云图； S6、 将待检目标物体区域融合点云图与模 板目标物体点云图配准， 得到待检目标物体区域 融合点云图中目标物体的位姿信息 。 权利要求书3页 说明书11页 附图4页 CN 115359021 A 2022.11.18 CN 115359021 A 1.一种基于激光雷达和相机信息融合的目标定位检测方法， 其特征在于， 包括以下步 骤： S1、 对获取的检测场景的3D点云数据进行预处理， 消除点云噪声， 滤除场景中非目标景 物， 得到可视化场景点云图； S2、 采用基于发线夹角的欧式聚类点云分割算法对步骤S1得到的可视化场景点云图进 行点云分割处理， 将目标物体与非目标 景物分割， 得到 3D目标物体区域 点云图； S3、 从步骤S2得到的3D目标物体区域点云图中挑选包含完整目标物体几何信息和语义 信息特征的点云图， 并将其作为模板目标物体点云图； S4、 实时采集检测场景的3D点云数据和2D图像， 得到待检测3D点云数据和待检测2D图 像， 按所述步骤S1、 S2的操作对待检测3D点云数据进行 处理， 得到待检测3D目标物体区域点 云图； 采用深度卷积神经网络对待检测2D图像进行目标物体检测， 生成目标物体检测 检测 结果图， 所述目标物体 检测结果图包 含目标物体的边界框、 目标物体 类别和置信度； S5、 将所述目标物体检测结果 图与待检测3D目标物体区域点云图进行融合， 对待检测 3D目标物体区域点云图进 行点云着色， 得到具有精确坐标信息的待检目标物体区域融合点 云图； S6、 采用基于局部特征的全局配准算法将待检目标物体区域融合点云图与模板目标物 体点云图进行配准， 根据配准信息， 得到待检目标物体区域融合点云图中目标物体的位姿 信息。 2.根据权利要求1所述的基于激光雷达和相机信息融合的目标定位检测方法， 其特征 在于， 采用基于发线夹角的欧式聚类点云分割算法对步骤S1得到的可视化场景点云图进 行 点云分割处理的步骤为： S21、 计算可视化场景点云图中在半径为r的范围内点云之间的平均距离和均方差； S22、 计算可视化场景点云图不同半径范围r内邻近点之间的法线夹角均值； S23、 根据计算得到的不同半径范围下的邻域法线夹角均值判断点云是否为目标物体 点云的边界点， 然后根据目标物体点云的边界点， 将可视化场景点云图中的目标物体与非 目标景物进行分割。 3.根据权利要求2所述的基于激光雷达和相机信息融合的目标定位检测方法， 其特征 在于， 步骤S21的具体操作为： S211、 对于可视化场景点云图VQ中的任意一个点vqi， vqi∈VQ， 遍历与其最近的k个邻近 点， 得到由k个点构成的集合， 记作{vqi1， vqi2， ...， vqik}， 按式1计算{vqi1， vqi2， ...， vqik}集 合中每个点与qi的平均距离di； 式1中， di表示{vqi1， vqi2， ...， vqik}集合中每个点与vqi的平均距离， S212、 按照步骤S21所述的操作计算可视化场 景点云图VQ中所有点的平均距离di， 然后 利用式2、 式3分别计算 点云在不同半径 r邻域下的平均距离均值d和均方差σ； 权　利　要　求　书 1/3 页 2 CN 115359021 A 2其中， N表示可视化场景点云图VQ的点云大小。 4.根据权利要求3所述的基于激光雷达和相机信息融合的目标定位检测方法， 其特征 在于， 步骤S2 2的具体操作为： S221、 计算不同半径范围r内邻近点之间的法线夹角均值： 对于可视化场景点云图VQ 中的任意一个点vqi， vqi∈VQ， 以vqi作为搜索起点， 搜索半径 为r内的所有邻近点， 得到由k个点构成的集合， 记作{vqi1， vqi2， ...， vqik}， 然后采用最小 二 乘法按式4、 式5拟合出搜索起 点vqi的最小二乘 平面， 其中， q(n， d)中J表示搜索半径为r邻域下的平均距离， n表示最小二乘平面的单位法向 量， q表示质心值， qxi表示第i个点vqi的x方向上的质心值， qyi表示第i个点vqi的y方向上的 质心值， qzi表示第i个点vqi的z方向上的质心值； S222、 将点vqi的法线值记作vi， 搜索点v qi的k个邻近点的法向量值， 记作{vi1， vi2， ...， vik}， 采用式6、 式7分别计算点vqi在r的半径范围内邻近点法线夹角值αi以及法线夹角均值 其中， αi表示法线 夹角值， 表示法线 夹角均值， g表示半径r范围内邻近 点的数量， N表示 半径r范围内邻近点的法线夹角的数量。 5.根据权利要求4所述的基于激光雷达和相机信息融合的目标定位检测方法， 其特征 在于， 步骤S 6中采用基于局部特征的全局配准算法将待检目标物体区域融合点云图与模板 目标物体点云图进行配准的具体步骤为： S61、 分别 采用SIFT算法提取模板目标物体点云图、 待检目标物体区域融合点云图中的 关键点， 并采用FPFH对提取的关键点进行 特征描述， 得到关键点特 征； S62、 采用全局配准算法将待检目标物体区域融合点云图中的关键点与模板目标物体 点云图的关键点进行配对， 得到关键点对； S63、 依次采用互换一致性测试、 三点测试、 空间位置测试剔除关键点对中的错误匹配， 并设置误差函数对关键点对进 行验证， 得到匹配关键点对； 根据匹配关键点对信息， 得到待 检目标物体区域融合 点云图中目标物体的位姿信息 。 6.根据权利要求5所述的基于激光雷达和相机信息融合的目标定位检测方法， 其特征 在于， 步骤S63中依次采用互换一致性测试、 三点测试、 空间位置测试剔除关键点对中的错 误匹配， 并设置误差函数对关键点对进行验证， 得到匹配关键点对， 其具体操作为： S631、 对于待检目标物体 区域融合点云图P的任意一个关键点pi， 采用FPFH提取的关键 点特征表示为F(pi)， 则待检目标物体区域融合点云图P的关键点FPFH特征集合可定义为： F (P)＝{F(pi)： pi∈P}； 对于模板目标物体点云图Q的任意一个关键点qi， 采用FPFH提取的关 键点特征表示为F(qi)， 则模板目标物体点云图Q的关键点FPFH特征集合可定义为： F(Q)＝ {F(qi)： qi∈Q}， 设C1为F(P)和F(Q)对应关系的集 合；权　利　要　求　书 2/3 页 3 CN 115359021 A 3