(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211001143.5 (22)申请日 2022.08.19 (71)申请人 南威软件股份有限公司 地址 362000 福建省泉州市丰泽区丰海路 南威大厦2号楼 (72)发明人 吴志雄　卓智强　 (74)专利代理 机构 成都东恒知盛知识产权代理 事务所 (特殊普通合伙) 51304 专利代理师 何健雄 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/44(2022.01) G06V 20/64(2022.01) (54)发明名称 一种地面障碍物检测方法、 系统、 介质、 设备 及终端 (57)摘要 本发明属于计算机视觉、 模式识别技术领 域， 公开了一种地面障碍物检测方法、 系统、 介 质、 设备及终端， 利用RGB ‑D深度相机分别获取2D   RGB图像和3D深度图像； 采用中值滤波的方法对 图像进行预处理后， 再采用高斯滤波的方法对中 值滤波后的图像进行预处理操作， 滤除噪声； 分 别构建基于图像处理技术的深度图前景轮廓模 型和RGB图前景轮廓模型， 实现基于深度图与RGB 图的避障。 本发明利用3D信息图实时处理， 当前 图像一旦更新， 立即判断是否有障碍物， 无需更 新地图即可发送操控AGV小车运动指令， 高效安 全。 本发明除了利用3D信息进行计算外， 还辅助 添加2D的RGB图像信息， 二者结合， 使得最终检测 数据更为稳定， 结果更 可靠。 权利要求书2页 说明书8页 附图3页 CN 115424240 A 2022.12.02 CN 115424240 A 1.一种地 面障碍物检测方法， 其特 征在于， 所述 地面障碍物检测方法包括： 采用中值滤波和高斯滤波相结合的方式对原始图像进行滤波， 滤除图像噪声， 并通过 对图像连通域面积大小的判断剔除掉极小数的很小 噪声点； 对3D深度信息图进行缩放， 利 用图像处理技术中的各种形态学变换组合处理3D深度图像以及2D的RGB图片， 实现基于深 度图与RGB图的地 面障碍物检测。 2.如权利要求1所述地面障碍物检测方法， 其特征在于， 所述地面障碍物检测方法包括 以下步骤： 步骤一， 图像采集： 利用RGB ‑D深度相机获取图像信息； 步骤二， 图像预处理： 采用中值滤波的方法对图像进行预处理后， 再采用高斯滤波的方 法对中值滤波后的图像进行 预处理操作， 滤除噪声； 步骤三， 3D深度图避障： 分别构建基于图像处理技术的深度图前景轮廓模型和RGB图前 景轮廓模型， 实现基于深度图与RGB图的避障。 3.如权利要求2所述地面障碍物检测方法， 其特征在于， 所述步骤一中的图像信 息包括 2D RGB图像和3D深度图像； 3D深度图像中的每个像素点为摄像头到图像中物体的距离， 所 述距离为深度信息； 障碍物检测为检测出距离摄 像头最近的物体距离； 所述步骤二中的中值滤波是将每一像素点的灰度值设置为所述点某邻域窗口内的所 有像素点灰度值的中值。 4.如权利要求2所述地面障碍物检测方法， 其特征在于， 所述步骤三中的深度图前景轮 廓模型的构建包括： (1)中值滤波： 对深度图进行中值滤波， 滤除图像 类似椒盐的噪点； (2)高斯滤波： 对中值滤波结果进行高斯滤波， 滤除图像高斯噪声； (3)二值化： 采用大津法进行二值化， 将图像上的像素点的灰度值设置为0或255， 实现 将整个图像呈现出明显的黑白效果的过程； (4)开运算： 对得到的二值图进行形态学操作开运算， 所述开运算为先腐蚀运算， 再膨 胀运算， 除去孤立的小点和毛刺， 而总的位置和形状不变； (5)输出前景轮廓信息： 开 运算结束后， 输出轮廓信息 。 5.如权利要求2所述地面障碍物检测方法， 其特征在于， 所述步骤三中的RGB图前景轮 廓模型的构建包括： (1)灰度化： 对RGB图灰度化， 得到灰度图； (2)二值化： 采用大津法进行二值化， 将图像上的像素点的灰度值设置为0或255， 实现 将整个图像呈现出明显的黑白效果的过程； (3)输出轮廓信息： 二 值化结束后， 输出轮廓信息 。 6.如权利要求2所述地面障碍物检测方法， 其特征在于， 所述步骤三中的基于深度图与 RGB图的避障包括： (1)在分别利用深度图前景轮廓模型和RGB图前景轮廓模型得到2张轮廓信息图A和B 后， 将图A和图B进行 “与”操作， 得到两张图的共同前景轮廓区域， 得到轮廓m1,m2…mn,n个轮 廓区域； (2)设定阈值， 遍历n个轮廓区域面积， 大于阈值的轮廓区域保留， 小于阈值的轮廓区域 删除， 并对保留轮廓n1,n2…nn,依次计算轮廓内最近距离点；权　利　要　求　书 1/2 页 2 CN 115424240 A 2其中， 所述对保留轮廓n1,n2…nn,依次计算轮廓内最近距离点包括： 1)对每个轮廓上的所有点进行排序； 2)获得轮廓上(x,y)坐标最小值和最大值分别为(xmi n,ymin),(xmax,ymax)； 3)对(xmi n,ymin),(xmax,ymax)两个点均分为十等分， 获得1 1个点坐标； 其中， 所述十等分计算方法如下： 设(x0,y0)＝(xmin,ymin)， (x10,y10)＝(xmax,ymax)， 则(x1,y1)＝(xmin+(xmax ‑ xmin)/10,xmi n+(xmax‑xmin)/10)， 1 1个点计算方法以此类 推； 根据11个点的坐标获取11个点在深度图中对应的像素值11个， 取其中最小值为距离相 机最近障碍物的实际距离 。 7.一种应用如权利要求1～6任意一项所述地面障碍物检测方法的地面障碍物检测系 统， 其特征在于， 所述 地面障碍物检测系统包括： 图像采集模块， 用于利用RGB ‑D深度相机获取图像信息； 图像预处理模块， 用于采用中值滤波的方法对图像进行预处理后， 再采用高斯滤波的 方法对中值滤波后的图像进行 预处理操作， 滤除噪声； 3D深度图避障模块， 用于分别构建基于图像处理技术的深度图前景轮廓模型和 RGB图 前景轮廓模型， 实现基于深度图与RGB图的避障。 8.一种计算机设备， 其特征在于， 所述计算机设备包括存储器和处理器， 所述存储器存 储有计算机程序， 所述计算机程序被所述处理器执行时， 使得所述处理器执行如权利要求 1 ～6任意一项所述 地面障碍物检测方法的步骤。 9.一种计算机可读存储介质， 存储有计算机程序， 所述计算机程序被处理器执行时， 使 得所述处理器执行如权利要求1～6任意 一项所述 地面障碍物检测方法的步骤。 10.一种信息数据处理终端， 其特征在于， 所述信息数据处理终端用于实现如权利要求 7所述地面障碍物检测系统。权　利　要　求　书 2/2 页 3 CN 115424240 A 3