(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211041396.5 (22)申请日 2022.08.29 (71)申请人 上海交通大 学 地址 200000 上海市徐汇区华 山路1954 号 申请人 福龙马集团股份有限公司 (72)发明人 黄沛楠　何建平　饶翔云　张梓栋　 陈增志　张水田根 　林新强　 (74)专利代理 机构 福州君诚知识产权代理有限 公司 35211 专利代理师 苏丽云 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/26(2022.01) G06V 10/30(2022.01) G06V 10/40(2022.01)G06V 10/44(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 7/13(2017.01) G06T 7/136(2017.01) G06T 7/70(2017.01) G06T 7/80(2017.01) (54)发明名称 一种机器人草地边界识别与定位方法及其 割草机器人 (57)摘要 本发明涉及一种机器人草地边界识别与定 位方法， 其包括以下步骤： S1、 通过机器人上安装 的RGB‑D相机获取草地的RGB图像、 深度图像， 标 定相机的内参和外参； S2、 对RGB图像进行语义 分 割， 获得草地区域和非草地区域， 并搜索边界轮 廓， 获得草地边界点集1； S3、 对RGB图像进行HSV 阈值分割， 确定草地类HSV上下阈值， 并搜索边界 轮廓， 获得草地边界点集2； S4、 将草地边界点集1 和草地边界点集2进行边界融合与过滤获得有效 草地边界点集； S5、 基于深度图像和相机的内参 和外参对草地边界点进行坐标变换， 获得有效草 地边界点集相对坐标， 采用以上技术方案能够准 确提取并定位图像中的草地边界， 对不同的草地 类型、 光照条件等具有广泛适应性。 权利要求书2页 说明书5页 附图7页 CN 115272867 A 2022.11.01 CN 115272867 A 1.一种机器人草 地边界识别与定位方法， 其特 征在于： 其包括以下步骤： S1、 通过机器人上安装的RGB ‑D相机获取草地的RGB图像、 深度图像， 标定相机的内参和 外参； S2、 对RGB图像进行语义分割， 获得草地区域和非草地区域， 并搜索边界轮廓， 获得草地 边界点集1； S3、 对RGB图像进行HSV阈值分割， 确定草地类HSV上下阈值， 并搜索边界轮廓， 获得草地 边界点集2； S4、 将草地边界点集1和草地边界点集2进行边界融合与过 滤获得有效草 地边界点集； S5、 基于深度图像获得边界点像素对应的深度， 利用针孔相机模型将有效草地边界点 集从图像坐标系转换至相 机坐标系， 根据相 机的内参和外参， 获得有效草地边界点集相对 坐标。 2.根据权利要求1所述的一种机器人草地边界识别与定位方法， 其特征在于： 所述步骤 S2包括以下步骤： S2‑1、 构建语义分割网络模型； S2‑2、 从公开的语义分割数据集中筛选出只含有草地类别的图像和对应的语义标注对 语义分割网络模型进行初始化， 获得语义分割网络模型的参数； S2‑3、 将获得的语义分割网络模型的参数加载进语义分割网络模型， 用RGB ‑D相机获取 若干实际草地场景边界处图像并自行语义标注， 将若干实际草地场景边界处图像和对应的 语义标注同时送入语义分割网络模型中训练， 对语义分割网络模型精调； S2‑4、 将RGB图像输入训练后的语义分割神经网络模型， 在该RGB图像中分割出草地区 域和非草地区域， 再使用函数搜索RGB图像中边界轮廓， 滤除长度过小的轮廓， 获得草地边 界点集1。 3.根据权利要求2所述的一种机器人草地边界识别与定位方法， 其特征在于： 所述步骤 S2‑1中语义分割网络模型为Bisenet ‑v2。 4.根据权利要求2所述的一种机器人草地边界识别与定位方法， 其特征在于： 所述步骤 S2‑2中公开的语义分割数据集包括ADE20K、 TAS5 00。 5.根据权利要求2所述的一种机器人草地边界识别与定位方法， 其特征在于： 所述步骤 S2‑4中的函数为 opencv库中的fi ndcontour()函数。 6.根据权利要求1所述的一种机器人草地边界识别与定位方法， 其特征在于： 所述步骤 S3包括以下步骤： S3‑1、 将RGB图像图像 网格采样统计， 划分为若个小格， 统计每个小格的H、 S、 V分量的均 值与标准差； S3‑2、 将每个小格采用K ‑means++算法进行聚类， 统计计算各类的中心、 标准差平均值、 类点数； S3‑3、 将步骤2中分割出草地区域和非草地区域的RGB图像转换至HSV颜色空间， 统计该 草地区域的H、 S、 V分量平均值， 作为 草地的HSV先验参 考值； S3‑4、 比较各类到草地HSV先验参考值的最近距离， 选择最近距离的最小的聚类数K作 为最佳聚类数， 选择最佳聚类数下到草地HSV先验参考值最近的类， 作为识别草地类， 保存 识别草地类的HSV统计均值hmean、 smean、 vmean和标准差 hstd、 sstd、 vstd；权　利　要　求　书 1/2 页 2 CN 115272867 A 2S3‑5、 计算草地类阈值： 令阈值下界[Hlower， Slower， Vlower]， 上界[Hupper， Supper， Vupper]； 则H、 S、 V的 的上下阈值为： Hlower＝hmean‑k1*hstd； Hupper＝hmean+k2*hstd； Slower＝smean‑k1*sstd； Supper＝smean+k2*sstd； Vlower＝vmean‑k1*vstd； Vupper＝vmean+k2*vstd； 其中k1、 k2为比例系数， 标准差设置范围限制， sstd不大于40， 由于草地颜 色主要以绿、 黄 色为主， 附加限制Hlower不低于10， Slower不低于10， 由于HSV颜色空间中亮度分量独立， 保证 一定的亮度V范围， 对不同光照条件的适应性强， 附加限制Vupper不低于15 0； S3‑6、 根据得到的草地类H、 S、 V上下阈值分割RGB图像， 进行形态学膨胀、 闭运算， 形态 核选择方形， 消除孔洞噪声、 减少连通区域， 统计并去除小的连通域， 再使用函数搜索RGB图 像中边界轮廓， 得到草 地边界点集2。 7.根据权利要求6所述的一种机器人草地边界识别与定位方法， 其特征在于： 所述步骤 S3‑6中的函数为 opencv库中的fi ndcontour()函数。 8.根据权利要求1所述的一种机器人草地边界识别与定位方法， 其特征在于： 所述步骤 S4包括以下步骤： 若草地边界点集2的轮廓数大于10， 则判断HSV动态阈值分割失效， 选择草 地边界点集1作为有效草地边界点； 否则， 遍历草地边界点集1， 对轮廓上每一点p1， 搜索20 个像素距离邻域是否含有草地边 界点集2中边 界点， 若有则替换为草地边 界点集2中到p1的 曼哈顿像素距离最近的点p2作为有效草地边界点， 否则保留该点p1作为有效草地边界点， 获 得有效草 地边界点集。 9.根据权利要求1所述的一种机器人草地边界识别与定位方法， 其特征在于： 其还包括 步骤S6， 所述步骤S6包括根据GPS获取定位数据， 结合相机位姿， 将有效草地边界点集从相 机坐标系转换至世界坐标系， 滤除世界坐标系下过高、 过远的边界点， 建立草地边界全局地 图。 10.一种割草机器人， 其特征在于： 应用权利要求1 ‑9任意一种所述的一种机器人草地 边界识别与定位方法。权　利　要　求　书 2/2 页 3 CN 115272867 A 3