(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211305507.9 (22)申请日 2022.10.24 (71)申请人 桂林理工大 学 地址 541004 广西壮 族自治区桂林市七 星 区建干路12号 申请人 北部湾大 学 (72)发明人 徐朝宇　梁家海　袁裕发　王青青　 蔡泽平　 (74)专利代理 机构 广州爱豆鼎盛知识产权代理 事务所(普通 合伙) 44763 专利代理师 袁翔 (51)Int.Cl. G06V 20/56(2022.01) G06V 20/40(2022.01) G06V 10/25(2022.01)G06V 10/26(2022.01) G06V 10/44(2022.01) G06T 7/13(2017.01) G06T 7/66(2017.01) G06T 3/40(2006.01) G06T 5/50(2006.01) G06T 7/246(2017.01) (54)发明名称 基于多目视 觉AGV的定位与跟踪方法及系统 (57)摘要 本发明公开了一种基于多目视觉的AGV定位 与跟踪方法及系统， 所述方法及系统包括以下步 骤： S1、 视频获取步骤； S2、 视频图像处理步骤； S3、 视频图像特征提取步骤； S4、 地 图拼接步骤； S5、 物体识别步骤； S6、 目标定位与跟踪步骤。 利 用本发明， 解决基于全局视觉导航AGV受障碍物 阻挡视野或单个摄像头获取定位失败的问题， 能 够更精确的对AGV进行定位和跟踪， 有效提高运 输效率， 降低运输成本， 对于智能仓储、 无人搬运 等行业的智能化具有重要意 义。 权利要求书2页 说明书5页 附图4页 CN 115439821 A 2022.12.06 CN 115439821 A 1.一种基于多目视 觉的AGV定位与跟踪方法， 其特 征在于， 所述方法包括以下步骤： S1、 视频获取步骤， 通过安装在三个不同方向的摄 像头拍摄所需视频图像； S2、 视频图像处 理步骤， 通过张正友标定法对所获取的视频图像进行畸变校正； S3、 视频图像特征提取步骤， 通过对视频图像中的特定矩形标定板进行HSV模式转化， 并对其进 行二值化， 执行闭操作得到标定板掩膜， 对其使用canny算子进 行角点检测获取角 点， 对图像进行透 视变换； S4、 地图拼接步骤， 在标定板内设计了方形、 圆形和三角形三个标识物， 利用标识物来 自动识别各个角点， 采用缝合线的方式在重合区域将视频图像进行拼接， 形成全局地图； S5、 物体识别步骤， 通过三个不 同方向的摄像头对AGV进行图像采集， 再使用Labeling 工具对AGV进 行标注形成数据集， 以一定的比例分为训练集和验证集并对其进 行模型训练， 识别AGV； S6、 目标定位与跟踪步骤， 在AGV车顶前后设置一大一小两个色块， 通过提取两个色块 的质心坐标得到AGV中心 点和AGV方向， 将三个摄像头得到的信息融合， 再使用基于ROS平台 设计全局导引AGV的路径控制算法进行操控AGV到 达指定地 点。 2.根据权利要求1所述的基于多目视觉AGV的定位与跟踪方法， 其特征在于， 所述S3步 骤中， can ny算子利用高斯 函数平滑图像， 其高斯 函数如下 所示： 其中， σ 为高斯滤波函数的标准差 。 3.根据权利要求1所述的基于多目视觉AGV的定位与跟踪方法， 其特征在于， 所述S4包 括以下步骤： S41、 在透视变换图像中选取左上角为原点， 以标定板的边长为边长， 框选标定板的ROI 区域； S42、 通过 灰度阈值将ROI区域 二值化后使用轮廓提取算法； S43、 通过轮廓近似的算法得到轮廓的顶点， 根据轮廓顶点确定形状， 定点数为3则为三 角形、 4则为矩形、 0则为圆心； S44、 通过计算轮廓的空间距得到形状的质心， 通过角点和质心之间的距离， 确定标定 板中对应的点， 并将其进 行相应匹配， 采用缝合线的方式在重合区域将视频图像划分拼接， 形成全局地图。 4.根据权利 要求3所述的基于多目视觉AGV的定位与跟踪方法， 其特征在于， 所述S44步 骤中， 空间距的表达式如下 所示： Mij＝∑x,yCt(x,y)xiyj               (2) 其中， Ct(x,y)表示轮廓的点 集坐标。 5.根据权利要求1所述的基于多目视觉AGV的定位与跟踪方法， 其特征在于， 所述S6包 括以下步骤： S61、 在识别到AGV的视频图像中， 分割出AGV的ROI区域， 根据色块的HSV区间对其进行 二值化处理； S62、 提取两个色块的轮廓， 计算轮廓的空间距得到两个色块的质心， 通过两个色块的 质心坐标求中心点， 其中心点 为AGV的中心点；权　利　要　求　书 1/2 页 2 CN 115439821 A 2S63、 通过函数计算两个色块的轮廓面积， 根据轮廓面积大小对应相应色块的质心坐 标， AGV的方向为小色块的质心指向大色块的质心的射线与图像坐标系x轴正方向的夹角， 将定位信息进行求和取平均值； S64、 计算AGV与路径点坐标系的变换关系， 控制AGV旋转至目标路径点方向， 先发送一 半次数的直行控制指 令， 通过监听AGV 坐标系与路径 点坐标系的变换， 再次计算到目标路径 点的平移和旋转量， 以此反复调整直行方向， 当AGV与目标路径点距离小于设定的阈值时， 认为到达了目标点。 6.一种基于多目视 觉AGV的定位与跟踪系统， 其特 征在于， 应用如权利 要求1‑5任一所述的基于多目视觉的AGV定位与跟踪方法， 其包括视频获取 模块、 视频图像处理模块、 视频图像特征提取模块、 地图拼接模块、 物体识别模块、 目标定位 与跟踪模块； 视频获取模块， 用于利用安装在三个不同方向的摄像头获取的具有目标区域并有重叠 区域的视频图像； 视频图像处 理模块， 用于对视频图像进行畸变校正， 以便减少误差； 视频图像特征提取模块， 用于对视频图像 中的特定矩形标定板进行HSV模式转化， 并对 其进行二值化， 执行闭操作得到标定板掩膜， 对其使用canny算子进行角点检测获取角点， 对图像进行透 视变换； 地图拼接模块， 用于利用标识物来自动识别各个角点， 采用缝合线的方式在重合区域 将视频图像进行拼接， 形成全局地图； 物体识别模块， 用于三个不同方向的摄像头对AGV进行图像采集， 再使用Labeling工具 对AGV进行标注形成数据集， 以一定的比例分为训练集和验证集并对其进 行模型训练， 识别 AGV； 目标定位与跟踪模块， 用于通过提取两个色块的质心坐标得到AGV中心点和AGV方向， 将三个摄像头得到的信息融合， 再使用基于ROS平台设计全局导引AGV的路径控制算法进 行 操控AGV到 达指定地 点。权　利　要　求　书 2/2 页 3 CN 115439821 A 3