(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211267876.3 (22)申请日 2022.10.17 (71)申请人 郑州大学 地址 450001 河南省郑州市高新区科 学大 道100号 申请人 河南信通智能物联有限公司 (72)发明人 陈恩庆　胡天生　梁静　郭新　 汪松　井中纪　王宏伟　张丽娟　 张秀琳　朱广磊　 (74)专利代理 机构 北京东方盛凡知识产权代理 有限公司 1 1562 专利代理师 高天星 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/30(2017.01)G06T 7/50(2017.01) G06T 7/70(2017.01) G06T 7/80(2017.01) G06N 3/04(2006.01) (54)发明名称 一种基于RGB-D数据融合的测距 跟踪方法 (57)摘要 本发明涉及一种基于RGB ‑D数据融合的测距 跟踪方法， 包括： 采集待检测目标的RGB图像和深 度图像， 将所述RGB图像输入到改进 的YOLOv5网 络模型中， 对 所述待检测目标进行目标检测和跟 踪， 获取跟踪输出结果； 将所述跟踪输出结果与 所述深度图像进行配准， 获得所述待检测目标的 距离信息。 本发明利用RGB图像实现目标检测与 跟踪， 将目标跟踪阶段生 成的预测框映射到深度 相机采集的深度图像中， 完成对目标的测距和跟 随。 权利要求书2页 说明书7页 附图4页 CN 115511917 A 2022.12.23 CN 115511917 A 1.一种基于RGB ‑D数据融合的测距 跟踪方法， 其特 征在于， 包括： 采集待检测目标的RGB图像和深度图像， 将所述RGB图像输入到改进的YOLOv5网络模型 中， 对所述待检测目标进行目标检测 和跟踪， 获取跟踪输出 结果； 将所述跟踪输出 结果与所述深度图像进行配准， 获得 所述待检测目标的距离信息 。 2.根据权利要求1所述的基于RGB ‑D数据融合的测距跟踪方法， 其特征在于， 采集所述 待检测目标的RGB图像和深度图像包括： 通过RGB‑D相机采集所述RGB图像， 基于深度相机采集所述深度图像， 在使用所述RGB ‑D 相机和所述深度相 机进行采集之前， 对相 机的各项参数进行标定， 并通过相 机的空间分布 信息， 分别得到RGB ‑D相机坐标和深度相机坐标获取到的图像与真实世界的坐标对应关系。 3.根据权利要求1所述的基于RGB ‑D数据融合的测距跟踪方法， 其特征在于， 所述改进 的YOLOv5网络模型中利用可分离卷积代替普通卷积， 用于对特征数据进行遍历和卷积操 作； 并将原始YOLOv5网络模型中的CIOU损失函数替换为SIOU损失函数， 用于提升模型检测 的准确度。 4.根据权利 要求3所述的基于RGB ‑D数据融合的测距跟踪方法， 其特征在于， 将所述RGB 图像输入到改进的YOLOv5网络模型中进行目标检测， 包括： 基于所述可分离卷积的方法对部分所述原始YOLOv5模型的组成模块进行改进后， 利用 改进后的各模块对 所述RGB图像进 行特征信息的提取和压缩； 其中， 所述特征信息的提取包 括利用Focus结构将图像信息由空间维度转换为通道维度， 使用不同的CSP结构对提取的特 征信息进行拼接， 利用SSP层分离上下文特征， 通过FPN对特征图进行融合以及利用金字塔 结构采用拼接的方式融合特征， 最终得到若干不同尺寸的特征图， 经替换后的SIoU损失函 数进行筛 选， 得到检测目标的分类信息以及所述检测目标在图像中的位置信息 。 5.根据权利要求1所述的基于RGB ‑D数据融合的测距跟踪方法， 其特征在于， 对所述待 检测目标进行目标跟踪包括： 基于DeepSORT进行目标跟踪， 同时考虑待测目标间距和相似度特征， 并对新生成的跟 踪轨迹采取验证机制排除错误的预测结果， 得到所述待测目标的边界框信息， 即所述跟踪 输出结果； 其中所述验证机制包括 卡尔曼预测和监测匹配失败预测。 6.根据权利要求1所述的基于RGB ‑D数据融合的测距跟踪方法， 其特征在于， 对所述跟 踪输出结果与所述深度图像进行配准包括： 基于RGB图像像素点和实际坐标系的映射关系， 对相机进行标定配准， 获取深度图像像 素点和所述实际坐标系的映射关系， 其中， 所述RGB图像像素点和实际坐标系的映射关系 为： Xr,Yr,Zr分别为空间坐标系中点的位置坐标， x,y分别为以相机采光孔作为真实三维世 界中坐标系的原点Oc， 构成的Oc‑XcYcZc三维坐标系下对应的目标点坐标p(Xw,Yw,Zw)映射到权　利　要　求　书 1/2 页 2 CN 115511917 A 2深度图中点的位置坐标,M2和M1分别表示深度成像模块的内部参数和外 部参数。 7.根据权利要求6所述的基于RGB ‑D数据融合的测距跟踪方法， 其特征在于， 基于所述 深度图像像素点和所述 实际坐标系的映射关系， 对所述跟踪输出结果与所述深度图像进 行 配准； 其中， 所述深度图像 像素点和实际坐标系的映射关系为： Xr,Yr,Zr分别为空间坐标系中点的位置坐标， xd,yd分别为以相 机采光孔作为真实三维 世界中坐标系的原点Oc， 构成的Oc‑XcYcZc三维坐标系下对应的目标点坐标p(Zd,Yd,Zd)映射 到深度图中点的位置坐标,M3和M4分别表示深度成像模块的内部参数和外 部参数。 8.根据权利要求7所述的基于RGB ‑D数据融合的测距跟踪方法， 其特征在于， 基于所述 深度图像 像素点和实际坐标系的映射关系， 得到深度图像和RGB图像的映射关系： 其中， xd,yd分别为映射到深度图中点的位置坐标， M1和M2分别表示相机的外部参数和内 部参数， M3和M4分别表示深度成像模块的内部参数和外 部参数， x,y为RGB图中的位置坐标。 9.根据权利要求8所述的基于RGB ‑D数据融合的测距跟踪方法， 其特征在于， 基于深度 图像和RGB图像的映射关系， 将所述跟踪输出结果转换到所述深度图像中， 对所述跟踪输出 结果区域内深度图像中的像素点距离求均值， 得到所述待检测目标的距离信息 。权　利　要　求　书 2/2 页 3 CN 115511917 A 3