(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210391561.3 (22)申请日 2022.04.14 (65)同一申请的已公布的文献号 申请公布号 CN 114495018 A (43)申请公布日 2022.05.13 (73)专利权人 深圳宇通智联科技有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室(入驻深圳市 前海商务秘书 有限公司) (72)发明人 朱勇　赵明来　闽武　赵彩智　 吴毅　 (51)Int.Cl. G06V 20/52(2022.01) G06K 9/62(2022.01) G06N 5/04(2006.01)G06F 16/51(2019.01) G06F 16/55(2019.01) G06V 10/774(2022.01) G06V 10/764(2022.01) (56)对比文件 CN 111338973 A,2020.0 6.26 CN 113819912 A,2021.12.21 CN 109446371 A,2019.0 3.08 CN 112132857 A,2020.12.25 CN 10828 8274 A,2018.07.17 CN 112286925 A,2021.01.2 9 CN 111144015 A,2020.0 5.12 US 2020086879 A1,2020.0 3.19 审查员 周苏玲 (54)发明名称 一种面向自动驾驶矿卡的数据自动清洗方 法 (57)摘要 本发明涉及自动驾驶技术领域， 尤其为一种 面向自动驾驶矿卡的数据自动清洗方法， 其方法 包括如下步骤： A、 设计配置文件； B、 从数据采集 系统的图像传感器获取图像数据； C、 人工收集重 复场景的数据 样本； D、 人工收集不同天气场景的 数据样本； E、 从数据采集系统的激光雷达传感器 获取激光点 云数据； 本发明提出的清洗方法能够 从大量的数据中寻找有效的数据， 并分类保存到 数据存储系统， 无需将所有采集的数据保存下 来， 只保存需要使用的数据即可， 节省了存储成 本， 并在模型训练阶段可以迅速找到需要的数 据， 促进了项目开发的进度， 解决了目前由于多 个矿区存在不同类型的无人驾驶矿卡， 造成产生 的数据无法实现自动化统一管理的问题。 权利要求书2页 说明书6页 附图6页 CN 114495018 B 2022.07.01 CN 114495018 B 1.一种面向 自动驾驶矿卡的数据自动清洗方法， 其特 征在于： 其方法包括如下步骤： A、 设计配置文件， 根据不同类型的传感器参数配置属性， 实现数据的自动化统一管理； B、 从数据采集系统 的图像传感器获取图像数据， 利用帧差法计算当前帧图像和上一帧 图像的光 流， 通过光 流大小判断静态场景和动态场景； C、 人工收集重复场景的数据样本， 先 标注和分类， 再训练模型， 并识别出重复场景； D、 人工收集不同天气场景的数据样本， 先标注和分类， 再训练模型， 最后将推理分类后 的数据上传至数据存 储系统； E、 从数据采集系统 的激光雷达传感器获取激光点云数据， 以其中一路激光雷达的时间 戳为参考， 寻找最近邻的图像和其它路激光雷达点云进 行匹配， 实现数据对齐， 然后拼接激 光点云； 其中的设计 配置文件的详细过程 为： A1、 设计一种配置文件， 包含原始数据路径名、 结果保存路径名、 图像话题、 激光点云话 题和标定参数； A2、 根据上述 步骤A1中话题名， 对不同的矿卡项目进行设置； A3、 分别执行下面步骤B、 C、 D、 E， 实现数据自动化清洗， 清洗完后， 数据自动上传至存储 系统； 其中的静动态场景的识别步骤为： B1、 从数据采集系统的图像传感器获取图像数据I， 或者从原始数据包中解析出其中一 路图像数据； B2、 依据光流算 法流程图， 从当前图像 数据中获取当前图像帧It和上一帧图像帧It‑1， 利 用帧差法计算前后帧光 流， 其中公式为F=It‑It‑1， 得到光流图像， 其中F为 光流图像； B3、 统计上述 步骤B2中光 流图像的平均光 流量， 其计算公式为： ， 其中n为图像的尺寸； B4、 根据上述步骤B3计算的平均光流量， 如果avg＞r， 则当前帧为动态场景， 否则为静 态场景， 其中r为阈值； 其中的识别重复场景的具体步骤为： C1、 人工收集重复场景的数据样本， 将需要的重复场景数据人工分成7类， 挖矿区标注 为0， 十字交叉路 口标注为1， 丁字路 口标注为2， 爬坡路线标注为3， 巡航路线标注为4， 卸料 区标注为5， 停车区标注为6； C2、 设计网络模型， 利用上述步骤C1中的多类重复场景数据 通过pytorch工具进行模型 训练； C3、 利用上述步骤C2中训练得到的模型推理出是否为重 复场景， 当为重复场景时， 减少 在该场景时采集数据的次数； 其中的不同天气场景分类的详细步骤为： D1、 人工收集不同天气场景的数据样本， 将不同的天气场景数据人工分成6类， 白天晴 天标注为0， 白天下雨标注为1， 白天下雪标注为2， 晚上晴天标注为3， 晚上下雨标注为4， 晚 上下雪标注为5； D2、 设计网络模型， 利用上述步骤D1中的多类天气场景数据 通过pytorch工具进行模型权　利　要　求　书 1/2 页 2 CN 114495018 B 2训练； D3、 利用上述 步骤D2中训练得到的模型推理出天气类型； 其中的传感器数据时间对齐和点云拼接的详细过程 为： E1、 从数据采集系统获取12路图像数据和4路激光 点云数据； E2、 选取矿卡左前 方的激光雷达的当前帧时间戳t0作为整个系统的当前帧参 考时间； E3、 参考上述步骤E2的时间戳t0， 按照公式i= argmin （ti‑t0） ， 其中ti为第i帧的时间戳， 在12路图像中分别寻找最近邻的1帧图像， 在其它3路激光雷达点云中分别寻找最近邻的1 帧激光点云； E4、 将上述步骤E3中时间已经对齐的4路激光点云拼接在一起， 形成完整的激光点云 图， 并自动保存到数据存 储系统。 2.根据权利要求1所述的一种面向自动驾驶矿卡的数据自动清洗方法， 其特征在于： 所 述步骤B4中， 实验过程中 阈值r的取值区间为0.0 03‑0.005。 3.根据权利要求1所述的一种面向自动驾驶矿卡的数据自动清洗方法， 其特征在于： 所 述步骤D3中， 数据在分类好后， 保存至数据存 储系统。权　利　要　求　书 2/2 页 3 CN 114495018 B 3