(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210628629.5 (22)申请日 2022.06.06 (71)申请人 东风柳州汽车有限公司 地址 545000 广西壮 族自治区柳州市屏山 大道286号 (72)发明人 熊禹　梁国全　周君武　 (74)专利代理 机构 深圳市世纪恒程知识产权代 理事务所 4 4287 专利代理师 何秋石 (51)Int.Cl. H04N 7/18(2006.01) H04N 5/265(2006.01) H04N 5/268(2006.01) B60W 60/00(2020.01) B60W 40/00(2006.01)B60W 50/00(2006.01) (54)发明名称 自动驾驶的视频数据处理方法、 装置、 设备 及存储介质 (57)摘要 本发明属于无人驾驶领域， 公开了一种自动 驾驶的视频数据处理方法、 装置、 设备及存储介 质。 包括： 获取多路摄像头采集的视频数据分解 为帧数据， 按视频顺序标记帧号， 将帧号相同的 视频帧数据存储为任务队列的视频对； 根据空闲 任务节点个数从任务队列中获取视频对， 在各空 闲任务节 点中进行融合拼接， 得到目标帧数据并 进行帧数据排序， 得到车辆驾驶监测数据； 根据 车辆驾驶监测数据判断当前所要执行的驾驶动 作； 若为第一驾驶动作， 则接收无人驾驶汽车的 驾驶操作指令； 若为第二驾驶动作， 则接收远程 控制平台发送的驾驶操作指令。 本发 明对多路摄 像头采集的视频数据进行逐帧融合， 避免了视频 流错乱导致的视频帧异步融合， 为无人驾驶决策 提供更准确的数据。 权利要求书3页 说明书14页 附图9页 CN 115190267 A 2022.10.14 CN 115190267 A 1.一种自动驾驶的视频数据处理方法， 其特征在于， 所述自动驾驶的视频数据处理方 法包括： 获取多路摄 像头采集的若干 视频数据； 将各个所述视频数据分解为帧数据， 并按视频顺序标记帧号， 得到若干携带有帧号的 视频帧数据； 将帧号相同的视频帧数据作为视频对 存储至任务队列； 根据空闲任务节点对应的个数从所述任务队列中获取对应 个数的视频对； 在各个所述空闲任务节点中对所述视频对进行融合拼接， 得到携带有对应帧号的目标 帧数据； 按照各个所述目标帧数据对应的帧号进行帧数据排序， 得到无人驾驶汽车的车辆驾驶 监测数据； 根据所述车辆驾驶 监测数据判断当前 所要执行的驾驶动作； 若当前所要执行的是第一驾驶动作， 则接收无人驾驶汽车的驾驶操作指令， 根据所述 驾驶操作指令执 行无人驾驶汽车的自动驾驶操作； 若当前所要执行的是第二驾驶动作， 则接收远程控制平台发送的驾驶操作指令， 根据 所述驾驶操作指令执 行无人驾驶汽车的远程驾驶控制操作。 2.如权利要求1所述的自动驾驶的视频数据处理方法， 其特征在于， 所述获取多路摄像 头采集的若干 视频数据之前， 所述方法还 包括： 在预设时钟的触发下与多路摄 像头进行交 互， 得到各路摄 像头对应的延迟信息； 所述获取多路摄 像头采集的若干 视频数据之后， 所述方法还 包括： 根据所述延迟信息对所述若干 视频数据进行时间对齐， 得到对齐后的若干 视频数据。 3.如权利要求1所述的自动驾驶的视频数据处理方法， 其特征在于， 所述按照各个所述 目标帧数据对应的帧号进行帧数据排序， 得到无人驾驶汽车 的车辆驾驶监测数据之后， 所 述方法还 包括： 对所述车辆驾驶监测数据中的各帧目标帧数据进行目标识别， 确定各帧目标帧数据对 应的前景图像和背景图像； 对所述前 景图像进行 预处理， 得到各帧目标帧数据对应的目标 前景图像； 确定任意相邻两帧目标帧数据的背景图像之间的光 流运动矩阵； 根据所述光流运动矩阵对所述相邻 两帧目标帧数据的背景图像进行修正， 得到目标背 景图像； 根据所述目标前景图像和所述目标背景图像构成所述车辆驾驶监测数据中的各帧数 据。 4.如权利要求3所述的自动驾驶的视频数据处理方法， 其特征在于， 所述对所述前景图 像进行预处理， 得到各帧目标帧数据对应的目标 前景图像， 包括： 对所述前 景图像进行亮度调整， 得到预处 理后的前 景图像； 获取所述前景图像对应的目标识别类型； 根据所述目标识别类型对应的预设色彩对所述预处理后的前景图像进行色彩加强， 得 到目标前景图像。 5.如权利要求3所述的自动驾驶的视频数据处理方法， 其特征在于， 所述接收远程控制权　利　要　求　书 1/3 页 2 CN 115190267 A 2平台发送的驾驶操作指 令， 根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作 之前， 所述方法还 包括： 对所述车辆驾驶监测数据中各帧目标帧数据对应的目标背景图像进行分辨率降低处 理， 对所述车辆驾驶监测数据中各帧目标帧数据对应的目标前景图像进 行标注信息跟踪处 理， 得到调整后的车辆驾驶 监测数据； 对所述调整后的车辆驾驶监测数据进行压缩和加密处理， 并发送至远程控制平台， 以 使所述远程控制平台展示无 人驾驶汽车环境图像。 6.如权利要求1所述的自动驾驶的视频数据处理方法， 其特征在于， 所述在各个所述空 闲任务节点中对所述视频对进行融合 拼接， 得到携带有对应帧号的目标帧数据， 包括： 在各个所述空闲任务节点中将所述视频对对应的多个视频帧数据进行畸变校正以及 坐标转换， 得到多个待融合视频帧数据； 分别对所述多个待融合视频帧数据进行区域划分， 并按照所述待融合视频帧数据对应 的变形程度为各区域赋予对应的权 重值； 根据所述权重值对所述多个待融合视频帧数据进行融合拼接， 得到携带有对应帧号的 目标帧数据。 7.如权利要求6所述的自动驾驶的视频数据处理方法， 其特征在于， 所述根据 所述权重 值对所述多个待融合视频帧数据进行融合 拼接， 得到携带有对应帧号的目标帧数据， 包括： 确定所述多个待融合视频帧数据对应的多个初始重叠区域， 并确定各初始重叠区域内 各个待融合视频帧数据对应的初始区域； 从各个待融合视频帧数据对应的初始区域中选择权重值最大的区域作为所述初始重 叠区域对应的目标区域； 将多个所述目标区域进行拼接， 得到目标重 叠区域； 将所述多个待融合视频帧数据以及所述目标重叠区域进行拼接， 得到携带有对应帧号 的目标帧数据。 8.一种自动驾驶的视频数据处理装置， 其特征在于， 所述自动驾驶的视频数据处理装 置包括： 获取模块， 用于获取多路摄 像头采集的若干 视频数据； 分解模块， 用于将各个所述视频数据分解为帧数据， 并按视频顺序 标记帧号， 得到若干 携带有帧号的视频帧数据； 存储模块， 用于将帧号相同的视频帧数据作为视频对 存储至任务队列； 任务处理模块， 用于根据空闲任务节点对应的个数从所述任务队列中获取对应个数的 视频对； 所述任务处理模块， 还用于在各个所述空闲任务节点中对所述视频对进行融合拼接， 得到携带有对应帧号的目标帧数据； 所述任务处理模块， 还用于按照各个所述目标帧数据对应的帧号进行帧数据排序， 得 到无人驾驶汽车的车辆驾驶 监测数据； 决策模块， 用于根据所述车辆驾驶 监测数据判断当前 所要执行的驾驶动作； 无人驾驶模块， 用于若当前所要执行的是第一驾驶动作， 则接收无人驾驶汽车的驾驶 操作指令， 根据所述驾驶操作指令执 行无人驾驶汽车的自动驾驶操作；权　利　要　求　书 2/3 页 3 CN 115190267 A 3