(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210837777.8 (22)申请日 2022.07.15 (71)申请人 小米汽车 科技有限公司 地址 100176 北京市大兴区北京经济技 术 开发区科创十街15号院5号楼6层618 室 (72)发明人 叶郁冲　俞昆　 (74)专利代理 机构 北京英创嘉友知识产权代理 事务所(普通 合伙) 11447 专利代理师 张岩龙 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/73(2017.01) G06T 7/50(2017.01) (54)发明名称 场景重建方法、 装置、 可读存 储介质及车辆 (57)摘要 本公开涉及自动驾驶技术领域， 涉及一种场 景重建方法、 装置、 可读 存储介质及车辆， 该方法 包括获取目标场景的多个场景图像， 其中， 不同 的场景图像由图像采集装置在不同采集视角下 采集得到； 获取每个场景图像对应的点云数据， 得到多个点 云数据集； 获取每个点云数据集对应 的二维图像； 获取每两个二维图像 之间的位姿误 差， 并根据所述位姿误差调整所述每两个二维图 像， 得到调整后的目标图像； 根据调整后的目标 图像重建所述目标场景。 权利要求书2页 说明书13页 附图4页 CN 115205461 A 2022.10.18 CN 115205461 A 1.一种场景重建方法， 其特 征在于， 所述方法包括： 获取目标场景的多个场景图像， 其中， 不同的场景图像由图像采集装置在不同采集视 角下采集得到； 获取每个场景图像对应的点云数据， 得到多个点云数据集； 获取每个点云数据集对应的二维图像； 获取每两个二维图像之间的位姿误差， 并根据所述位姿误差调整所述每两个二维图 像， 得到调整后的目标图像； 根据调整后的目标图像重建所述目标场景。 2.根据权利要求1所述的方法， 其特征在于， 所述获取每两个二维图像之间的位姿误 差， 并根据所述 位姿误差调整所述每两个二维图像， 得到调整后的目标图像包括： 根据每两个所述二维图像和预先训练 的误差确定模型， 确定每两个所述二维图像对应 的位姿误差； 根据所述 位姿误差， 对所述每两个二维图像进行调整， 得到调整后的目标图像。 3.根据权利要求2所述的方法， 其特征在于， 所述根据每两个所述二维图像和预先训练 的误差确定模型， 确定每两个所述 二维图像对应的位姿误差包括： 针对每两个二维图像， 将两个二维图像作为所述误差确定模型的输入， 得到所述误差 确定模型输出的所述两个二维图像对应的所述 位姿误差 。 4.根据权利要求2所述的方法， 其特征在于， 所述根据所述位姿误差， 对所述每两个二 维图像进行调整， 得到调整后的目标图像包括： 将两个所述二维图像中的第一图像作为基准图像， 根据所述位姿误差， 对两个所述二 维图像中的第二图像进行调整， 得到第三图像； 根据所述第三图像与所述第一图像， 确定目标图像。 5.根据权利要求4所述的方法， 其特征在于， 所述位姿误差包括两个所述二维图像沿预 设方向的相对位移， 以及沿所述预设方向的相对偏转角度， 所述根据所述位姿误差， 对两个所述二维图像中的第二图像进行调整， 得到第三图像 包括： 根据所述相对位移， 确定所述相对位移对应的位移数值和位移方向； 将所述第二图像， 按照所述 位移方向移动所述 位移数值， 得到移动 后的第二图像； 将移动后的第二图像， 按照所述相对偏转角度进行偏转， 得到偏转后的第二图像； 在偏转后的第 二图像和所述第 一图像中的像素点在相同位置存在重叠的情况下， 将偏 转后的第二图像中与所述第一图像重 叠的像素点去除， 得到第三图像。 6.根据权利要求1所述的方法， 其特征在于， 所述根据调整后的目标图像重建所述目标 场景包括： 根据所述目标图像确定所述目标点云数据； 根据所述目标点云数据重建所述目标场景。 7.根据权利要求1所述的方法， 其特征在于， 所述获取每个场景图像对应的点云数据， 得到多个点云数据集包括： 根据所述场景图像， 通过预设深度估计模型， 得到所述深度估计模型输出的每个所述 场景图像对应的深度图；权　利　要　求　书 1/2 页 2 CN 115205461 A 2根据多个所述深度图， 确定所述目标场景对应的多个所述 点云数据集。 8.根据权利要求1所述的方法， 其特征在于， 所述获取每个点云数据集对应的二维图像 包括： 按照预设点云数量将每 个点云数据集划分为多个点云数据块； 针对每个所述点云数据块， 通过降采样处理得到目标点云数据块， 所述目标点云数据 块包括预设数量个点云数据； 按照所述目标场景的高度方向， 将多个所述目标点云数据块向所述高度方向投影， 得 到每个场景图像对应的所述 二维图像。 9.根据权利要求1 ‑8任一项所述的方法， 其特征在于， 所述误差确定模型通过以下方式 训练得到： 获取训练样本， 所述训练样本包括训练场景的多个样本二维图像， 和与每两个样本二 维图像对应的样本误差； 根据所述训练样本， 对预设误差确定模型进行训练， 得到所述 误差确定模型。 10.一种场景重建装置， 其特 征在于， 包括： 第一获取模块， 被配置为获取目标场景的多个场景图像， 其中， 不同的场景图像由图像 采集装置在不同采集视角下采集得到； 第二获取模块， 被 配置为获取每 个场景图像对应的点云数据， 得到多个点云数据集； 第三获取模块， 被 配置为获取每 个点云数据集对应的二维图像； 调整模块， 被配置为获取每两个二维图像之间的位姿误差， 并根据所述位姿误差调整 所述每两个二维图像， 得到调整后的目标图像； 重建模块， 被 配置为根据调整后的目标图像重建所述目标场景。 11.一种计算机可读存储介质， 其上存储有计算机程序指令， 其特征在于， 该程序指令 被处理器执行时实现权利要求1 ‑9中任一项所述方法的步骤。 12.一种车辆， 其特 征在于， 包括： 处理器； 用于存储处理器可执行指令的存 储器； 其中， 所述处 理器被配置为： 执行权利要求1 ‑9中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115205461 A 3