(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211231918.8 (22)申请日 2022.09.30 (71)申请人 重庆长安汽车股份有限公司 地址 400020 重庆市江北区鱼嘴镇长安汽 车全球研发中心 (72)发明人 顾乐妍　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 张伟 (51)Int.Cl. G06T 7/80(2017.01) G06V 20/70(2022.01) G06V 20/90(2022.01) G06V 20/56(2022.01) G06V 20/58(2022.01)G06V 10/26(2022.01) (54)发明名称 车载相机自校准方法、 装置、 电子设备及存 储介质 (57)摘要 本申请涉及一种车载相机自校准方法、 装 置、 电子设备及存储介质， 其中， 方法包括： 选取 多个关键帧图像， 并进行逆透视变换， 得到每个 关键帧的俯视图， 并对每个关键帧的俯视图进行 语义分割， 从语义分割后的俯视图中获取多个目 标类别和多个目标类别的语义点坐标； 选取两个 关键帧图像间属于同一语义类别的关键点组成 关联点对， 并根据关联点对指向预设物理世界中 同一点的关系建立目标约束 方程， 得到所有关键 帧图像间所有约束方程； 基于预设的非线性优化 算法， 求解所有关键帧图像间所有约束方程， 并 根据求解结果自校准关键帧间的姿态变化和车 载相机的外参。 由此， 解决了外参相机自校准计 算量大、 环境要 求高的问题， 优化变量较少， 便于 实现。 权利要求书2页 说明书7页 附图2页 CN 115546313 A 2022.12.30 CN 115546313 A 1.一种车 载相机自校准方法， 其特 征在于， 包括以下步骤： 选取多个关键帧图像， 并对每个关键帧图像进行逆透视变换， 得到所述每个关键帧的 俯视图， 并对所述每个关键帧的俯视图进行语义分割， 从语义分割后的俯视图中获取多个 目标类别和所述多个目标类别的语义 点坐标； 选取两个关键帧图像间属于同一语义类别的关键点组成关联点对， 并根据所述关联点 对指向预设物理世界中同一点的关系建立目标约束方程， 得到所有关键帧图像间所有约束 方程； 以及 基于预设的非线性优化算法， 求解所述所有关键帧图像间所有约束方程， 并根据求解 结果自校准关键帧间的姿态变化和车 载相机的外参。 2.根据权利要求1所述的方法， 其特征在于， 所述选取两个关键帧图像间属于同一语义 类别的关键点组成关联点对， 并根据所述关联点对指向预设物理世界中同一点的关系建立 目标约束方程， 得到所有关键帧图像间所有约束方程， 包括： 针对相邻 两个关键帧图像， 将前一个关键帧图像中的所述多个目标类别的语义点坐标 转换至当前关键帧图像对应的坐标系； 根据预设选取策略选取同一语义类别的关键点， 并根据 所述同一语义类别的关键点建 立目标约束方程， 得到所有关键帧图像间所有约束方程。 3.根据权利要求2所述的方法， 其特征在于， 所述根据预设选取策略选取同一语义类别 的关键点， 包括： 判断所述前一个关键帧图像与所述当前关键帧图像的偏差是否大于预设值； 若所述偏差大于所述预设值， 则重新确定所述相邻两个关键帧图像； 否则， 根据最近邻 原则选取 所述同一语义类别的关键点。 4.根据权利要求1所述的方法， 其特 征在于， 所述选取多个关键帧图像， 包括： 从预设的车 载里程计数据中选取 所述多个关键帧图像。 5.根据权利要求2所述的方法， 其特征在于， 所述相邻 两个关键帧图像之间存在部分共 视区域， 且 存在多个预设类别图案 。 6.一种车 载相机自校准装置， 其特 征在于， 包括： 选取模块， 用于选取多个关键帧图像， 并对每个关键帧图像进行逆透视变换， 得到所述 每个关键帧的俯视图， 并对所述每个关键帧的俯视图进行语义分割， 从语义分割后的俯视 图中获取多个目标类别和所述多个目标类别的语义 点坐标； 约束方程建立模块， 用于选取两个关键帧图像间属于同一语义类别的关键点组成关联 点对， 并根据所述关联点对指向预设物理世界中同一点的关系建立 目标约束方程， 得到所 有关键帧图像间所有约束方程； 以及 校准模块， 用于基于预设的非线性优化算法， 求解所述所有关键帧图像间所有约束方 程， 并根据求 解结果自校准关键帧间的姿态变化和车 载相机的外参。 7.根据权利要求6所述的装置， 其特 征在于， 所述约束方程建立模块， 还用于： 针对相邻 两个关键帧图像， 将前一个关键帧图像中的所述多个目标类别的语义点坐标 转换至当前关键帧图像对应的坐标系； 根据预设选取策略选取同一语义类别的关键点， 并根据 所述同一语义类别的关键点建 立目标约束方程， 得到所有关键帧图像间所有约束方程。权　利　要　求　书 1/2 页 2 CN 115546313 A 28.根据权利要求7所述的装置， 其特征在于， 所述根据预设选取策略选取同一语义类别 的关键点， 包括： 判断所述前一个关键帧图像与所述当前关键帧图像的偏差是否大于预设值； 若所述偏差大于所述预设值， 则重新确定所述相邻两个关键帧图像； 否则， 根据最近邻 原则选取 所述同一语义类别的关键点。 9.一种电子设备， 其特征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述处理器执行所述程序， 以实现如权利要求 1‑5任一项所 述的车载相机自校准方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行， 以用于实现如权利要求1 ‑5任一项所述的车 载相机自校准方法。权　利　要　求　书 2/2 页 3 CN 115546313 A 3