(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211077297.2 (22)申请日 2022.09.05 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 杨毅　梁浩　朱春晖　董志鹏　 孙润东　付梦印　 (74)专利代理 机构 北京理工大 学专利中心 11120 专利代理师 李微微 (51)Int.Cl. G06T 3/40(2006.01) G06T 7/80(2017.01) G06V 10/44(2022.01) G06V 10/75(2022.01)G06V 10/82(2022.01) G06V 20/58(2022.01) (54)发明名称 一种基于水滴态感知视场融合的单车环视 图像实时拼接方法 (57)摘要 本发明提出一种水滴态感知视场融合的单 车环视图像实时动态拼接方法， 该方法使用汽车 环视视觉系统提供的全景图像信息， 能够感知大 范围环境信息， 为卡车等可转动的非 刚体特种车 辆提供汽车实时环视动态拼接图像， 并可为车辆 提供同一尺度下的水滴态三维感知视场融合图 像， 实现无盲区、 大范围的实时环境显示； 通过基 于Superpoint架构的特征点提取算法与基于 SuperGlue架构的特征匹配算法可以有效改进特 征匹配结果， 剔除无法用于位姿估计的匹配点 对， 提升相机之间相对位置参数的精度和可靠 性； 通过在统一框架下将视频防抖与拼接相结 合， 可以获得稳定的动态全景拼接图像； 结合构 建的水滴模 型与相关投影矩阵， 可为车辆提供实 时3D全景环视图像 。 权利要求书2页 说明书9页 附图3页 CN 115439324 A 2022.12.06 CN 115439324 A 1.一种基于水滴态感知视场融合的单车环视图像实时动态拼接方法， 其特征在于， 包 括以下步骤： 步骤S1、 设置车辆环视 视觉系统， 并对车辆环视 视觉系统参数进行 标定； 步骤S2、 令车辆环视视觉系统采用水滴态感知视场模型， 其符合一般二次曲面约束， 即： 式中， f(p)为与感知深度p有关的视场高度函数； Pvf为在高度 为0时的感知深度， Pv为在 高度为车辆高度hv时对应的车辆水平感知深度； 建立相机的二维图像坐标系及三维的3D投影坐标系， 将相机图像 中的像素点一一投影 到水滴态三维感知视场模型 所在的3D投影坐标系中， 则： 当高度为0时， 像素点在二维图像坐标系和3D投影坐标系中的对应关系如下： 其中， (x′,y′)表示像素点在二维图像坐标系中坐标， (x,y,z)表示像素在3D投影坐标 系中对应的坐标； α, β 均为常数， α 为抬升系数， β 为曲率系数， m表示图像宽度， 即像素 数； 当高度不 为0时， 像素点在二维图像坐标系和3D投影坐标系中的对应关系如下： 其中， γ为分辨 率调节系数； 根据方程(1)和(2)求解出各个像素点映射至水滴态感知视场的坐标(x,y,z)， 以及相 应的感知深度p； 步骤S3、 基于步骤S1标定的车辆环视视觉系统参数以及步骤S2得到的像素点在二维图 像坐标系和3D投影坐标系中的对应关系， 求解图像坐标系中二维像素点到3D模型所在的D 投影坐标系中对应 像素的相对运动， 建立车辆环视 视觉系统的初始参数表； 步骤S4、 同步获取车辆环视视觉系统中各个相机的视频数据， 并行提取特征点， 进行特 征匹配， 进 而更新所述 参数表； 步骤S5、 基于更新后的所述参数表， 将车辆各个相机图像投影在水滴态感知模型上， 进 而对图像进行拼接 。 2.如权利要求1所述的一种基于水滴态感知视场融合的多车环视图像实时动态拼接方 法， 其特征在于， 所述步骤S4中， 对各个相机的视频数据进行防抖处理， 然后再更新所述参 数表。 3.如权利要求1或2所述的一种基于水滴态感知视场融合的多车环视图像实时动态拼权　利　要　求　书 1/2 页 2 CN 115439324 A 2接方法， 其特征在于， 所述水滴态感知视场模型为碗状模型， 碗壁为设定类型曲线绕中心轴 旋转构成的曲面， 碗底为碗壁所包围的圆形， 碗底中心为车辆投影在水平面的长方 形。 4.如权利要求3所述的一种基于水滴态感知视场融合的多车环视图像实时动态拼接方 法， 其特征在于， 所述设定类型曲线为抛物线、 圆弧或其 他二次曲线。 5.如权利要求1或2所述的一种基于水滴态感知视场融合的多车环视图像实时动态拼 接方法， 其特 征在于， 采用Superpo int架构进行 特征点提取。 6.如权利要求1或2所述的一种基于水滴态感知视场融合的多车环视图像实时动态拼 接方法， 其特 征在于， 采用SuperGlue架构实现特 征匹配。 7.如权利要求1或2所述的一种基于水滴态感知视场融合的多车环视图像实时动态拼 接方法， 其特征在于， 所述车辆环视视觉系统包括4个相机， 分别置于车头车牌上部、 左后车 门骨架中部、 车尾车牌上部与右后车门骨架中部 。 8.如权利要求1或2所述的一种基于水滴态感知视场融合的多车环视图像实时动态拼 接方法， 其特 征在于， 所述车辆环视 视觉系统的载体采用阿克 曼运动模型 车辆。 9.如权利要求1或2所述的一种基于水滴态感知视场融合的多车环视图像实时动态拼 接方法， 其特 征在于， 所述相机成像模型采用Scaramuz za提出的泰勒展开式相机成像模型。 10.如权利要求1或2所述的一种基于水滴态感知视场融合的多车环视图像实时动态拼 接方法， 其特 征在于， 车辆环视 视觉系统的重 叠视场朝向载体两侧。权　利　要　求　书 2/2 页 3 CN 115439324 A 3