(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210989340.6 (22)申请日 2022.08.17 (71)申请人 北京旷视科技有限公司 地址 100096 北京市海淀区西三 旗建材城 内建中路12幢一层1268号 (72)发明人 胡刚　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 董艳芳 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种图像校正的方法、 存 储介质及产品 (57)摘要 本申请实施例提供一种图像校正的方法、 存 储介质及产品， 该方法包括： 获取待校正图像对， 其中， 所述待校正图像对包括主摄图像以及副摄 图像； 将所述待校正图像对输入目标立体校正模 型得到副摄变换矩阵， 其中， 所述目标立体校正 模型至少包括目标光流网络， 所述目标光流网络 用于从所述待校正图像对上提取匹配属性信息； 根据所述副摄变换矩 阵对所述副摄图像进行变 换得到目标图像， 完成校正。 通过本申请实施例 提供的技术方案既能解决有标定不能适配具有 变焦不鲁棒的多摄系统的问题， 也能改善无标定 对于弱纹 理和重复纹 理场景不鲁棒问题。 权利要求书3页 说明书14页 附图5页 CN 115471411 A 2022.12.13 CN 115471411 A 1.一种图像校正的方法， 其特 征在于， 所述方法包括： 获取待校正图像对， 其中， 所述待校正图像对 包括主摄图像以及副摄图像； 将所述待校正图像对输入目标立体校正模型得到副摄变换矩阵， 其中， 所述目标立体 校正模型至少包括目标光流网络， 所述目标光流网络用于从所述待校正图像对上提取匹配 属性信息， 所述副摄 变换矩阵是通过 所述匹配属性信息得到的； 根据所述副摄 变换矩阵对所述副摄图像进行变换 得到目标图像， 完成校正。 2.如权利要求1所述的方法， 其特 征在于， 所述将所述待校正图像对输入目标立体校正模型 得到副摄 变换矩阵， 包括： 将所述待校正图像对输入所述目标立体校正模型， 通过所述目标立体校正模型中的所 述目标光流网络得到初始光流图， 其中， 所述初始光流图用于表征所述主摄图像和所述副 摄图像上匹配点之间的位置偏移信息； 根据所述初始光 流图得到所述副摄 变换矩阵。 3.如权利要求2所述的方法， 其特征在于， 所述目标立体校正模型还进一步包括： 降采 样模块， 其中， 所述根据所述初始光 流图得到所述副摄 变换矩阵， 包括： 将所述初始光流信 息输入所述降采样模块， 并通过所述降采样模块对所述初始光流信 息进行降采样得到降采样光 流图； 根据所述降采样光 流图得到所述副摄 变换矩阵。 4.如权利要求3所述的方法， 其特征在于， 所述目标立体校正模型还进一步包括： 目标 深度卷积网络， 其中， 所述根据所述降采样光 流图得到所述副摄 变换矩阵， 包括： 将所述降采样光流图输入所述目标深度卷积网络， 并通过所述目标深度 卷积网络得到 所述副摄 变换矩阵。 5.如权利要求1 ‑4任一项所述的方法， 其特征在于， 所述将所述待校正图像对输入目标 立体校正模型 得到副摄 变换矩阵之前， 所述方法还 包括： 将主摄样本图像和副摄样本图像输入所述 光流网络， 得到预测光 流图； 对所述预测光 流图进行降采样处 理得到降采样预测光 流图； 将所述降采样预测光 流图输入所述深度卷积网络得到预测副摄 变换矩阵； 根据所述目标光流图和所述预测副摄变换矩阵得到所述损失值， 并根据 所述损失值对 所述光流网络和所述深度卷积网络的参数进行调整， 得到所述目标立体校正模型。 6.如权利要求5所述的方法， 其特征在于， 所述根据 所述目标光流图和所述预测副摄变 换矩阵得到所述损失值， 包括： 根据所述目标光 流图和所述预测光 流图得到第一损失值； 通过所述预测副摄变换矩阵得到第二损 失值， 其中， 所述第二损 失值包括用于约束整 幅图像的第三损失值和用于约束稀疏点的第四损失值中的至少一个， 所述整幅图像是通过 所述副摄样本图像和所述预测 副摄变换矩阵得到的， 所述稀疏点是与对所述主摄样本图像 降采样后得到的各网格点对应的匹配点； 根据所述第一损失值和所述第二损失值得到所述损失值。 7.如权利要求6所述的方法， 其特征在于， 所述通过所述预测副摄变换矩阵得到第 二损权　利　要　求　书 1/3 页 2 CN 115471411 A 2失值， 包括： 根据所述预测副摄 变换矩阵得到平 移量； 基于所述平 移量对所述预测副摄 变换矩阵进行补偿得到补偿预测副摄 变换矩阵； 根据所述补偿预测副摄变换矩阵对所述副摄样本图像进行图像仿射变换得到更新副 摄样本图像； 计算对齐副摄样本图像和所述更新副摄样本图像上各像素点的像素值的差值， 并基于 所述差值得到所述第三损失值， 其中， 所述对齐副摄样本图像是经过立体校正算法后的图 像。 8.如权利要求7所述的方法， 其特征在于， 所述根据所述预测副摄变换矩阵得到平移 量， 包括： 对所述目标光 流图进行 下采样， 得到目标尺寸的下采样第一目标光 流图； 将所述主摄样本图像划分为多个图像块得到多个第 一网格， 并确定所述多个第 一网格 中每个第一网格的网格坐标， 其中， 所述多个第一网格的网格总 数目与所述下采样第一 目 标光流图的像素 数相同； 根据所述下采样第一目标光 流图获取 所述每个第一网格的网格光 流偏移信息； 将任一第一网格的网格坐标与所述任一第一网格的网格光流偏移信息求和得到与所 述任一第一网格匹配的匹配点， 重复该 过程得到所有第一网格的匹配点得到匹配点 集合； 根据所述匹配点集合和所述预测副摄变换矩阵得到变换匹配点集合， 得到与 所述匹配 点分别对应的变换匹配点 坐标； 基于所述任一第一网格的网格坐标与所述任一第一网格对应的变换匹配点坐标得到 所述平移量。 9.如权利要求6 ‑8任一项所述的方法， 其特征在于， 所述通过所述预测副摄变换矩阵得 到第二损失值， 包括： 计算第一项损失值， 并计算第二项损失值， 其中， 所述第一项损失值用于约束行对齐， 所述第二项损失值用于约束图像平 移量； 根据所述第一项损失值和所述第二项损失值得到所述第四损失值。 10.如权利要求9所述的方法， 其特征在于， 所述计算第 一项损失值， 并计算第 二项损失 值， 包括： 对所述预测光 流图进行 下采样， 得到目标尺寸的下采样第二预测光 流图； 将所述主摄样本图像划分为多个图像块得到多个第 二网格， 并确定所述多个第 二网格 中每个第二网格的网格坐标， 其中， 所述多个第二网格的网格总 数目与所述下采样预测光 流图的像素 数相同； 根据所述下采样第二预测光 流图获取 所述每个第二网格的网格光 流偏移信息； 求解任一第二网格的网格坐标与所述任一第二网格的网格光流偏移信息求和得到与 所述任一第二网格匹配的匹配点， 重复该过程得到所有第二网格的匹配点得到副摄图匹配 点集合； 根据所述副摄图匹配点集合和所述预测副摄变换矩阵得到变换副摄匹配点集合， 其 中， 所述变换副摄匹配点 集合中各元素用于表征 所述匹配点的变换后坐标； 基于所述任一第二网格的网格坐标与所述任一第二网格对应的匹配点的变换后坐标权　利　要　求　书 2/3 页 3 CN 115471411 A 3