(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210425264.6 (22)申请日 2022.04.22 (71)申请人 华南理工大 学 地址 510641 广东省广州市天河区五山路 381号 (72)发明人 胡军委　孙季丰　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 郑宏谋 (51)Int.Cl. G06T 7/55(2017.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于自适应网络的三维重 建方法、 装置 及介质 (57)摘要 本发明公开了一种基于自适应网络的三维 重建方法、 装置及介质， 其中方法包括： 输入两张 图像， 采用两个特征提取网络分别对两张图像进 行特征提取， 采用自适应网络对提取的特征进行 处理， 获得两张图像特征图； 根据图像特征图和 相机参数构建视图的代价体， 获得两个代价体； 采用正则化网络对所有的代价体进行正则化处 理， 以利用空间上下文信息， 将代价转化为深度 假设的概率分布； 采用损失函数对特征提取网 络、 自适应网络和正则化网络进行训练， 获得三 维重建模型， 采用获得的三维重建模 型对待处理 图像进行三维重建。 本发明采用自适应网络对特 征进行处理， 采用正则化网络对代 价体进行正则 化， 有效提升三维重建的精确度， 可广泛应用于 三维重建技 术领域。 权利要求书2页 说明书8页 附图3页 CN 114742873 A 2022.07.12 CN 114742873 A 1.一种基于自适应网络的三维重建方法， 其特 征在于， 包括以下步骤： 输入两张图像， 采用两个特征提取网络分别对两张图像进行特征提取， 采用自适应网 络对提取的特 征进行处 理， 获得两张图像特 征图； 根据图像特 征图和相机参数构建视图的代价体， 获得两个代价体； 采用正则化网络对所有的代价体进行正则化处理， 以利用空间上下文信息， 将代价转 化为深度假设的概 率分布； 采用损失函数对特征提取网络、 自适应网络和正则化网络进行训练， 获得三维重建模 型， 采用获得的三维重建模型对待处 理图像进行三维重建。 2.根据权利要求1所述的一种基于自适应网络的三维重建方法， 其特征在于， 所述两个 特征提取网络的参数相同， 且参数共享； 所述特 征提取网络由五层CN N组成。 3.根据权利要求1所述的一种基于自适应网络的三维重建方法， 其特征在于， 所述自适 应网络用于自适应聚合 不同尺度和不同纹 理丰富度区域的特 征； 所述自适应网络 中有三个不同的特征空间尺度， 该三个特征空间尺度由三个可变形卷 积处理获得： 其中， f(p)代表像素点p的特征值， wk表示普通卷积运算中定义的核参数， pk表示固定偏 移量， Δpk和Δmk是指由可变形 卷积的可 学习子网络自适应产生的偏移和调制权值。 4.根据权利要求1所述的一种基于自适应网络的三维重建方法， 其特征在于， 所述根据 图像特征图和相机参数构建视图的代价体， 获得两个代价体， 包括： 将得到的两个图像的特 征和相机参数进行匹配 计算， 获得两个代价体； 在相机的深度假设为d的情况 下， 图像特 征和第i幅输入图像之间的像素映射关系有： 其中， T和K代 表相机的外 部变换参数和内部参数； 代价体的表达式如下： 其中， fi(d)表示输入第i张图像的特 征， 表示两张图像的平均特 征。 5.根据权利要求4所述的一种基于自适应网络的三维重建方法， 其特征在于， 在获得代 价体后， 还 包括以下步骤： 采用卷积网络模块 来处理不可靠的匹配代价体， 具体表达式如下： 其中， *是矩阵对应元 素的乘积， ω( ·)每张图像的代价体自适应生成特 征。 6.根据权利要求1所述的一种基于自适应网络的三维重建方法， 其特征在于， 所述正则 化网络采用RN N‑CNN混合方式， 在D维度处切取代价 量H×W×D×32； 正则化网络中通过的特征具有水平方向和垂直方向， 在水平方向上， 三维成本体积的 每一片都由一个具有编 码器‑解码器架构的CNN进行正则化； 在垂 直方向上， 采用5个平行的 RNN， 将原卷积层的中间输出传递给后一个卷积层。权　利　要　求　书 1/2 页 2 CN 114742873 A 27.根据权利要求6所述的一种基于自适应网络的三维重建方法， 其特征在于， 所述采用 5个平行的RN N， 将原卷积层的中间输出传递给后一个卷积层， 包括： 将第j个卷积层需要处理的深度d的代价体记为vj‑1(d)， 深度d ‑1的这一层输出为vj(d‑ 1)， 此时保持原值操作记为mj(d‑1)； 将vj‑1(d)和vj(d‑1)进行串联， 经过卷积层处理后， 将特 征维的张量分成4张量 w、 x、 y、 z， 一个卷积层内的4个二维信号： 由于mj(d)＝mj(d‑1)， 可得到： mj(d)＝mj(d‑1)·f+i·g 最终输出代价体vj(d)的表达式如下： vj(d)＝o·tanh(mj(d))。 8.根据权利要求1所述的一种基于自适应网络的三维重建方法， 其特征在于， 由于正则 化将匹配成本转化为像素级概率分布的深度假设， 因此深度估计的任务类似于像素级分类 问题， 故通过对真实值进行编码， 采用交叉熵来计算训练损失， 具体表达式如下： 其中， Gd(p)和Pd(p)表示像素p的真实图像的概率和深度假设d的预测概率， pv为可靠深 度的有效像素集合； d1表示第二个图像的深度假设预测概率， d0表示第一个图像的深度假设 预测概率。 9.一种基于自适应网络的三维重建装置， 其特 征在于， 包括： 至少一个处 理器； 至少一个存 储器， 用于存 储至少一个程序； 当所述至少一个程序被所述至少一个处理器执行， 使得所述至少一个处理器实现权利 要求1‑8任一项所述方法。 10.一种计算机可读存储介质， 其中存储有处理器可执行的程序， 其特征在于， 所述处 理器可执行的程序在由处 理器执行时用于执 行如权利要求1 ‑8任一项所述方法。权　利　要　求　书 2/2 页 3 CN 114742873 A 3