(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211130317.8 (22)申请日 2022.09.15 (71)申请人 山西大学 地址 030006 山西省太原市小店区坞城路 92号山西大学科技楼80 3 (72)发明人 闫涛　张江峰　钱宇华　 (74)专利代理 机构 山西五维专利事务所(有限 公司) 1410 5 专利代理师 茹牡花 (51)Int.Cl. G06T 17/00(2006.01) G06V 10/52(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种全局时空聚焦特征耦合的多景深三维 形貌重建方法 (57)摘要 本发明属于三 维重建技术领域， 具体涉及一 种全局时空聚焦特征耦合的多景深三维形貌重 建方法。 包括以下步骤： 首先， 通过采集 设备在场 景聚焦范围内快速扫描得到待测场景的多景深 图像序列； 其次， 将多景深图像序列输入3D卷积 层和特征映射层得到聚焦映射矩阵； 然后， 聚焦 映射矩阵经过全新设计的ConvNeXt模块构建多 景深图像序列的局部时空聚焦特征矩阵； 随后， 通过特征全局注意力操作以局部时空聚焦特征 构建全局关联关系， 并重复将局部时空聚焦特征 进行最大池化得到多尺度特征矩阵集； 最后， 对 最大尺度的特征矩 阵进行筛选并匹配聚焦平面 得到三维形貌重建结果。 本发明的方法将多景深 图像序列的时序信息引入三维形貌重建过程中， 有效提升了三维形貌重建的精度， 并能够满足不 同领域低成本高效率的要求。 权利要求书2页 说明书5页 附图2页 CN 115457207 A 2022.12.09 CN 115457207 A 1.一种全局时空聚焦特 征耦合的多景深三维形貌 重建方法， 其特 征包括以下步骤： 步骤1： 采集待测场 景的多景深图像序列{In|1≤n≤N}， N表示多景深图像序列的总数， 单幅图像的大小为C ×H×W， H×W表示单幅图像的高和宽， C表示图像的通道数； 步骤2： 对 步骤1中得到的多景深图像序列{In|1≤n≤N}根据式(1)的3D卷积层得到 卷积 特征矩阵 其中*为3D互相关算子， F1k为通过神经网络反向传播得到的第k个卷积核， K1为卷积核 总数； 步骤3： 对 步骤2中得到卷积特征矩阵通过式(2)进行层正则化得到正则化矩阵LN1， 随后 通过式(3)进行 特征映射得到聚焦特 征映射矩阵GELU1， GELU1＝LN1×Φ(LN1) (3) 其中E[]表 示平均值， Var[]表 示方差， Υ、 β 和 ε表 示可学习的自适应参数， Φ()为高斯 分布的累积分布函数； 步骤4： 对步骤3中得到的聚焦特征映射矩阵GELU1通过式(4)的ConvNeXt模块得到多景 深图像序列的局部时空聚焦特 征矩阵Loc1， Loc1＝ConvNeXt(GELU1) (4) 其中T1＝DepthwiseConv(GELU1)、 T3＝T3×Φ (LN1) T1、 T2和T3为运算中间变量， DepthwiseConv(GELU1)为深度可分离卷 积， Υ、 β、 ε和b表示可学习的自适应参数， A1和A2为可学习的参数矩阵， Φ()为高斯分布的 累积分布函数， E[]代 表平均函数， Var[]代 表方差函数； 步骤5： 对步骤4中得到的局部时空聚焦特征矩阵Loc1通过式(5)得到最大下采样矩阵 MP1， MP1＝MAXPOOL(Loc1) (5) 其中MAXPO OL()为最大池化操作； 步骤6： 重复两次上述步骤4和步骤5得到局部时空聚焦特征矩阵(Loc2、 Loc3)和下采样 特征(MP2、 MP3)； 步骤7： 将步骤4得到局部时空聚焦特征矩阵Loc1和步骤6得到下采样特征MP3通过 Attention模块(式(6) )和式(7)得到全局时空聚焦特 征矩阵G， ATT＝Attention(Loc1) (6) G＝[ATT,MP3] (7) 其中Attention()表 示特征全局注意力操作， [,]为特征拼接操作， ATT代表局部时空 聚 焦特征的全局关联关系；权　利　要　求　书 1/2 页 2 CN 115457207 A 2步骤8： 将步骤7中得到全局时空聚焦特征矩阵G和步骤6中的MP3通过式(8)得到反卷积 特征矩阵CT1， 随后将反卷积特 征矩阵CT1通过式(9)得到多尺度特 征矩阵ML1， CT1＝ConvTranspose([AT T,MP3]) (8) ML1＝ConvNeXt(CT1) (9) 其中ConvTranspose()为反卷积 操作， ConvNeXt()为步骤4中的Co nvNeXt模块； 步骤9： 重复步骤8中的式(8)和式(9)依次将局部时空聚焦特征矩阵(Loc2、 Loc1)和反卷 积特征矩阵(CT1、 CT2)得到多尺度特 征矩阵(ML2、 ML3)； 步骤10： 将步骤9中得到的多尺度特征矩阵ML3通过式(10)得到最终三维形貌重建结果 D， 其中exp()是以e为底的指数函数， ln()是以常数e为底数的对数函数， P是多景深图像 序列推导的焦平面矩阵。权　利　要　求　书 2/2 页 3 CN 115457207 A 3