(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210734738.5 (22)申请日 2022.06.27 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 王睿华　谢蒸　徐照　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 姜慧勤 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/80(2017.01) G06N 3/08(2006.01) G06F 30/13(2020.01) G06V 10/26(2022.01) (54)发明名称 一种基于BIM和深度学习的场景三维智能重 建系统及方法 (57)摘要 本发明公开了一种基于BIM和深度学习的场 景三维智能重建系统及方法， 系统包括深度数据 采集与处理模块、 三维重建模块、 语义分割模块 和BIM融合诊断模块。 深度数据采集与处理模块 收集深度信息并且将其预处理。 三维重建模块将 预处理过的深度数据重建出三维模 型。 语义分割 模块将数据通过改进 的PointNet++网络进行语 义分割， 获取三维模型的语义信息。 BIM融合诊断 模块将三维模 型与语义分割的结果进行融合， 与 BIM模型相对比， 实现三维重建模型和BIM模型的 融合， 提供施工进度与竣工效果诊断结果。 本发 明克服了现有技术中利用深度信息进行三维重 建成本较高和重建时间较长的缺点， 在一定程度 上丰富了三维重建的技 术手段。 权利要求书2页 说明书5页 附图2页 CN 115147545 A 2022.10.04 CN 115147545 A 1.一种基于BIM和 深度学习的场景三维智能重建系统， 其特征在于， 所述系统包括深度 数据采集与处 理模块、 三维重建模块、 语义分割模块和BIM融合诊断模块； 所述深度 数据采集与处理模块用于采集建筑施工阶段的深度数据， 并对所述深度 数据 进行预处理， 将预处 理后的深度数据转 化为点云数据， 同时对深度数据进行H HA编码处 理； 所述三维重建模块用于对点云数据进行补全， 并根据补全后的点云数据进行三维重 建， 得到三维模型； 所述语义分割模块用于利用改进后的PointNet ++语义分割网络对经过HHA编码处理后 的深度数据进行语义分割， 并且标注语义信息； 所述BIM融合诊断模块用于对所述三维重建模块得到的三维模型与所述语义分割模块 得到的语义信息进 行融合， 并将融合得到的模型与建筑BIM模型进 行对比， 实现建筑施工阶 段与设计阶段之间的差异对比。 2.根据权利要求1所述的基于BIM和深度学习的场景三维智能重建系统， 其特征在于， 所述深度数据采集与处理模块包括RGB ‑D传感器、 预处理单元、 点云转化单元和 HHA编码处 理单元； 所述深度数据采集与处 理模块的工作过程如下： 1)对RGB‑D传感器进行内外参数的标定， 通过标定好的RGB ‑D传感器采集建筑施工阶段 的深度数据； 2)利用预处 理单元对采集的深度数据进行 滤波处理； 3)利用点云转化单元将滤波处理后的深度 数据转化为点云数据， 为所述三维重建模块 做好准备； 4)利用HHA编码处理单元对深度数据进行HHA编码处理， 为所述语义分割模块做好准 备。 3.根据权利要求1所述的基于BIM和深度学习的场景三维智能重建系统， 其特征在于， 所述三维重建模块的工作过程如下： 先通过点云补全的神经网络对点云数据进行补全， 再通过BundleFunsion方法对补全 后的点云数据进行三维重建， 得到三维模型。 4.根据权利要求1所述的基于BIM和深度学习的场景三维智能重建系统， 其特征在于， 所述改进后的PointNet++语义分割网络包括依次连接的第一采样和分组层、 第一改进 PointNet网络层、 第二采样和分组层、 第二 改进PointNet 网络层、 第一反向插值层、 第三 改 进PointNet网络层、 第二反向插值层、 第四改进PointNet网络层以及输出层， 所述第一采样 和分组层的输出和第二反向插值层的输出作为第四改进PointNet网络层的输入， 所述第二 采样和分组层的输出和第一反向插值层的输出作为第三改进Po intNet网络层的输入； 所述第一改进PointNet网络层包括依次连接的空间对齐层、 第一全连接网络、 特征对 齐层、 注意力机制模块、 第二全连接网络、 最大池化层、 第三全连接网络、 第四全连接网络以 及输出层； 所述第一改进PointNet网络层对于N ×3的点云输入， 先通过空间对齐层将其在 空间上对齐后， 再通过第一全连接网络映射到64维的高维空间上， 再经过特征对齐层进行 对齐后， 得到64 维的局部特征， 64 维的局部特征通过注 意力机制模块、 第二全连接网络和最 大池化层后得到1024维的全局特征， 将64维的局部特征和1024维的全局特征合并起来， 组 成1088维空间， 再依次通过第三全连接网络和第四全连接网络， 得到第一改进PointNet网权　利　要　求　书 1/2 页 2 CN 115147545 A 2络层的输出； 其中， N为经过HHA编码处理后的深度数据的数量， 第一全连接网络的维数为64 ×64， 第二全 连接网络的维数为64 ×128×1024， 第三全 连接网络的维数为512 ×256×128， 第四全连接网络的维数为128 ×M， M为点云数据的类别数； 所述第一改进PointNet网络层、 第二改进PointNet网络层、 第三改进PointNet网络层 和第四改进Po intNet网络层的结构均相同。 5.根据权利要求1所述的基于BIM和深度学习的场景三维智能重建系统， 其特征在于， 所述BIM融合诊断模块的工作过程如下： 通过将所述三维重建模块得到的三维模型与所述语义分割模块得到的语义信息进行 融合后， 转换为点云文件， 将点云文件导入到Revit软件中与设计阶段的BIM模 型进行对比， 实现三维语义信息和BIM模型的融合， 提供建筑施工阶段与设计阶段之间的差异对比信息 。 6.一种基于权利要求1 ‑5任一项所述的基于BIM和深度学习的场景三维智能重建系统 的场景三维智能重建方法， 其特 征在于， 所述场景三维智能重建方法包括如下步骤： 步骤1， 采集建筑施工阶段的深度数据， 并对所述深度数据进行预处理， 将预处理后的 深度数据转 化为点云数据， 对深度数据进行H HA编码处 理； 步骤2， 对点云数据进行补全， 并根据补全后的点云数据进行三维重建， 得到三维模型； 步骤3， 利用改进后的PointNet ++语义分割网络对经过HHA编码处理后的深度数据进行 语义分割， 并且标注语义信息； 步骤4， 对步骤2得到的三维模型与步骤3得到的语义信 息进行融合， 并将融合得到的模 型与建筑BIM模型进行对比， 实现建筑施工阶段与设计阶段之间的差异对比。 7.一种计算机设备， 包括存储器、 处理器， 以及存储在所述存储器中并可在所述处理器 上运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求6所 述的场景三维智能重建方法的步骤。 8.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现如权利要求6所述的场景三维智能重建方法的步 骤。权　利　要　求　书 2/2 页 3 CN 115147545 A 3