(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210994552.3 (22)申请日 2022.08.18 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 申请人 南京欧睿三维科技有限公司 (72)发明人 肖建　孙延康　黄丽　江斌　 刘心维　凌单　张武锋　张光远　 何欣骆　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 专利代理师 杭行 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/73(2017.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06T 7/80(2017.01) G06V 10/44(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于三维目标检测和点云缺陷补全的 自动化机 器人补焊系统 (57)摘要 一种基于三维目标检测和点云缺陷补全的 自动化机器人补焊系统， 整套系统通过ROS进行 通信。 通过 嵌入坐标注意力机制的Lidar ‑RCNN++ 网络模型实现选取指定工件的三维目标检测， 结 合PointNet网络进行三维缺陷检测， 最后采用 PF‑NET网络进行点云补全， 并结合PCL点云处理 库进行缺陷补焊； 以Ubuntu18.04为操作系统， 以 多个深度学习算法为基础网络框架， 结合PCL开 源库进行软件开发， 建立自动化补焊系统。 在人 机交互方面， 结合QT图形界面进行上位机功能开 发， 建立的可视化界面显示缺陷工件点云、 点云 补全效果和缺陷补焊结果， 具有人机交互性好、 结果可视化能力强等特点。 通过本系统可解决在 大型焊接场景下高精度识别工件种类以及工件 缺陷补焊的问题， 使现代焊接作业进一步迈向自 动化与智能化。 权利要求书2页 说明书8页 附图12页 CN 115330734 A 2022.11.11 CN 115330734 A 1.一种基于三维目标检测 和点云缺陷补全的自动化机器人补焊系统， 其特 征在于： 系统包含数据采集模块、 三维 目标检测模块、 三维缺陷检测模块、 工件补焊模块和人机 交互界面模块； 数据采集模块利用深度相机获取工件图像， 再通过深度相机采集到的RGB图、 深度图与 相机内参结合， 获得相机坐标系下的点云数据； 三维目标检测模块首先对三维点云数据进行预处理操作， 然后采用基于坐标注意力 机 制并结合使用Virtual  points的Lidar ‑RCNN++网络模型实现在多个不同种类工件点云中 选取指定的工件点云数据； 三维缺陷检测模块首先预设无缺陷的工件标签， 接着利用PointNet网络模型进行模型 分类， 将有缺陷的点云数据与无缺陷点云数据区分开， 获取到缺陷点云数据； 工件补焊模块首先通过PF ‑NET网络进行缺陷点云补全， 后结合PCL库算法筛选出补全 前后点云重复点， 去除重复点得到待补焊的点云数据， 根据关键点选取和焊枪朝向计算， 从 而进行TCP焊枪补焊操作； 人机交互系统集成并实现可视化的数据采集、 工件识别、 点云补全、 工件补焊以及手眼 标定修正的功能。 2.根据权利要求1所述的一种基于三维目标检测和点云缺陷补全的自动 化机器人补焊 系统， 其特征在于： 所述数据采集模块为多传感器融合模块， 使用RGBD深度相机结合红外相 机进行数据采集和手眼标定； 数据采集中， 通过RGBD深度相机采集RGB图和深度图， 结合相机坐标系和像素坐标系， 获得相机坐标系下的点云数据； 手眼标定中， 对图像中的特征点进行检测得到其像素坐标值， 计算得到对应物理坐标 值， 求解每张图片对应的相机外参矩阵， 通过标定得到内参矩阵、 平移和旋转参数以及畸变 参数， 计算得到相机坐标系到焊枪机 械臂末端坐标系的旋转矩阵和平 移量。 3.根据权利要求1所述的一种基于三维目标检测和点云缺陷补全的自动 化机器人补焊 系统， 其特 征在于： 所述 三维目标检测模块分为 点云预处 理部分和三维目标检测部分； 点云预处理部分利用PCL点云处理开源库对点云数据进行点云数据降采样、 离群点去 除以及聚类分割； 三维目标检测部分搭建了嵌入坐标注意力机制的Lidar ‑RCNN++网络模型， 对不同种类 板件进行高精度检测分类； Lidar‑RCNN++网络模型由三维空间变换矩阵预测网络T ‑Net、 共享参数的双层感知机 模型shared  mlp、 Virtual points、 MaxPo oling以及坐标注意力机制CA的变形组成。 4.根据权利要求1所述的一种基于三维目标检测和点云缺陷补全的自动 化机器人补焊 系统， 其特征在于： 所述三维缺陷检测模块基于纯点云的Pointnet分类与回归网络， 对工件 点云数据进行分类， 将工件分为需要补焊和不需要补焊的两类， 最后将有缺陷的工件点云 数据提取 出来， 以供后续补焊使用。 5.根据权利要求1所述的一种基于三维目标检测和点云缺陷补全的自动 化机器人补焊 系统， 其特征在于： 所述工件补焊模块分为点云补 全部分、 去除重复点云部 分和智能化补焊 部分； 点云补全部分采用了PF ‑NET网络， 将点云补全分为生成和判别两部分， 在补全点云后，权　利　要　求　书 1/2 页 2 CN 115330734 A 2对补全数据再 经过一次判别， 增 加了补全区域的置信度； 去除重复点云部分结合了PCL点云处理算法库中平衡二叉树KD ‑Tree去除阈值邻域重 复点的算法， 有效提取待补焊部分点云数据； 智能化补焊部分对待补焊部分点云数据进行OpenMP法向计， 对待补焊区域进行关键点 提取， 对法向量进行多个三维空间坐标系变换。 6.根据权利要求1所述的一种基于三维目标检测和点云缺陷补全的自动 化机器人补焊 系统， 其特征在于： 所述人机交互界面模块是基于Qt开发的可视化界面， 集成了数据采集、 工件识别、 点云补全、 工件补焊以及手眼标定修 正五个模块的功能按 钮。 7.根据权利要求6所述的一种基于三维目标检测和点云缺陷补全的自动 化机器人补焊 系统， 其特征在于： 所述数据采集按钮， 实时显示深度相机拍摄到的RGB图、 深度图、 点云数 据图。 8.根据权利要求6所述的一种基于三维目标检测和点云缺陷补全的自动 化机器人补焊 系统， 其特征在于： 所述工件补焊按钮， 模拟出补焊全过程的仿真图， 实现对补焊作业的监 督与操作。权　利　要　求　书 2/2 页 3 CN 115330734 A 3