(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211494737.4 (22)申请日 2022.11.26 (71)申请人 深圳市鹰眼在线电子科技有限公司 地址 518000 广东省深圳市龙岗区园山 街 道保安社区联合路13 -1号1号厂房101 (72)发明人 雷志辉　周翔　陈状　熊祥祥　 张弛　周宇轩　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 陈舟苗 (51)Int.Cl. G06T 3/00(2006.01) G06T 7/521(2017.01) G06T 7/66(2017.01) G06T 7/80(2017.01)G06T 1/20(2006.01) G06F 9/50(2006.01) (54)发明名称 PCB的2D和3D图像的采集和处理方法及相关 装置 (57)摘要 本发明公开了一种PCB的2D和3D图像的采集 和处理方法及相关装置应用于PCB光学检测系统 的图像处理器GPU包括： 获取多个扫描相机采集 的多个线激光图像， 对多个线激光图像进行亚像 素线激光中心特征提取， 分别得到每个线激光图 像的线激光中心 像素坐标； 根据线激光中心像素 坐标得到多个相机位置姿态参数， 将多个扫描相 机统一到机台坐标系下； 获取多个扫描相机拍摄 得到的多个原始2D灰度图和多个原始 3D高度图； 根据数据融合得到2D灰度图和3D高度图； 对2D灰 度图和3D高度图进行联合标定， 得到2D灰度图和 3D高度图的仿射矩阵。 有效地解决了单相机高精 度测量时， 视场范围小的问题， 提高了PCB图像视 场成像的成像效果。 权利要求书3页 说明书17页 附图6页 CN 115546016 A 2022.12.30 CN 115546016 A 1.一种PCB的2D和3D图像的采集和处理方法， 应用于印制电路板PCB光学检测系统的图 像处理器GPU， 所述PCB光学检测系统还 包括多个扫描相机， 其特 征在于， 包括： 获取所述多个扫描相机采集的线激光照射的目标PCB板的多个线激光图像， 对所述多 个线激光图像中的每个线激光图像进 行亚像素线激光中心特征提取， 得到所述每个线激光 图像的线激光中心像素坐标； 根据所述线激光中心像素坐标分别得到多个扫描相机对应的位置姿态参数， 并通过所 述位置姿态参数将所述多个扫描相机统一到 机台坐标系下； 获取所述多个扫描相机扫描自然光照射的所述目标PCB板得到的多个原始2D灰度图， 获取所述多个扫描相机扫描 线激光照射的所述目标PCB板得到的多个原 始3D高度图； 根据所述位置姿态参数对所述多个原始2D灰度图和多个原始3D高度图进行数据融合 得到融合后的2D灰度图和3D高度图； 对所述2D灰度图和3D高度图进行联合标定， 得到所述2D灰度图和3D高度图的仿射矩 阵。 2.根据权利要求1所述的方法， 其特征在于， 所述获取所述多个扫描相机采集的线激光 照射的目标PCB板的多个线激光图像， 对所述多个线激光图像中的每个线激光图像进行亚 像素线激光中心特 征提取， 得到所述每 个线激光图像的线激光中心像素坐标， 包括： 对所述每 个线激光图像进行均值滤波处 理， 得到均值滤波处 理后的图像； 获取所述均值滤波处理后的图像在图像列方向灰度值最大值所在的位置， 将所述灰度 值最大值所在的位置确定为所述线激光图像的整像素中心； 沿所述线激光的整像素中心 处的线条法线方向做泰勒展开， 计算得到所述线激光中心 像素坐标， 所述线激光中心像素坐标代 表对应的所述扫描相机在所述机台坐标系的高度。 3.根据权利要求1所述的方法， 其特征在于， 所述姿态参数包括绕X轴旋转俯仰角， Y轴 旋转滚转角， 绕Z轴旋转偏航角， X轴偏移量， Y轴偏移量和Z轴偏移量； 所述根据所述线激光 中心像素坐标分别得到所述多个相机位置姿态参数， 并通过所述位置姿态参数将所述多个 扫描相机统一到 机台坐标系下， 包括： 根据所述多个扫描相机的线激光中心像素坐标和所述多个扫描相机扫描标定板得到 的对应的多个原始灰度图像和多个原始高度图像， 将所述多个原始高度图像进行同一参考 平面的组合， 获得第一高度图像； 求解所述多个原始高度图像在所述第 一高度图像中的高度平面系数， 以及所述多个原 始高度图像对应的绕X轴旋转俯仰角， Y轴旋转滚转角和绕Z轴旋转偏航角； 根据所述多个扫描相机分别对应的绕X轴旋转俯仰角， Y轴旋转滚转角和绕Z轴旋转偏 航角对所述第一高度图像进行修 正， 得到第二高度图像； 根据所述第二高度图像确定每个扫描相机的Z轴偏移量， 所述Z轴偏移量为所述每个扫 描相机的高度相对于所述多个扫描相机高度均值的偏移量； 获取多个原始灰度图像的圆心图案， 并根据 所述多个原始灰度图像的圆心图案确定所 述多个扫描相机对应多个预测标定 板圆心坐标； 获取多个实际标定板圆心坐标， 根据 所述多个预测标定板圆心坐标和所述多个实际标 定板圆心坐标， 确定所述多个扫描相 机中每个扫描相 机的平面偏移量， 所述平面偏移量包 括X轴偏移量和Y轴偏移量；权　利　要　求　书 1/3 页 2 CN 115546016 A 2根据所述每个扫描相机的Z轴偏移量、 平面偏移量、 绕X轴旋转俯仰角， Y轴旋转滚转角 和绕Z轴旋转偏航角将所述多个扫描相机统一到 机台坐标系下。 4.根据权利要求1所述的方法， 其特征在于， 所述多个扫描相机中的每个扫描相机包括 光源组件和相 机组件， 所述光源组件包括线激光光源和自然光光源； 所述线激光光源和自 然光光源的照射区域之 间的距离大于第一预设阈值， 所述获取所述多个扫描相机扫描自然 光照射的所述目标PCB板得到的多个原始2D灰度图， 获取所述多个扫描相机扫描线激光照 射的所述目标PCB板得到的多个原 始3D高度图， 包括： 所述多个扫描相机沿Y轴方向移动扫描， 使所述线激光光源和自然光光源均遍历所述 目标PCB板； 根据所述激光照射的所述目标PCB板的原始图像中的自然光照射区域， 得到所述目标 PCB板的2D灰度图； 根据所述激光照射的所述目标PCB板的图像中线激光条纹， 得到所述目标PCB板的多个 原始3D高度图。 5.根据权利要求1所述的方法， 其特征在于， 所述获取所述多个扫描相机扫描线激光照 射的所述目标PCB板的原始图像， 根据所述原始图像的自然光照射区域得到的多个原始2D 灰度图， 根据所述原 始图像的线激光条纹得到多个原 始3D高度图， 包括： 根据所述多个扫描相机对应的姿态参数 得到所述多个扫描相机的转换公式； 获取相邻的所述扫描相机对应的两个原 始灰度图之间的重合区域数据； 根据所述转换公式得到所述两个相邻的所述扫描相机的原始2D灰度图和和原始3D高 度图重合区域数据的两个结果； 对所述重合区域的两个结果进行加权数据融合， 得到所述重合区域数据的融合 值； 根据所述重合区域数据的融合 值生成对应的完整的2D灰度图和完整的3D高度图。 6.根据权利要求1所述的方法， 其特征在于， 所述对所述2D灰度图和3D高度图进行联合 标定， 得到所述2D灰度图和3D高度图的仿射矩阵， 包括： 根据相机位置姿态参数， 获取2D实际圆心坐标与3D实际圆心坐标； 计算所述2D实际圆心坐标与3D实际圆心坐标的仿射变换矩阵， 得到2D/3D位置转换模 型参数初值； 对所述2D/3D位置转换模型参数初值剔除随机误差后， 得到2D/3D位置转换模型参数仿 射； 计算得到所有所述实际圆心坐标的2D/3D位置转换模型参数仿射集合后， 集合数据回 归分析， 得到2D灰度图和3D高度图的仿射矩阵。 7.根据权利要求1 ‑6任一项所述的方法， 其特征在于， 若所述GPU为多个GPU， 所述多个 扫描相机与所述多个 GPU通过PCIE总线 连接和进 行信息交互， 并根据异步分配法为所述GPU 的众核逻辑计算单 元ALU分配 计算任务。 8.一种PCB的2D和3D图像的采集和处理装置， 应用于PCB光学检测系统的图像处理器 GPU， 所述PCB光学检测系统还 包括多个扫描相机， 其特 征在于， 所述装置包括： 获取单元： 用于获取所述多个扫描相机采集的线激光照射的目标PCB板的多个线激光 图像， 对所述多个线激光图像中的每个线激光图像进行亚像素线激光中心特征提取， 得到 所述每个线激光图像的线激光中心像素坐标；权　利　要　求　书 2/3 页 3 CN 115546016 A 3