(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211142781.9 (22)申请日 2022.09.20 (65)同一申请的已公布的文献号 申请公布号 CN 115223031 A (43)申请公布日 2022.10.21 (73)专利权人 凌度 （广东） 智能科技发展 有限公 司 地址 510000 广东省广州市黄埔区开创大 道2399号自编A3 栋6层601号 (72)发明人 黄俊生　张志忠　张飞扬　 (74)专利代理 机构 广州名扬高玥专利代理事务 所(普通合伙) 44738 专利代理师 郭琳 (51)Int.Cl. G06V 20/00(2022.01)G06V 10/44(2022.01) G06V 10/48(2022.01) G06T 7/73(2017.01) A47L 1/02(2006.01) A47L 11/38(2006.01) A47L 11/40(2006.01) G01B 11/02(2006.01) (56)对比文件 US 2011274353 A1,201 1.11.10 CN 114972537 A,202 2.08.30 CN 104881672 A,2015.09.02 蒋境伟.玻璃幕墙清洗 机器人控制系统的设 计. 《中国优秀硕士学位 论文全文数据库工程科 技Ⅱ辑》 .2020,(第2期),第C 038-1087页. 审查员 刘志军 (54)发明名称 一种单目边框测距方法、 装置、 介质及幕墙 机器人 (57)摘要 本发明提供了一种单目边框测距方法， 其包 括如下步骤： S10， 获取单目相机拍摄的包含有幕 墙边框的第一图像； S20， 分别使用第一参数、 第 二参数的canny算子对所述第一图像进行边缘提 取以获取第一边缘图、 第二边缘图； 将所述第一 边缘图和所述第二边缘图进行融合获取第三边 缘图； 其中第一参数、 第二参数不同； S30， 检测所 述第三边缘图像中的水平直线， 获取所述水平直 线到第一图像底部的像素距离， 并根据IMU的角 度信息和玻璃幕墙边框转换模型计算水平边框 距离； S40， 检测所述第三边缘图像中的垂直直 线， 并根据IMU的角度信息和将所述垂直直线的 斜率和截距代入玻璃幕墙边框转换模型计算垂 直边框距离。 本发明的玻璃幕墙边框转换模型更 简单、 运算量更低， 不需要更重的运算模块以应 对大运算量。 权利要求书3页 说明书12页 附图7页 CN 115223031 B 2022.12.20 CN 115223031 B 1.一种单目边框测距方法， 其包括如下步骤： S10， 获取 单目相机拍摄的包 含有幕墙边框的第一图像； S20， 分别使用第一参数、 第二参数的canny算子对所述第一图像进行边缘提取以获取 第一边缘图、 第二边缘图； 将所述第一边缘图和所述第二边缘图进 行融合获取第三边缘图； 其中第一 参数、 第二 参数不同； S30， 检测所述第 三边缘图中的水平直线， 获取所述水平直线到第 一图像底部的像素距 离， 并根据IMU的角度信息和玻璃幕墙边框转换模型计算水平边框距离； S40， 检测所述第三边缘 图中的垂直直线， 并根据IMU 的角度信息和将所述垂直直线 的 斜率和截距 代入玻璃幕墙边框转换模型计算垂直 边框距离； 其中形成玻璃幕墙边框转换模型的流 程如下： S02、 将相机俯仰角调整为工作角度， 将等间距黑白间隔的网格板移到相机的视野中， 并且网格板中点与相 机视野中心重合， 网格板水平线与相 机水平线平行， 网格板中间的垂 直线与机器人中线重合； S03、 拍摄图片， 记录此时的相机俯仰角， 测量机器人到图片底部的距离； S04、 根据图片中网格板每两条水平线之间的像素距离和实际间距， 建立水平边界的转 换模型； S05、 根据图片中网格板每条垂直线的像素， 计算每条垂直线在像素坐标系的斜率和截 距， 并根据垂直线与中线的距离， 建立垂直 边界的转换模型； S06、 根据机器人工作 过程中可能出现的最大俯角和最大仰角， 将相机俯仰角在该俯仰 角区间按等 步长进行调整， 每次调整后重复S02 ‑S05； S07、 根据 俯仰角变化时水平边界转换模型和垂直边界转换模型的变化情况， 建立玻璃 幕边框转换模型。 2.根据权利要求1所述的方法， 步骤S20还 包括： S21、 获取 所述单目相机拍摄的包 含有幕墙边框的第一图像； S22、 使用第一 参数的can ny算子对所述第一图像进行边 缘提取以获取第一 边缘图； S23、 使用第二 参数的can ny算子对所述第一图像进行边 缘提取以获取第二 边缘图； S24、 将所述第一 边缘图、 第二 边缘图使用加权融合获取第三 边缘图； S25、 提取所述第 三边缘图的像素群的轮廓， 去除非矩形的像素以获取去除噪声的第三 边缘图。 3.根据权利要求2所述的方法， 步骤S20还 包括： S26、 从所述去除噪声的第三边缘图或第三边缘图的中间开始， 向顶部和底部搜索横 线； S27、 从横线的中点 开始， 向左右延伸搜索左右两端的像素坐标； S28、 根据左右两端的长度， 等间距提取 数个横线上的像素坐标； S29、 利用这些像素坐标计算横线的斜率， 并换算为与水平线的夹角； 如果夹角不为0 °， 则将图像按照夹角进行旋转。 4.根据权利要求1所述的方法， 步骤S3 0具体包括： S31、 提取长度不小于 5像素， 宽度大于等于1像素的横线； S32、 利用累计概 率霍夫变换检测直线， 并计算所有直线的斜 率；权　利　要　求　书 1/3 页 2 CN 115223031 B 2S33、 根据斜 率去除水平直线以外的直线； S34、 固定步长调整霍夫变换的接受直线最小长度的阈值， 重复S32 ‑S33； S35、 计算每条 水平线到图像底部的像素距离； S36、 根据IMU测得的俯仰角， 将像素距离带入玻璃幕墙边框转换模型计算水平直线到 机器人的距离 。 5.根据权利要求 4所述的方法， 步骤S40具体包括： S41、 提取长度不小于 30像素的横线， 通过与边 缘图相减来去除横线； S42、 识别像素群的连通区域， 去除连通区域小于 300像素的噪声； S43、 利用累计概 率霍夫变换检测直线， 并计算所有直线的斜 率和截距； S44、 去除部分非垂直线的直线； 去除坐标在左半边、 斜率不大于0， 和坐标在右半边、 斜 率不小于0的直线， 保留下来的直线累加； S45、 固定步长调整霍夫变换的接受直线最小长度的阈值， 重复S42 ‑  S44； S46、 根据 IMU测得的俯仰角， 将每条直线的斜率和截距代入玻璃幕墙边框转换模型， 计 算垂直直线到机器人的距离 。 6.一种单目边框测距装置， 其包括如下 单元： 幕墙边框图像获取 单元， 用于获取 单目相机拍摄的包 含有幕墙边框的第一图像； 边缘图像获取单元， 用于分别使用第一参数、 第二参数的canny算子对所述第一图像进 行边缘提取以获取第一边缘图、 第二边缘图； 将所述第一边缘图和所述第二边缘图进行融 合获取第三 边缘图； 其中第一 参数、 第二 参数不同； 水平边框距离获取单元， 用于检测所述第三边缘图中的水平直线， 获取所述水平直线 到第一图像底部的像素距离， 并根据IMU的角度信息和玻璃幕墙边框转换模型计算水平边 框距离； 垂直边框距离获取单元， 用于检测所述第三边缘图中的垂直直线， 并根据IMU的角度信 息和将所述垂直 直线的斜 率和截距 代入玻璃幕墙边框转换模型计算垂直 边框距离； 所述装置还包括： 网格板调整单元， 用于将相机俯仰角调整为工作角度， 将网格板移到 相机的视野中， 并且网格板中点与相机视野中心重合， 网格板水平线与相机水平线平行， 网 格板中间的垂直线与机器人中线重合； 机器人到图片底部的距离获取单元， 用于拍摄图片， 记录此时的相机俯仰角， 测量机器人到图片底部的距离； 水平边界的转换模型建立单元， 用 于根据图片中网格板每两条水平线之间的像素距离和实际间距， 建立水平边界的转换模 型； 垂直边界的转换模型建立单元， 用于根据图片中网格板每条垂直线的像素， 计算每条垂 直线在像素坐标系的斜率和截距， 并根据 垂直线与中线的距离， 建立垂 直边界的转换模型； 俯仰角调整单元， 用于根据机器人工作过程中可能出现的最大俯角和最大仰角， 将相 机俯 仰角在该俯仰角区间按等步长进行调整， 每次调整后重复网格板调整单元、 机器人到图片 底部的距离获取单元、 水平边界的转换模型建立单元、 垂 直边界的转换模型建立单元； 玻璃 幕边框转换模型建立单元， 用于根据俯仰角变化时水平边界转换模型和垂 直边界转换模型 的变化情况， 建立玻璃幕边框转换模型。 7.根据权利要求6所述的装置， 所述 边缘图像获取 单元还包括： 第一参数canny算子提取单元、 用于使用第一参数的canny算子对所述第一图像进行边 缘提取以获取第一 边缘图；权　利　要　求　书 2/3 页 3 CN 115223031 B 3