(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210435374.0 (22)申请日 2022.04.24 (65)同一申请的已公布的文献号 申请公布号 CN 114782367 A (43)申请公布日 2022.07.22 (73)专利权人 广东天太 机器人有限公司 地址 528322 广东省佛山市顺德区大良10 5 国道大墩段 （5-1号地块） 六号综合楼 三层 （广珠公路红岗路段23号之9） (72)发明人 尹以茳　何志雄　詹友军　李志滔　 (74)专利代理 机构 佛山市禾才知识产权代理有 限公司 4 4379 专利代理师 刘羽波　陈嘉琦 (51)Int.Cl. G06T 7/00(2017.01)G06V 10/44(2022.01) G06V 10/74(2022.01) G06K 9/62(2022.01) G06V 10/75(2022.01) G06V 20/10(2022.01) B25J 9/16(2006.01) B25J 13/08(2006.01) (56)对比文件 CN 111844019 A,2020.10.3 0 CN 111508066 A,2020.08.07 CN 111168686 A,2020.0 5.19 CN 113145473 A,2021.07.23 CN 10185943 6 A,2010.10.13 CN 110032964 A,2019.07.19 审查员 刘笑天 (54)发明名称 一种机械臂的控制系统及方法 (57)摘要 本发明的目的在于提出一种机械臂的控制 系统及方法， 其中所述系统包括相互电连接的摄 像设备与机械臂； 所述摄像设备包括运输带信息 采集模块、 模板识别模块、 指令分析模块以及指 令发出模块； 所述运输带信息采集模块用于采集 运输带上的第一图片； 所述模板识别模块用于将 第一图片与全角度模板进行一一匹配识别， 判断 运输带上是否存在有机械臂抓取的目标零件， 并 对目标零件进行标记， 其中所述全角度模板设置 有360个不同角度的模板图。 所述机械臂只需接 收抓取指令以及时间指令， 在时间指令所提出的 时间内进行抓取即可， 即便是受到了网络延迟的 影响， 机械臂在接收抓取指令以及时间指令后能 够及时作出反应， 能够避免目标零件移动超出机 械臂的抓取 范围。 权利要求书3页 说明书9页 附图2页 CN 114782367 B 2022.12.20 CN 114782367 B 1.一种机 械臂的控制系统， 其特 征在于， 包括相互电连接的摄 像设备与机 械臂； 所述摄像设备包括运输带信息采集模块、 模板识别模块、 指令分析模块以及指令发出 模块； 所述运输带信息采集模块用于采集 运输带上的第一图片； 所述模板识别模块用于将第 一图片与全角度模板进行一一匹配识别， 判断运输带上是 否存在有机械臂 抓取的目标零件， 并对目标零件进 行标记， 其中所述全角度模板 设置有360 个不同角度的模板图； 指令分析模块用于根据标记的目标零件分析得出机械臂抓取对象的抓取指令以及时 间指令； 所述指令发出模块用于向所述机 械臂发出抓取指令以及时间指令； 所述机械臂解析所述时间指令与抓取指令， 得到具体抓取时间点， 在具体抓取时间点 对目标零件进行抓取； 所述运输带信息采集模块包括周期信息采集子模块以及持续信息采集子模块； 所述周期信 息采集子模块用于在一个周期内对运输带上运输的物品进行拍摄， 得到第 一图片， 并将所述第一图片发送至所述模板识别模块； 所述持续信息采集子模块用于在所述模板识别模块识别出有目标零件后持续对运输 带进行拍摄， 得 出第一视频， 并将所述第一视频发送至所述指令分析模块； 所述模板识别模块包括目标框体获取子模块、 匹配子模块以及标记子模块； 所述目标框体获取子模块用于使用One ‑Stage算法对第一图进行识别框体提取， 将运 输带上的物体以框体的方式展现； 所述匹配子模块用于对框体 内的物体进行匹配识别， 判断当前第 一图片中是否存在有 目标零件， 若存在有目标零件， 则采用所述持续信息采集子模块对运输带进行持续拍摄， 获 取第一视频； 所述标记子模块用于对第 一视频中的目标零件的框体进行符号标记， 所述符号标记为 数字、 英文字母、 希腊 字母一种或多种的组合。 2.根据权利要求1所述的一种机械臂的控制系统， 其特征在于， 运输线的带体设置有沿 其宽度延伸的凸起； 还包括选择模块， 所述选择模块用于获取运输带上的物体对应框体的长度， 将长度落 入到带体宽度阈值的框体进行剔除。 3.根据权利要求2所述的一种机械臂的控制系统， 其特征在于， 所述匹配子模块还包括 模板制作子单 元、 识别特 征提取子单 元以及存 储子单元； 所述模板制作子单元用于制作全角度模板的360个模板图， 其中每一个模板图对应一 个不同的整数角度； 所述识别特 征提取子单 元包括梯度量 化模块以及提 起模块； 所述梯度量化模块用于对360个模板图进行第 一层金字塔方向梯度量化以及第 二层金 字塔方向梯度量 化， 获得3 60个模板图分别对应的识别特 征； 所述提取模块用于以当前角度为表列获取 所述识别特 征， 并进行保存； 所述存储子单元用于存 储不同角度表列中的所有识别特 征。 4.根据权利要求3所述的一种机械臂的控制系统， 其特征在于， 指令分析模块包括视频权　利　要　求　书 1/3 页 2 CN 114782367 B 2追踪子模块以及抓取 范围获取子模块， 所述视频追踪子模块用于接收标记子模块标记后的第 一视频， 对第 一视频采中的标记 的框体进行追踪； 所述抓取范围获取子模块用于接收追踪后的第 一视频， 并判断追踪后的框体是否落入 到待抓取范围内， 若进入到所述待抓取范围， 则获取目标零件进入待抓取范围一刻的第二 图片， 根据第二图片分析得到目标零件进入到机械臂抓取范围内的时间， 并将所述时间与 抓取的目标零件转 化为抓取指令以及时间指令， 发送给 所述机械臂。 5.一种机械臂 的控制方法， 应用于权利要求1～4任一项所述一种机械臂 的控制系统， 所述系统包括相互电连接的摄 像设备与机 械臂， 其特 征在于， 所述控制方法包括如下步骤： S1： 所述摄 像设备对运输带进行图片采集， 获取 得到第一图片； S2： 所述摄像设备使用全角度模板逐一对所述第一图片进行匹配识别， 判断运输带上 是否存在有机械臂抓取 的目标零件， 并对目标零件进行标记， 其中所述全角度模板设置有 360个不同角度的模板图； S3： 所述摄像设备根据 标记的目标零件分析得出机械臂抓取对象的抓取指令以及时间 指令， 并向机 械臂发出抓取指令以及时间指令； S4： 所述机械臂接收抓取指令以及时间指令并根据抓取指令以及时间指令， 在相应时 间内对目标零件进行抓取； 所述摄像设备对运输带进行图片采集， 获取 得到第一图片的具体过程如下： 所述摄像设备在一个周期内对运输带上运输的物品进行拍摄， 得到第一图片， 对所述 第一图片进行识别； 在对第一图片识别出有目标零件后， 所述摄像设备持续对运输带进行拍摄， 得出第一 视频； 对第一图片进识别包括如下步骤： 使用One‑Stage算法对第一图片进行识别框体提取， 将运输带上的物体以框体的方式 展现， 获取运输带 上的物体对应框体的长度， 将长度落入到带体宽度阈值的框体进行剔除； 对框体内的内容进行匹配识别， 判断当前第一图片中是否存在有目标零件， 若为目标 零件则对第一视频中的目标零件的框体进 行符号标记， 所述符号标记为数字、 英文字母、 希 腊字母一种或多种的组合； 其中判断当前第一图片中是否存在有目标零件前还需要执 行以下步骤： 制作360个模板图， 其中每一个模板图对应一个不同的整数角度； 对模板图进行梯度量 化以及特 征提取， 梯度量 化以及特 征提取的具体过程如下： 为对360个模板 图进行第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化， 获得360个模板图分别对应的识别特征， 以当前角度为表列获取所述识别特征， 并进行保 存。 6.根据权利要求5所述的一种机械臂的控制方法， 其特征在于， 步骤S3的具体过程如 下： 接收标记后的第一视频， 对第一视频采中的标记的框体进行追踪； 并判断追踪后的框体是否落入到待抓取范围内， 若进入到所述待抓取范围， 则获取目 标零件进入待抓取范围一刻的第二图片， 根据第二图片分析得到目标零件进入到机械臂 抓权　利　要　求　书 2/3 页 3 CN 114782367 B 3