(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210711952.9 (22)申请日 2022.06.22 (71)申请人 江西省智能产业 技术创新研究院 地址 330000 江西省南昌市小蓝经开区汇 仁大道266号11号楼 (72)发明人 赵迪　陈韬　聂志华　危振　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 何世磊 (51)Int.Cl. G06V 20/64(2022.01) G06V 20/52(2022.01) G06V 10/764(2022.01) G06V 10/40(2022.01) G06V 10/26(2022.01)G06T 7/11(2017.01) G06T 7/73(2017.01) (54)发明名称 一种面向移动抓取装置的视 觉引导系统 (57)摘要 本发明提供一种面向移动抓取装置的视觉 引导系统， 包括数据采集预处理模块， 数据采集 预处理模块用于采集图像数据并对采集的图像 数据进行预处理， 并且将预处理的图像数据传输 至实例分割模块， 实例分割模块用于识别和分割 预处理的图像数据中的目标物， 并输出目标物的 像素坐标位置及掩模信息至三维定位模块， 三维 定位模块用于计算出目标物的空间位姿， 并且将 目标物的空间位姿信息传输至执行模块， 执行模 块通过目标物的空间位姿信息准确引导抓取目 标物。 本发 明中的面向移动抓取装置的视觉引导 系统能够更加精确的对目标物进行空间定位， 且 由于采用深度学习、 实例分割、 空间点云等技术， 使得该视觉引导系统与移动抓取装置适配的时 间更短。 权利要求书2页 说明书7页 附图2页 CN 115082926 A 2022.09.20 CN 115082926 A 1.一种面向移动抓取装置的视觉引导系统， 其特征在于， 包括数据采集预处理模块、 实 例分割模块、 三维定位模块以及执 行模块； 所述数据采集预处理模块用于采集图像数据、 并对采集的所述图像数据进行预处理， 并且将预处 理后的图像数据传输 至所述实例分割模块； 所述实例分割 模块用于识别和分割所述预处理后的图像数据中的目标物， 并输出所述 目标物的像素坐标位置及掩 模信息至所述三维定位模块； 所述三维定位模块用于接收所述目标物的像素坐标位置及掩模信 息、 并计算出所述目 标物的空间位姿， 并且将所述目标物的空间位姿信息传输 至执行模块； 所述执行模块用于接收所述目标物的空间位姿信 息， 并根据所述目标物的空间位姿信 息对所述目标物进行抓取。 2.根据权利要求1所述的面向移动 抓取装置的视觉引导系统， 其特征在于， 所述执行模 块包括逻辑控制 器和执行单元， 所述逻辑控制 器用于接 收所述目标物的空间位姿信息、 并 控制引导所述执 行单元进行抓取作业。 3.根据权利要求2所述的面向移动 抓取装置的视觉引导系统， 其特征在于， 所述数据采 集预处理模块包括图像采集单元与数据预 处理单元， 所述图像采集单元用于采集所述图像 数据， 并将采集到的所述图像数据传输至所述数据预 处理单元， 所述图像数据至少包括 RGB 图与深度图； 所述数据预处理单元用于对所述RGB图与所述深度图进行预处理， 并将预处理后的所 述RGB图传输 至所述实例分割模块、 以及预处 理后的所述深度图传输 至所述三维定位模块。 4.根据权利要求3所述的面向移动 抓取装置的视觉引导系统， 其特征在于， 所述实例分 割模块包括特 征提取单元、 RolAlign层、 RPN网络单 元以及分割单 元； 所述特征提取单元用于提取 所述RGB图中的特 征信息； 所述RolAlign层用于将所述特 征信息与所述RGB图进行对齐； 所述RPN网络单元用于识别所述特征信息中与所述目标物相对应的特征信息、 并将与 所述目标物相对应的特 征信息传输 至所述Ro lAlign层； 所述分割单 元用于分割所述特 征信息中的所述目标物的掩 模信息。 5.根据权利要求4所述的面向移动 抓取装置的视觉引导系统， 其特征在于， 所述实例分 割模块还包括全连接层以及目标检测单元， 所述全连接层用于将对齐后的所述特征信息卷 积采样生成对应的特征向量并输出至所述目标检测单元， 所述目标检测单元根据所述特征 向量计算出所述目标物的像素坐标位置， 并将所述像素坐标位置输出至所述三维定位模 块。 6.根据权利要求5所述的面向移动 抓取装置的视觉引导系统， 其特征在于， 所述实例分 割模块还包括分类单元， 所述分类单元用于根据所述特征向量计算所述目标物的分类结 果。 7.根据权利要求6所述的面向移动 抓取装置的视觉引导系统， 其特征在于， 所述三维定 位模块包括 点云分割单元、 点云配准单 元和模板点云单 元； 所述点云分割单元根据所述目标物的掩模信息提取所述目标物在所述深度图中的空 间点云， 所述点云配准单元将所述空间点云与所述模板点云单元所传递的多个模板点云进 行匹配， 并选出所述多个模板点云中相似度最高的模板点云进 行ICP计算， 并将得到的计算权　利　要　求　书 1/2 页 2 CN 115082926 A 2值与所述相似度最高的模板点云进行矩阵乘法， 以得到所述目标物的空间位姿。 8.根据权利要求7所述的面向移动 抓取装置的视觉引导系统， 其特征在于， 所述视觉引 导系统还 包括位姿优化模块， 所述 位姿优化模块包括目标跟踪单 元与位姿图优化单 元； 所述目标跟踪单元用于在所述执行单元抓取所述目标物之前， 获取所述三维定位模块 所传递的所述目标物的所有空间位姿， 并根据所述目标物的所有空间位姿计算出所述目标 物的空间位姿信息； 所述位姿图优化单元用于对所述目标物的空间位姿信 息进行优化， 以得到所述执行单 元的最终抓取位姿。 9.根据权利要求8所述的面向移动 抓取装置的视觉引导系统， 其特征在于， 所述视觉引 导系统还包括标定模块， 所述标定模块用于对所述执行单元与所述视觉引导系统进行校 准。 10.根据权利要求1所述的面向移动抓取装置的视觉引导系统， 其特征在于， 所述视觉 引导系统还包括触发模块， 所述触发模块用于触发所述图像采集预处理模块， 以使所述图 像采集预处 理模块对所述图像数据进行采集、 并对所述图像数据进行 预处理。权　利　要　求　书 2/2 页 3 CN 115082926 A 3