(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210596569.3 (22)申请日 2022.05.30 (71)申请人 华南农业大 学 地址 510642 广东省广州市天河区五山路 483号 (72)发明人 李君　李灯辉　周峥琦　周浩波　 黄光文　林佩怡　贾宇航　姚中威　 李钊　伍源水　陈盈宜　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 李斌 (51)Int.Cl. A01D 46/30(2006.01) A01D 91/04(2006.01) B64C 39/02(2006.01)G06T 7/73(2017.01) H04N 5/225(2006.01) (54)发明名称 一种搭载在无人机上的水果自动采收装置 及其控制方法 (57)摘要 本发明公开了一种搭载在无人机上的水果 自动采收装置及其控制方法， 装置包括： 水果定 位组件、 控制及信息传输设备和采摘机构； 所述 水果定位组件包括RGB ‑D相机、 微型处理器和光 电传感器； 所述控制及信息传输设备包括 Arduino开发板、 继电器、 电机控制板和USB ‑ TypeB数据线； 所述采摘机构包括电池、 电机保护 壳、 电机、 丝杆、 套筒、 支撑杆、 钢条、 带夹持机构 的剪刀； 使用时， 光电传感器检测到水果的结果 母枝进入剪刀中间时， 向微型处理器发射信号； 微型处理器收到光电传感器的信号后运行水果 定位程序， 定位水果并判断无人机是否到达目的 地位置。 本发明搭载在无人机平台上， 能够适应 丘陵果园的复杂地形条件， 有效解决了采摘机器 人面对高大果 树上的果实无法工作的问题。 权利要求书2页 说明书6页 附图2页 CN 114916318 A 2022.08.19 CN 114916318 A 1.一种搭载在无人机上的水果自动采收装置， 其特征在于， 包括水果定位组件、 控制及 信息传输设备和采摘机构； 所述的水果定位组件包括RGB ‑D相机、 微型处理器和光电传感器； 所述的RGB ‑D相机安 装在采摘机构的支撑杆中间位置， 所述的RGB ‑D相机同时获取目标的颜色、 轮廓和位置特 征； 所述的微型处理器安装在无人机的最上方， 所述的光电传感器包含漫反射红外发射器 和红外接收器， 红外发射器发射的红外线， 有结果母枝进入到剪刀中间时， 红外接收器会接 收到漫反射回来的红外线， 将此信息以光电信号的形式反馈给微型处 理器； 所述的控制及信息传输设备包括Arduino开发板、 继电器、 电机控制板和USB ‑TypeB数 据线； 所述继电器与Arduino开 发板相连， 所述的电机控制板是分别是电源控制板和驱动控 制板； 所述的电源控制板由一个电磁开关和电路板组成， 用于控制电机的启停； 所述的驱动 控制板用于控制电机的输入电压和电流； 所述的USB ‑TypeB数据线用于连接Arduino开发板 与微型处 理器， 能够实现程序下 载和数据通讯； 所述采摘机构包括电池、 电机保护壳、 电机、 丝杆、 套筒、 支撑杆、 钢条、 带夹持机构的剪 刀； 所述的电池为水果自动采收装置提供电能； 所述的电机保护壳与支撑杆通过螺钉固定 连接； 所述的电机与丝杆的一端连接； 所述的丝杆的另一端与套筒连接； 所述的套筒的另一 端与钢条用螺钉连接； 所述的钢 条的另一端与剪刀的一个刀片通过螺钉连接； 所述的剪刀 的另一个刀片与支撑杆通过螺钉固定连接； 所述的剪刀上的夹持机构的两片夹持片分别与 剪刀的两个刀片用螺 丝固定。 2.根据权利要求1所述一种搭载在无人机上的水果自动采收装置， 其特征在于， 所述的 RGB‑D相机包括彩色相机和红外相机； 所述的彩色相机提供了红、 绿、 蓝三个通道的信息， 用 于采集RGB图像； 所述的红外相机提供了一个深度信息通道， 用于采集深度图像。 3.根据权利要求1所述一种搭载在无人机上的水果自动采收装置， 其特征在于， 微型处 理器内置存储器、 NVIDIA  Jetson TX2 GPU和8GB  RAM； 所述的存储器为计算机可读存储设 备， 其存储有Ubuntu18.04操作系统、 Python编程语言编写的水果定位算法的相关程序； 所 述的NVIDIA  Jetson TX2 GPU和8GB  RAM用于执 行Python编程语言的相关程序。 4.根据权利要求1所述一种搭载在无人机上的水果自动采收装置， 其特征在于， 所述的 Arduino开发板包括一块AVR单片机、 一个晶振或振 荡器和一个直流电源， 并含有 数字输入/ 输出引脚、 模拟输入、 晶振时钟、 电源 插孔、 ICS P接头和复位按 钮。 5.根据权利要求1所述一种搭载在无人机上的水果自动采收装置， 其特征在于， 所述的 AVR单片机的处 理核心是ATM EGA328P。 所述继电器通过三条杜邦线与Arduino开发板相连接； 所述的三条杜邦线分别连接到 Arduino开发板上的正负极和信号输出端口上， 用于为继电器提供电源和输入信号。 6.根据权利要求1所述一种搭载在无人机上的水果自动采收装置， 其特征在于， 所述的 电机保护壳由3D打印的塑料件； 所述的电机为直流电机， 用于控制剪刀上一刀片的运动； 所 述的支撑杆采用碳纤维材 料。 7.根据权利要求1 ‑6中任一项所述一种搭载在无人机上的水果自动采收装置的控制方 法， 其特征在于， 包括下述 步骤： 无人机带动水果自动采收装置飞行到第一棵果 树前； 采用RGB‑D相机采集 果实的RGB图像和深度图像， 输入给微型处 理器；权　利　要　求　书 1/2 页 2 CN 114916318 A 2微型处理器上运行模糊图像判断程序， 只保留清晰图像； 微型处理器上运行水果定位程序， 将定位信息处理后转换为无人机飞行的路径信息， 传输给飞行控制器， 控制无 人机飞行到目的地 位置； 光电传感器 检测到水果的结果母枝 进入剪刀中间时， 向微型处 理器发射信号； 微型处理器收到光电传感器的信号后 运行水果定位程序， 再次定位水果并判断无人机 是否到达目的地 位置； 微型处理器给Arduino开发板发送运行程序信号， Arduino开发板运行程序后启动继电 器开关闭合； 直流电机启动， 通过丝杆联动套筒， 套筒带动钢条， 钢条带动剪刀的一个刀片运动， 剪 断水果的结果母枝； 剪刀上的夹持装置 夹紧水果的结果母枝， 并且给飞行控制器发送信号； 无人机飞行到水果收集筐上 方， 打开剪刀， 水果 落入水果收集筐中， 完成水果采摘。 8.根据权要求7所述的控制方法， 其特征在于， 所述微型处理器上运行模糊图像判断程 序， 只保留清晰图像， 具体为： 将RGB‑D相机实时采集的RGB图像经过LoG算子处理并计算得到RGB图像的灰度方差， 如 果灰度方差值低于预先设定的阈值k， 就可以自动判定为模糊图像， 需要重新采集图像再做 判断， 直到所采集 RGB图像的灰度方差值高于阈值k， 才能将此清晰的RGB图像和深度图像作 为输入图像。 9.根据权要求7所述的控制方法， 其特征在于， 所述微型处理器上运行水果定位程序， 将定位信息处 理后转换为无 人机飞行的路径信息， 具体为： 微型处理器上运行水果定位程序后， 输出多个备选水果果实的最大外接矩形框并且给 出相应的置信度值， 将所有置信度大于0.75的矩形框标记的区域保存， 获得水果果 实在RGB 图像中的像素坐标； 将此坐标映射到优化的深度图像上， 以提取果 实的空间信息， 通过融合 果实在RGB图像中的像素坐标和在深度图像上提取的深度信息， 获得果 实在RGB‑D相机坐标 系中的空间坐标； 通过RGB ‑D相机和无人机中心的位置关系， 将RGB ‑D相机坐标系中的坐标 转换为无 人机坐标系中的坐标， 即可计算得 出无人机的飞行目的地 坐标。 10.根据权要求7所述的控制方法， 其特征在于， 所述直流电机启动， 通过丝杆联动套 筒， 套筒带动钢条， 钢条 带动剪刀的一侧刀片运动， 剪断水果的结果母枝， 具体为： 直流电机启动后 开始转动， 带动丝杆做圆周运动， 丝杆与套筒之间通过螺纹进行连接， 套筒在丝杆上做水平运动， 套筒与钢条固定在一起， 钢条与剪刀的一侧刀片固定， 此时剪刀 的一侧刀片做类似圆弧运动， 与剪刀的另一侧固定刀片闭合， 剪断水果的结果母枝。权　利　要　求　书 2/2 页 3 CN 114916318 A 3