(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211266493.4 (22)申请日 2022.10.17 (71)申请人 仲恺农业工程学院 地址 510220 广东省广州市海珠区纺织路 东沙街24 号大院 申请人 岭南现代农业科 学与技术广东省实 验室 (72)发明人 朱立学　赖颖杰　官金炫　伍荣达　 张世昂　陈品岚　郭晓耿　莫冬炎　 张智浩　陈家政　邓文乾　 (74)专利代理 机构 重庆晶智汇知识产权代理事 务所(普通 合伙) 50229 专利代理师 施永卿 (51)Int.Cl. A01K 39/012(2006.01)G06V 20/56(2022.01) G06V 10/26(2022.01) G06V 10/82(2022.01) (54)发明名称 基于深度神经网络的双机械臂肉鸽饲喂系 统 (57)摘要 本申请提供一种基于深度神经网络的双机 械臂肉鸽饲喂系统， 包括底盘车模块、 喂料模块、 送料模块与控制运算模块； 底盘车模块包括底盘 车行走机构与第一深度相机； 喂料模块包括双机 械臂、 第二深度相机、 超声波测距传感器与接料 盒； 送料模块设置在双机械臂之间且送料模块与 接料盒连通； 运算控制模块分别与底盘车模块、 喂料模块、 送料模块电连接。 该饲喂系统通过三 维视觉感知用于底盘车的导航与料槽的识别定 位， 利用视觉信号控制底盘车的启停与送料模块 的送料， 利用双机械臂实现协作饲喂， 从而完成 肉鸽的全自动喂养， 提高肉鸽养殖的料肉比、 降 低人力成本、 提高喂养效率与精准度。 权利要求书3页 说明书9页 附图3页 CN 115530092 A 2022.12.30 CN 115530092 A 1.一种基于深度神经网络的双机械臂肉鸽饲喂系统， 其特征在于： 包括底盘车模块、 喂 料模块、 送料模块与控制运算模块； 底盘车模块包括底盘车行走机构与第一深度相机， 第一 深度相机安装在底盘车行走机构的前沿 中部； 喂料模块包括双机械臂、 第二深度相机、 超声 波测距传感器与接料盒， 双机械臂分别安装在底盘车行走结构的左、 右两侧且双机械臂侧 方分别安装一第二深度相 机与超声波测距传感器， 双机械臂末端分别 设置一接料盒； 送料 模块设置在双机械臂之间且送料模块与接料盒连通； 运算控制模块分别与底盘车模块、 喂 料模块、 送料模块电连接 。 2.根据权利要求1所述的一种基于深度神经网络的双机械臂肉鸽饲喂系统， 其特征在 于： 所述双机 械臂的底座(即机 械臂与底盘车 行走机构连接处)中心 距离为0.7～1.0m。 3.根据权利要求2所述的一种基于深度神经网络的双机械臂肉鸽饲喂系统， 其特征在 于： 所述送料模块与接料盒之间采用星型 下料阀， 且接料盒采用风车 形料盒。 4.一种基于深度神经网络的双机械臂肉鸽饲喂方法， 采用如权利要求3所述的系统， 其 特征在于： 包括： 步骤S100： 将饲喂系统放置在待饲喂 的肉鸽养殖棚内， 上电， 进行饲喂系统初始化； 步骤S200： 启动第一深度相机， 运算控制模块通过第一深度相机采集的数据、 获得底盘 车行走机构的导航线； 同时， 运算模块通过第一深度相机采集的数据、 获得料槽侧面中心 点 在第一深度相机坐标系的相对位置； 步骤S300： 运算控制模块启动底盘车行走机构按照步骤S200中的导航线运行， 到达步 骤S200中获得的料槽位置后， 底盘车 行走机构停止运行； 步骤S400： 启动两侧的第二深度相机与超声波测距传感器， 获取料槽正面中心点在第 二深度相 机坐标系的相对位置及料槽内剩 料情况； 然后， 运算控制模块将获得的料槽正面 中心点转换为机 械臂坐标系中的三维坐标， 规划机 械臂控制轨 迹； 步骤S500： 运算控制模块根据步骤S400中的剩料情况打开星型下料阀， 通过喂料模块 向料槽盒内定量送料； 之后， 运算控制模块根据步骤S400中的机械臂控制轨迹启动机械臂， 依次完成饲喂动作； 步骤S600： 重复进行步骤S20 0～S500， 直至完成一列鸽笼 料槽的投喂。 5.根据权利要求4所述的一种基于深度神经网络的双机械臂肉鸽饲喂方法， 其特征在 于： 所述步骤S200中获取底盘车 行走机构的导 航线具体为： 步骤S201： 首先， 通过第一深度相机获取鸽场实地环境、 多种真实光照条件下的640* 480的养殖道路图片5 000张； 然后， 针对 采集到的图像进行 预处理与增强处 理； 步骤S202： 采用Unet作为基础框架搭建语义分割网络模型， 将步骤S201中经预处理和 增强处理后的图像、 通过labelimg工具进行标注后制成第一数据集； 之后， 将第一数据集放 入神经网络进 行模型迭代训练， 训练后的模型能够分割道路轮廓； 然后， 将分割出来的道路 轮廓进行图像处 理后， 得到道路边 缘点坐标信息； 步骤S203： 将步骤S202中的道路边缘点坐标信息分为左边缘点(xl， yl)、 右边缘点(xr， yr)， 获取导 航点坐标(xm， ym)， 具体为： 权　利　要　求　书 1/3 页 2 CN 115530092 A 2ym＝yl＝yr； 式中： d表示道路宽度； 拟合导航点坐标[(xm1,ym1),…， (xmi,ymi),…， (xmn,ymn)]， 获得导 航线： y＝ax+b； 式中： 表示所有导 航点坐标xm的平均值； 表示所有导 航点坐标ym的平均值。 6.根据权利要求4或5所述的一种基于深度神经网络的双机械臂肉鸽饲喂方法， 其特征 在于： 所述 步骤S200中获得料槽侧面中心点在第一深度相机坐标系的相对位置具体为： 步骤S204： 首先， 通过第一深度相机获取鸽场实地环境、 多种真实光照条件下的640* 360的料槽侧面图片5 000张； 然后， 针对 采集到的图像进行 预处理与增强处 理； 步骤S205： 采用Yolov5作为基础框架搭建目标识别网络模型， 将步骤S204中经预处理 和增强处理后的图像、 通过labelimg工具进 行标注后制成第二数据集； 之后， 将第二数据集 放入神经网络进行模 型迭代训练， 训练后的模型能够从侧面识别料槽； 然后， 将识别出来的 料槽侧面图像进行图像处理后， 得到料槽侧 面识别框的坐标信息； 取料槽侧 面识别框的中 心点， 获得 料槽侧面中心点在第一深度相机坐标系的相对位置： 式中： zp表示深度信息； u、 v表示料槽侧面图像识别框 的中心点坐标； dx、 dy表示像素尺 寸大小； fx、 fy表示相机在x轴、 y轴的成像焦距； (xp， yp， zp)表示料槽侧面 中心点在第一深度 相机坐标系的三维位置 。 7.根据权利要求5或6所述的一种基于深度神经网络的双机械臂肉鸽饲喂方法， 其特征 在于： 所述步骤S400中通过第二深度相机获取料槽正面中心 点在第二深度相机坐标系的相 对位置与步骤S200中通过第一深度相 机获取料槽侧 面中心点在第一深度相机坐标系的相 对位置的方法一 致。 8.根据权利要求4所述的一种基于深度神经网络的双机械臂肉鸽饲喂方法， 其特征在 于： 所述步骤S400中获取料槽内剩料情况的方法具体为： 步骤S401： 通过两侧的第二深度相机分别获取两侧的图像、 并截取料槽图像， 对图像进 行降噪处 理；权　利　要　求　书 2/3 页 3 CN 115530092 A 3