(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211193531.8 (22)申请日 2022.09.28 (71)申请人 中国船舶集团有限公司第七一 一研 究所 地址 201108 上海市闵行区华宁路31 11号 (72)发明人 谢荀　赵思恒　姜勇　 (74)专利代理 机构 深圳紫藤知识产权代理有限 公司 44570 专利代理师 黄威 (51)Int.Cl. G06V 20/05(2022.01) G06V 20/52(2022.01) G06V 20/70(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01)G06V 10/82(2022.01) G06T 7/73(2017.01) G06T 7/593(2017.01) G06T 17/00(2006.01) (54)发明名称 水下生物监测方法、 装置及存 储介质 (57)摘要 本发明公开了一种水下生物 监测方法、 装置 及存储介质， 其中， 所述方法包括： 通过设置在水 下预设深度的双镜头摄像机获取鱼的图像信息； 基于深度神经网络得到鱼体轮廓， 对鱼体轮廓进 行校正和筛选以得到真实鱼体轮廓； 确定真实鱼 体轮廓的位姿信息， 进而 得到图像坐标系中的位 置信息； 基于镜头目标图像得到真实鱼体轮廓在 世界坐标系中的三维点云数据； 基于三维点云数 据和位置信息得到鱼体特征参数。 本发明所提供 的技术方案能够解决现有技术中采用声纳探测 方法对处于自由状态下的水产品进行检测时， 存 在信号易受干扰而导致测量精度较低的技术问 题。 本发明通过双镜头摄像机采集的图像对水下 多种类的生物进行识别， 能够更加准确地监测水 产品的生长 状态。 权利要求书3页 说明书11页 附图2页 CN 115512215 A 2022.12.23 CN 115512215 A 1.一种水 下生物监测方法， 其特 征在于， 所述方法包括： 通过设置在水下预设深度的双镜头摄像机获取多种鱼类的图像信息， 其中， 所述图像 信息包括所述双镜头摄像机的第一镜头获取的第一镜头图像以及第二镜头获取的第二镜 头图像； 使用深度神经网络对所述第一镜头图像进行图像实例分割以得到所述多种鱼类对应 的多个鱼体轮廓， 并在所述多个鱼体轮廓中筛除异常鱼体轮廓以得到多个目标鱼体轮廓， 基于距离校正 参数对所述多个目标鱼体 轮廓进行 校正以得到多个真实鱼体 轮廓； 基于最小外接矩形方法确定所述多个真实鱼体轮廓的每一个真实鱼体轮廓的位姿信 息， 并基于所述 位姿信息确定所述每一个真实鱼体 轮廓在图像坐标系中的位置信息； 在所述第一镜头图像中确定与所述多个真实鱼体轮廓相对应的第 一镜头目标图像， 以 及在所述第二镜头图像中确定与所述多个真实鱼体轮廓相对应的第二镜头目标图像， 基于 所述第一镜头目标图像和所述第二镜头目标图像得到所述多个真实鱼体轮廓在世界坐标 系中的三维点云数据； 针对所述每一个真实鱼体轮廓， 基于所述三维点云数据和所述位置信 息得到该真实鱼 体轮廓对应的鱼体特 征参数。 2.如权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 在所述通过设置在水下预设深度的双镜头摄像机获取多种鱼类的图像信 息之前， 通过 所述双镜 头摄像机获取 所述多种鱼类的第一镜 头训练图像和第二镜 头训练图像； 基于所述第一镜 头训练图像和所述第二镜 头训练图像得到鱼类实例分割数据集； 基于所述鱼类实例分割数据集在所述深度神经网络上进行迁移训练以得到训练后的 深度神经网络模型。 3.如权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 在所述使用深度神经网络对所述第一镜头图像进行图像实例分割以得到所述多种鱼 类对应的多个鱼体轮廓之前， 对所述第一镜头图像进 行图像预 处理操作以得到数据增强后 的第一镜 头图像， 其中， 所述图像预处 理操作包括图像灰度化操作和图像去噪声操作。 4.如权利要求3所述的方法， 其特征在于， 所述使用深度神经网络对所述第 一镜头图像 进行图像实例分割以得到所述多种鱼类对应的多个鱼体 轮廓包括： 通过所述深度神经网络模型对所述第一镜头图像进行图像实例分割以得到实例分割 结果； 基于所述实例分割结果得到所述第一镜 头图像对应的鱼体原 始尺寸； 获取所述第 一镜头的摄像机 内参矩阵， 基于所述摄像机 内参矩阵和所述鱼体原始尺寸 得到所述多个鱼体 轮廓。 5.如权利要求4所述的方法， 其特征在于， 所述通过所述深度神经网络模型对所述第 一 镜头图像进行图像实例分割以得到实例分割结果包括： 将所述第一镜头图像输入到所述深度神经网络模型中， 通过所述深度神经网络模型对 应的卷积神经网络对所述第一镜头图像进 行编码以得到高维特征图， 对所述高维特征图进 行采样以得到原分辨率掩码图， 对原分辨率掩码图进 行逐像素分割以得到所述实例分割结 果。 6.如权利要求1所述的方法， 其特 征在于， 所述方法还 包括：权　利　要　求　书 1/3 页 2 CN 115512215 A 2在所述通过设置在水下预设深度的双镜头摄像机获取多种鱼类的图像信 息之前， 通过 所述双镜 头摄像机获取设置在多个预设位置处的多个标定目标的第一镜 头标定图像； 获取所述多个标定目标的每一个标定目标与所述第一镜 头之间的距离信息； 基于距离校正算法和所述距离信息对所述第一镜头标定图像进行校正以得到与所述 第一镜头相对应的所述距离校正 参数。 7.如权利要求6所述的方法， 其特征在于， 所述基于所述第 一镜头目标图像和所述第 二 镜头目标图像得到所述多个真实鱼体 轮廓在世界坐标系中的三维点云数据包括： 基于双目立体匹配算法计算所述第一镜头目标图像和所述第二镜头目标图像之间的 图像视差参数， 基于所述图像视 差参数和所述多个真实鱼体 轮廓得到所述 三维点云数据。 8.如权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 在所述通过设置在水下预设深度的双镜头摄像机获取多种鱼类的图像信 息之前， 通过 所述双镜头摄像机获取所述多种鱼类对应的病鱼图像信息， 并基于所述病鱼图像信息 建立 病鱼数据集； 基于所述病鱼数据集在所述深度神经网络上进行迁移训练以得到训练后的深度神经 网络模型。 9.如权利要求1所述的方法， 所述基于所述三维点云数据和所述位置信息得到该真实 鱼体轮廓对应的鱼体特 征参数包括： 基于所述三维点云数据确定所述每一个真实鱼体轮廓的多个解剖学坐标点， 基于所述 多个解剖学坐标点确定鱼体的形状参数和尺寸 参数。 10.如权利要求9所述的方法， 其特 征在于， 所述方法还 包括： 在所述基于所述多个解剖学坐标点确定鱼体的形状参数和尺寸参数之后， 基于所述每 一个真实鱼体轮廓的形状参数确定鱼类型信息， 基于所述鱼类型信息确定鱼龄信息， 基于 所述鱼类型信息和所述尺寸 参数确定鱼重量信息 。 11.一种水 下生物监测装置， 其特 征在于， 所述装置包括： 图像信息获取模块， 用于通过设置在水下预设深度的双镜头摄像机获取多种鱼类的图 像信息， 其中， 所述图像信息包括所述双镜头摄像机的第一镜头获取 的第一镜头图像以及 第二镜头获取的第二镜 头图像； 真实鱼体轮廓获得模块， 用于使用深度神经网络对所述第 一镜头图像进行图像实例分 割以得到所述多种鱼类对应的多个鱼体轮廓， 并在所述多个鱼体轮廓中筛除异常鱼体轮廓 以得到多个目标鱼体轮廓， 基于距离校正参数对所述多个目标鱼体轮廓进 行校正以得到多 个真实鱼体 轮廓； 位置信息确定模块， 用于基于最小外接矩形方法确定所述多个真实鱼体轮廓的每一个 真实鱼体轮廓的位姿信息， 并基于所述位姿信息确定所述每一个真实鱼体轮廓在图像坐标 系中的位置信息； 三维点云数据获得模块， 用于在所述第 一镜头图像中确定与 所述多个真实鱼体轮廓相 对应的第一镜头目标图像， 以及在所述第二镜头图像中确定与所述多个真实鱼体轮廓相对 应的第二镜头目标图像， 基于所述第一镜头目标图像和所述第二镜头目标图像得到所述多 个真实鱼体 轮廓在世界坐标系中的三维点云数据； 鱼体特征参数确定模块， 用于针对所述每一个真实鱼体轮廓， 基于所述三维点云数据权　利　要　求　书 2/3 页 3 CN 115512215 A 3