(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221083901 1.3 (22)申请日 2022.07.18 (71)申请人 吉林大学 地址 130012 吉林省长 春市长春高新技术 产业开发区前进大街269 9号 (72)发明人 刘振泽　董迪锴　张家晨　陈金炎　 孙吉　王成喜　胡海洋　 (74)专利代理 机构 长春吉大专利代理有限责任 公司 22201 专利代理师 朱世林 (51)Int.Cl. G06V 20/05(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01)G06V 10/75(2022.01) G06T 7/90(2017.01) G06T 7/11(2017.01) G06T 5/40(2006.01) G06T 5/00(2006.01) (54)发明名称 一种基于图像处理和神经网络融合的水生 物识别与匹配方法 (57)摘要 本发明公开了一种基于图像处理和神经网 络融合的水生物识别与匹配方法， 属于水下机器 人， 海洋资源开发领域。 在水下环境中， 由于红光 通道被衰减， 摄像设备采集的图片普遍偏绿， 并 且针对多种水生物识别， 识别难处理慢。 现有的 算法， 基于采集的水下图像直接识别， 准确性能 较差， 并且深度估计是针对整张图， 处理速度较 慢。 本发明针对原始水下图像， 进行红光通道补 偿， 图像预处理实现水下图像的复原。 接着使用 专用的DarkNet神经网络针对水下多种水生物进 行识别分类。 最后基于双目摄像设备， 使用DBNet 中识别符合阈值要求的目标进行ORB匹配得到匹 配特征方便后续双目相机计算深度。 与现有的算 法相比， 使用方便， 复原的图像质量、 水下生物识 别率和估计深度精度处 理速度都得到提高。 权利要求书3页 说明书15页 附图6页 CN 115223032 A 2022.10.21 CN 115223032 A 1.一种基于 图像处理和神经网络融合的水生物识别与匹配方法， 其特征在于， 包括以 下步骤： 步骤一、 图像预处理模块， 其作用是， 为了解决水下图像失真问题， 增加图像的对比度， 并且可以提高后续分类识别准确率， 将采用摄像头采集的海底原始图像I， 通过红光补偿模 块、 白平衡模块、 和对比度增强模块， 输出Ibalance； 步骤二、 水生物识别模块， 起作用是， 为了减少处理速度并提高多种水生物识别正确 率， 采用DBNet神经网络， 针对 水生物分类任务自制数据集， 针对DBNet神经网络基于 yolov3 网络提出DBL 最小单元以及DB最小模块， 并改进损失函数； 步骤三、 水下双目图像匹配算法， 起作用是， 为了减少处理量， 加快整体匹配速度提高 整体匹配准确率， 采用基于识别框约束性ORB匹配算法， 将整体匹配区域局限于左右图像符 合阈值输出的识别框区域； 并针对符合阈值识别框进行ORB特 征匹配。 2.根据权要求1所述的一种基于图像处理和神经网络融合的水生物识别与匹配方法， 其特征在于， 步骤一所述图像预处 理模块的实现过程如下： (1)红光补偿模块， 根据水下环境， 只需针对红光通道进行对手通道处理， 设原始输入 图像为I， Ir， Ig， Ib是原始图像的红色、 绿色和蓝色颜色通道集合， Ir(x， y)， Ig(x， y)， Ib(x， y) 代表红色、 绿色和 蓝色通道尺寸W ×H图像的一个像素点， 其中x和y分别为图像像素水平索 引和垂直索引， 并且通过归一化将数值限制在[0， 1]范围内得到{Ir′， Ig′， Ib′}， 计算绿色通 道均值和红光补偿； (2)白平衡模块， 白平衡改进后图像Iwhite＝{Ir″， Ig″， Ib″}； (3)对比度增 强模块， 对于水下图像来说， 对比度增 强是将对象分离出来的过程， 使用 伽马校正和Pri witt锐化来提高图像对比度。 3.根据权利要求1所述的一种基于图像处理和神经网络融合的水生物识别与匹配方 法， 其特征在于， 步骤二所述水生物 识别模块的实现过程如下： (1)DBNet的基本模块 为DBL， 包 含一个卷积层， 一个BN层和Mish 激活层； (2)组成DBNet的子模块为DB， 在子模块中， 每一层的输入都是该层 上面所有层的输出， 即该模块中的所有浅层特征都能直接输入到后续子模块中， 使得模块内的有效特征数据均 能得到重用， 为了控制计算量， 大大减少了原本网络结构DBL模块中的卷积层输出的特征图 数量； (3)DBNet定位损失函数CI oU公式如下： 其中， p1， p2分别代表 预测框和真实框的中心点， ρ 表示计算两个中心点间的欧式距离， l 为两个边界框最小闭合区域的对角线长度， αv为惩罚项系数， 有加快网络收敛的效果， α 为 权重函数， v为度量长 宽比的相似性。 4.根据权利要求1所述的一种基于图像处理和神经网络融合的水生物识别与匹配方 法， 步骤三所述水 下双目图像匹配算法的主 要实现过程如下： (1)设左图识别到的区域图设为Pl， 右图检测到的区域设为Pr， 计算Pl与Pr之间的距离， 设置为∈为2.6， 距离小于阈值∈， 如果符合进入第二 步， 距离公式如下：权　利　要　求　书 1/3 页 2 CN 115223032 A 2(2)特征点提取， 对某一像素点与其周围固定半径的圆上的像素之间的灰度进行比较， 设中心点像素为灰度Ip， 半径为3、 像素数量为16的圆周上的像素点的灰度为Ip→x， ΔI为设 定的灰度阈值， 则周围像素点的分类Sp→x公式如下： 若周围的16点当中， 存在连续的分类为d ‑darker或b ‑brighter的像素点 的数大于N， N 一般取12， 则认为该点为一个可能的特征点， 为了加快速度， 在实际检测的特征提取过程 中， 首先可以选择只比较周围16点中1、 5、 9、 13四处的像素， 若其中像素属于 d或b的数量大 于等于3， 则再对这些像素使用16点检测的方法进一 步验证。 5.根据权利要求2所述的一种基于图像处理和神经网络融合的水生物识别与匹配方 法， 其特征在于， 计算绿色通道均值， 计算公式如下： 则有红光补偿公式， 如下： 其中αg为常数值， 为输入图片经过红光补偿后得到的红光通道值， 代替原有红光通 道， 则有红光 通道改进后图像 6.根据权利要求3所述的一种基于图像处理和神经网络融合的水生物识别与匹配方 法， 其特征在于， 步骤(3)中： α， v的公式如下： 其中Wgl， Hgl分别为真实边界框在固定位置输入图片的宽高， W， H为算 法预测的相对于输 入图片的目标边界框 宽高。 7.根据权利要求3或6所述的一种基于图像处理和神经网络融合的水生物识别与匹配 方法， 其特 征在于， DBNet置信分数损失及类别损失如下： 其中， 上式损失函数引入平衡因子λ， 用来平衡正负样本本身的比例不均， 实验中选取 的λ为0.25， 即正样 本占比较负样 本占比小， 但只添加平衡因子只能解决正负样本不均衡问 题， 无法解决简单与困难样 本的问题， 因此， 又加入参数γ用于调节简单样 本权重减缓的速 率， 当γ为0时， 损失函数即为交叉熵损失函数， 当γ增加时， 调整因子的影响也在增加； 实 验选取γ为2；权　利　要　求　书 2/3 页 3 CN 115223032 A 3