(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210920451.1 (22)申请日 2022.08.02 (71)申请人 北京理工华汇智能科技有限公司 地址 102629 北京市大兴区中关村科技园 区大兴生物医药产业基地永旺西路26 号院6号楼四层5 07室 (72)发明人 张伟民　张棣　张泽宇　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 王爱涛 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/44(2022.01) G06V 10/26(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于深度学习的静态手势识别方法及 系统 (57)摘要 本发明涉及一种基于深度学习的静态手势 识别方法及系统， 所述识别方法包括如下步骤： 将带有静态手势的待识别图像输入所述主干网 络进行特征提取， 获得所述待识别图像的特征 图； 将所述特征图分别输入所述检测网络和所述 分割网络， 利用所述检测网络对 所述特征图进行 目标检测， 获得预测框， 利用所述分割网络对所 述特征图进行前景分割， 获得前景热图， 并利用 所述预测框对 所述前景热图进行裁剪， 获得目标 热图； 将所述目标热图输入所述 分类网络进行静 态手势的识别。 本发明基于深度学习神经网络模 型实现了静态手势的识别， 并且检测网络和分割 网络可以并行执行， 相比于级联式神经网络， 拥 有更小的参数量、 更短的实行时间和更高的效 率。 权利要求书3页 说明书12页 附图6页 CN 115147932 A 2022.10.04 CN 115147932 A 1.一种基于深度学习的静态手势识别方法， 其特征在于， 所述识别方法基于训练后的 深度学习神经网络模型， 所述深度学习神经网络模型包括第一神经网络子模型和 第二神经 网络子模型， 所述第一神经网络子模型包括主干网络、 及与所述主干网络连接且并行设置 的检测网络和分割网络， 所述第二神经网络 子模型包括分类网络； 所述识别方法包括如下步骤： 将带有静态手势的待识别图像输入所述主干网络进行特征提取， 获得所述待识别图像 的特征图； 将所述特征图分别输入所述检测网络和所述分割网络， 利用所述检测网络对所述特征 图进行目标检测， 获得预测框， 利用所述分割网络对所述特征图进 行前景分割， 获得前景热 图， 并利用所述预测框对所述前景热图进 行裁剪， 获得目标热图； 所述目标为用于表征静态 手势的手部区域， 所述目标 热图为手部区域的热图； 将所述目标 热图输入所述分类网络进行静态手势的识别。 2.根据权利要求1所述的基于深度学习的静态手势识别方法， 其特征在于， 所述主干网 络包括依次连接的卷积层Conv1_0、 最大池化层Maxpool1 ‑1、 残差块Block1、 残差块Block2、 残差块Block3和 残差块Block4； 所述卷积层Conv1_0和所述最大池化层Maxpool1 ‑1之间设 置有BN+Relu模块。 3.根据权利要求2所述的基于深度学习的静态手势识别方法， 其特征在于， 所述残差块 Block1、 所述残差块Block2、 所述残差块Block3和所述残差块Block4均包括卷积层Conv1_ 1、 卷积层Conv1_2、 第一特征融合模块、 卷积层Conv1_3、 卷积层Conv1_4和第二特征融合模 块； 所述卷积层Conv1_1的输入端与图像输入端连接； 所述卷积层Conv1_1的输出端与所述 卷积层Conv1_2的输入端 连接， 所述卷积层Conv1_2的输出端与第一特征融合模块的一个输 入端连接， 所述第一特征融合模块的另一个输入端与所述卷积层Conv1_1的输入端 连接， 所 述第一特征融合模块的输出端与所述卷积层Conv1_3的输入端 连接， 所述卷积层Conv1_3的 输出端与所述卷积层Conv1_4的输入端 连接， 所述卷积层Conv1_4的输出端与所述第二特征 融合模块的一个输入端连接， 所述第二特征融合模块的另一输入端与所述卷积层Conv1_3 的输入端连接， 所述第二特 征融合模块的输出端与图像输出端连接； 所述卷积层Conv1_1的输出端和所述卷积层Conv1_2的输入端之间， 及所述卷积层 Conv1_3的输出端和所述卷积层Co nv1_4的输入端之间均设置有BN+Relu模块； 所述卷积层Conv1_2的输出端与所述第一特征融合模块的一个输入端之间， 及所述卷 积层Conv1_4的输出端与所述第二特 征融合模块的一个输入端之间均设置有BN模块； 所述第一特征融合模块的输出端与卷积层Conv1_3的输入端之间， 及所述第二特征融 合模块的输出端与图像输出端之间均设置有Relu模块； 所述残差块Bl ock2、 所述残差块Bl ock3和所述残差块Bl ock4均还包括卷积层Co nv1_5； 所述卷积层Conv1_5设置在卷积层Conv1_1的输入端与所述第一特征融合模块的另一 个输入端之间。 4.根据权利要求1所述的基于深度学习的静态手势识别方法， 其特征在于， 所述检测网 络包括依次连接的卷积层Conv2_1、 反卷积层deConv2_1、 卷积层Conv2_2、 反卷积层 deConv2_2、 卷积层Co nv2_3和反卷积层deCo nv2_3；权　利　要　求　书 1/3 页 2 CN 115147932 A 2所述反卷积层deConv2_3的输出端还分别连接卷积层Conv2_4_1的输入端、 卷积层 Conv2_4_2的输入端和卷积层Co nv2_4_3的输入端； 所述卷积层Conv2_4_1的输出端连接卷积层Conv2_5_1的输入端， 所述卷积层Conv2_4_ 2的输出端连接卷积层Conv2_5_2的输入端， 所述卷积层Conv2_4_3的输出端连接卷积层 Conv2_5_3的输入端； 所述卷积层Conv2_5_1的输出端用于输出目标的中心点， 所述卷积层 Conv2_5_2的输出端用于输出中心点的偏移量， 所述卷积层Conv2_5_3的输出端用于输出目 标的边框尺寸； 所述中心点、 所述中心点偏移量和所述 边框尺寸均为所述预测框的特 征； 所述卷积层Conv2_1与所述反卷积层deConv2_1之间、 所述反卷积层deConv2_1与所述 卷积层Conv2_2之间， 所述卷积层Conv2_2与所述反卷积层deConv2_2之间， 所述反卷积层 deConv2_2与所述卷积层Conv2 _3之间， 及所述卷积层Conv2 _3与所述反卷积层deConv2 _3之 间均设置有BN+Relu模块； 所述卷积层Conv2_4_1与所述卷积层Conv2_5_1之间， 所述卷积层Conv2_4_2与所述卷 积层Conv2_5_2之间， 所述卷积层Conv2_4_3与 所述卷积层Conv2_5_3之间均设置有Relu模 块。 5.根据权利要求1所述的基于深度学习的静态手势识别方法， 其特征在于， 所述分割网 络包括与主干网络的输出端连接的第一上采样层、 自适应平均池化层Avgpool1、 自适应平 均池化层Avgpo ol2、 自适应平均池化层Avgpo ol3和自适应平均池化层Avgpo ol4； 所述分割网络还包括分别与自适应平均池化层Avgpool1、 自适应平均池化层 Avgpool2、 自适应平均池化层Avgpool3和自适应平均池化层Avgpool4连接的卷积层Conv3_ 1_1、 卷积层Conv3_1_2、 卷积层Conv3_1_3和卷积层Conv3_1_4， 及分别 与卷积层Conv3_1_1、 卷积层Conv3_1_2、 卷积层Conv3_1_3和卷积层Conv3_1_4连接的第二上采样层、 第三上采样 层、 第四上采样层和第五上采样层； 所述分割网络还包括与第 一上采样层、 第二上采样层、 第 三上采样层、 第四上采样层和 第五上采样层连接的卷积层Conv3_2， 及卷积层Conv3_2之后依次连接的反卷积层deConv3_ 1、 反卷积层deCo nv3_2、 反卷积层deCo nv3_3、 反卷积层deCo nv3_4和卷积层Co nv3_3； 卷积层Conv3_1_1与第二上采样层之间， 卷积层Conv3_1_2与第三上采样层之间， 卷积 层Conv3_1_3和第四上采样层之间， 卷积层Conv3_1_4和第五上采样层之间均设置有Relu模 块； 卷积层Conv3_2与反卷积层deConv3_1之间， 反卷积层deConv3_1与反卷积层deConv3_2 之间， 反卷积层deConv3_2与反卷积层deConv3_3之间， 反卷积层deConv3_3与反卷积层 deConv3_4之间， 及反卷积层deCo nv3_4与卷积层Co nv3_3之间均设置有BN+Relu模块。 6.根据权利要求1所述的基于深度学习的静态手势识别方法， 其特征在于， 所述分类网 络包括依次连接的第一基本单元、 第二基本单元、 第三基本单元、 第四基本单元、 第 五基本 单元、 第一全连接层、 第二全连接层和softmax分类层； 所述第一基本单元、 所述第二基本单元和所述第三基本单元均包括依次连接卷积层 Conv1_1和最大池化层Maxpool1_1， 及设置在卷积层Conv4_1与最大池化层Maxpoo