(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210440398.5 (22)申请日 2022.04.25 (71)申请人 扬州大学 地址 225009 江苏省扬州市大 学南路88号 (72)发明人 沙志清　朱毅　毕易　戴悦　 纪正一　 (74)专利代理 机构 南京苏科专利代理有限责任 公司 32102 专利代理师 董旭东　季雯 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) G06F 3/01(2006.01) (54)发明名称 一种基于图像识别的智能设备手势识别控 制方法 (57)摘要 本发明公开了一种基于图像识别的智能设 备手势识别控制方法， 包括： 1） 通过摄像头捕捉 用户图像， 基于OpenCV2对用户身份及手部大致 位置进行识别； 2） 对手部矩形部分的图像信息进 行灰度化、 二值化操作， 求手部图形的中心距判 断掌心位置， 采用CNN模型对手部关键点位置坐 标分析； 3） 将步骤2） 中得到的手部关键点位置坐 标， 通过计算其二维角度关系和其他运动信息， 用余弦相似度的方法与用户预设的操作手势进 行比较判断， 实现手势分析； 4） 根据分析得到的 手势， 依据用户设置的控制逻辑向设备发送控制 指令， 完成通过手势隔空操作设备。 本发明使用 神经网络识别手部位置和姿态， 引入对手势的归 纳分析， 通过识别结果对智能设备进行快捷控 制。 权利要求书3页 说明书6页 附图3页 CN 114792443 A 2022.07.26 CN 114792443 A 1.一种基于图像识别的智能设备手势 识别控制方法， 其特 征在于， 包括以下步骤： 步骤1)通过摄 像头捕捉用户图像， 基于OpenCV 2对用户身份及手部大致 位置进行识别； 步骤2)对手部矩形部分的图像信息进行灰度化、 二值化操作， 求手部图形的中心距判 断掌心位置， 采用CN N模型对手部关键点 位置坐标分析； 步骤3)将步骤2)中得到的手部关键点位置坐标， 通过计算其二维角度关系和其他运动 信息， 用余弦相似度的方法与用户预设的操作手势进行比较判断， 实现手势分析； 步骤4)根据分析得到的手势， 依据用户设置的控制逻辑向设备发送控制指令， 完成通 过手势隔空操作设备。 2.根据权利要求1所述的一种基于图像识别的智能设备手势识别控制方法， 其特征在 于， 所述步骤1)具体包括： 步骤1.1)使用者通过摄像头进行人脸 图像采集， 通过人脸识别模型判断使用者身份； 若检测到使用者 为授权用户， 执 行步骤1.2)； 步骤1.2)基于OpenCV2利用mediapipe模型， 定义一个hand函数对输入图像进行初步分 割， 得到使用者的手部矩形的位置信息； 其中获得的手部矩形位置信息为： 矩形左上角坐标 landmarks(x， y)， 矩形 大小shape(w idth， height)。 3.根据权利要求2所述的一种基于图像识别的智能设备手势识别控制方法， 其特征在 于， 所述步骤2)具体包括： 步骤2.1)将步骤1.2)手部矩形的原图像进行切割， 通过视觉心理学公式(1)进行灰度 化处理； G(x， y)＝r(x， y)*2 99+g(x， y)* 587+b(x， y)*1 14/1000    (1) 步骤2.2)通过阈值分割法将该部分图像width ×height的像素信息进行二值化， 得到 只由0， 25 5灰阶组成的二维矩阵Mw， h； 其中切割阈值使用Renyi熵计算公式(2)进行计算： K＝argmax(HA(k)+HB(k))    (2) K为二值化的切割阈值， 二 值化的方法见公式(3)； 步骤2.3)对于步骤2.2)得到的二值化矩阵Mw， h， 取其中面积最大的值为0的区域， 其0阶 矩表示为m00＝∫ ∫f(x， y)dxdy； 通过公式(4)计算中心矩来预测掌心位置坐标[locate_x， locate_y]； m10＝∑x∑yxf(x， y) 权　利　要　求　书 1/3 页 2 CN 114792443 A 2步骤2.4)使用CNN训练具体手势识别的模型， 手势图片经过处理得到的灰度信息矩阵 作为网络模型的输入， 通过公式(5)进行 卷积运算得到特 征矩阵图； 其中x(n)是激励信号， h(n)是单位样值响应， *表示求卷积； 卷积层后选择RELU函数， 从 而引入非线性特征， 接着采用平均池化的方法减少训练的参数量， 最后通过全连接层得到 结果 其中p(y＝j|x； θ )表示输出y分类的j的概率， θ为网 络参数， x为特 征向量； 步骤2.5)训练结束后的模型参数保存， 对测试数据集进行测试， 对于所有的测试数据， 当测试准确率达 到95％以上则可留待 使用； 步骤2.6)使用步骤2.4)中得到的手势识别模型参数， 加载tensorflow中的网络模型， 得到此时输入图像中的手部关键点 坐标。 4.根据权利要求3所述的一种基于图像识别的智能设备手势识别控制方法， 其特征在 于， 所述步骤3)具体包括： 步骤3.1)将步骤2.6)中得到的手部关键点位置坐标进行二维分析， 利用公式(6)通过 向量关系求出各点连线之间的夹角， 用角度关系来表示手部姿势的二维特征， 计算得到手 指弯曲角度以及相邻手指间隔角度； 步骤3.2)预定义各类手势对应的二维特征， 通过将手指弯曲角度以及相邻手指间夹角 角度与预设的姿势信息进行对比， 分析 得到图像中的静态手部姿势； 步骤3.3)将步骤3.2)得到的手势姿势和步骤2.3)得到的掌心位置坐标作为一组数据， 对两秒内的识别数据进行周期性分析， 得到手部姿势、 掌心位置偏移方向、 偏移量、 移动速 度； 步骤3.4)根据识别得到的手部区域大小估计用户手部与摄像头的距离， 对得到掌心位 置偏移方向、 偏移量、 移动速度进行标准化， 得到最终的判断向量； 利用余弦相似度的计算 方法， 如公式(8)所示， 求判断向量与预设的各种操作手势的标准向量之间的相似度， 判断 具体的动态手势或 组合手势； 其中A， B分别为判断向量和标准向量， 其分量的值Ai， Bi分别为 各参数与权 重的乘积， 其中静态手势gesture与标准向量中的值相同则取1， 否则取0； 5.根据权利要求4所述的一种基于图像识别的智能设备手势识别控制方法， 其特征在 于， 所述步骤4)具体包括： 控制信号输出， 完成通过手势隔空操作设备； 根据步骤3.4)中得 到的手势进行对应的操作， 根据不同操作系统所提供 的交互接口， 直接对智能设备发出相 对的控制指令 。 6.根据权利要求4所述的一种基于图像识别的智能设备手势识别控制方法， 其特征在权　利　要　求　书 2/3 页 3 CN 114792443 A 3