(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210478919.6 (22)申请日 2022.05.05 (71)申请人 北京艺旗网络科技有限公司 地址 100021 北京市朝阳区来广营创远路 36号院11号楼6层6 01室 (72)发明人 林东姝　 (74)专利代理 机构 北京驰纳智财知识产权代理 事务所(普通 合伙) 11367 专利代理师 蒋路帆 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/764(2022.01) G06V 10/762(2022.01) G06V 10/74(2022.01) G06V 10/44(2022.01)G06V 10/25(2022.01) G06T 17/00(2006.01) G06T 7/90(2017.01) G06T 7/73(2017.01) G06T 7/194(2017.01) G06T 7/136(2017.01) G06T 7/11(2017.01) (54)发明名称 一种用于美术作品在线教育的手势识别方 法及装置 (57)摘要 本发明涉及一种用于美术作品在线教育的 手势识别方法及装置， 所述方法包括以下步骤： 利用Kinect传感器构建肤 色聚类椭圆模型， 根据 肤色聚类椭圆模 型对手势图像进行分割， 以实现 对手势图像提取手部； 对分割后的手势图像进行 轮廓简化； 根据简化后的手势 轮廓进行手势指 尖 点特征提取； 将获得的手势指 尖点特征与数据库 进行匹配得到类匹配手势， 计算手势与类匹配手 势的相似度γi， 并根据相似度γi与相似度阈值 γ进行判别， 完成手势识别。 本发明能够在复杂 环境下对手势进行分割， 对于不同用户的手势可 快速识别出手势类型， 交互实时性好， 同时提高 了手势提取和识别工作的可靠性， 能够得到更精 准的识别结果。 权利要求书2页 说明书6页 附图3页 CN 115035592 A 2022.09.09 CN 115035592 A 1.一种用于 美术作品在线教育的手势 识别方法， 其特 征在于： 所述方法包括以下步骤： 利用Kinect传感器构 建肤色聚类椭圆模型， 根据肤色聚类椭圆模型对手势图像进行分 割， 以实现对手势图像提取手部； 对分割后的手势图像进行轮廓简化； 根据简化后的手势轮廓进行手势指尖点特 征提取； 将获得的手势指尖点特征与 数据库进行匹配得到类匹配手势， 计算手势与类匹配手势 的相似度γi， 并根据相似度γi与相似度阈值γ进行判别， 完成手势 识别。 2.根据权利要求1所述的用于美术作品在线教育的手势识别方法， 其特征在于： 利用 Kinect传感器获取的深度数据将用户与背景分割， 再通过设置特定阈值为用户在深度图像 中创建独立空间， 对人体部位进行分类并识别出关节点 坐标， 完成骨骼三维建模。 3.根据权利要求2所述的用于美术作品在线教育的手势识别方法， 其特征在于： 深度 数 据和骨骼数据定位包括用户手部区域的彩色感兴趣 区域ROI， 结合YCrCb颜色空间对ROI区 域进行肤色检测并提取手部的区域。 4.根据权利要求3所述的用于美术作品在线教育的手势识别方法， 其特征在于： 将 YCrCb颜色空间进行非线性色彩变换， 生 成YCr′Cb′颜色空间， 将 YCr′Cb′颜色空间的肤色聚 类分布情况投影至YCr ′Cb′二维子空间， 建立肤色聚类椭圆模型， 椭圆的标准方程为： (x ‑ ecx)2/a2+(y‑ecy)2/b2＝1， 其中， 待检测图像中的像素点坐标(x， y)满足式 ecx、 ecy、 cx、 cy、 a、 b为椭圆的标准方程中各常量， Cb为RGB输 入信号红色部分与RGB信号亮度值之间的差异， Cr为RGB输入信号蓝色部分与RGB信号亮度 值之间的差异。 5.根据权利要求4所述的用于美术作品在线教育的手势识别方法， 其特征在于： 根据建 立的肤色 聚类椭圆模型， 设 当A＞1时， 则被检测像素点位于肤色 聚 类椭圆模型区域外， 属于背 景像素点； 当A＜1时， 则被检测像素点位于肤色聚类椭圆模型区 域内， 属于肤色像素点。 6.根据权利要求5所述的用于美术作品在线教育的手势识别方法， 其特征在于： 通过以 下方式对分割后的手势图像进行轮廓简化： (I)选取阈值T； (II)在曲线距离最远的两点之间连接一条基准线EF； (III)计算轮廓上其他点到该基准线之间的距离， 找出距离该基准线最远的点记为G， 最大距离为Dmax； (IV)若Dmax比阈值T大， 则将E、 F、 G都作为基准点， E、 F、 G三点之间的连线作为基准线， 并 重复(II) ‑(IV)直至轮廓 上所有的点到基准线的距离都小于等于T； 若Dmax比阈值T小， 则所 有的基准 点和基准线就构成了轮廓的逼近， 完成轮廓简化。 7.根据权利要求6所述的用于美术作品在线教育的手势识别方法， 其特征在于： 对轮廓 简化结果进行凹凸点检测， 凸点包括所有指尖点和非指尖点。 8.根据权利要求7所述的用于美术作品在线教育的手势识别方法， 其特征在于： 通过公权　利　要　求　书 1/2 页 2 CN 115035592 A 2式 计算凹凸点之间的夹角， 其中， j 为某凸点到临近凹点之间的距离， k为 该凸点到另一个临近凸点之间的距离， c为该凹点的两个临近凸点之间的距离， θ为该凹点 与相邻两个顶点连线的夹角， 0 °＜θ＜90°； 对于符合公式 的凸点视为指 尖点， 进行手指计数， 反 之视为噪声点进行去除。 9.根据权利要求8所述的用于美术作品在线教育的手势识别方法， 其特征在于： 通过以 下方式进行手势 识别： 1)输入手势， 根据获得的手势指尖点特 征在数据库中进行识别， 得到类匹配 手势； 2)计算输入手势与全部类匹配 手势的相似度γi； 3)将计算得到的输入手势与全部类匹配手势的相 似度γi进行排序并得到最大相似度 γmax； 4)将最大相似度γmax与相似度阈值γ进行判别， 若γmax＜γ， 则输入手势与数据库 内 手势均不匹配， 为无效手势； 若γmax＞γ， 则判断输入手势为γmax所对应的类匹配手势， 并 输出手势类别。 10.一种用于 美术作品在线教育的手势 识别装置， 其特 征在于： 所述装置包括： 构建模块， 用于利用Kinect传感器构建肤色聚类椭圆模型， 根据肤色聚类椭圆模型对 手势图像进行分割， 以实现对手势图像提取手部手势； 简化模块， 用于根据分割后的手部手势图像进行轮廓简化； 提取模块， 用于根据简化后的手势轮廓进行手势指尖点特 征提取； 判别模块， 用于将获得的手势指尖点特征与数据库进行匹配得到类匹配手势， 计算手 势与类匹配 手势的相似度γi， 并根据相似度γi与相似度阈值γ进行判别， 完成手势 识别。权　利　要　求　书 2/2 页 3 CN 115035592 A 3