(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221041915 3.4 (22)申请日 2022.04.20 (71)申请人 广州瀚信通信科技股份有限公司 地址 510000 广东省广州市天河区元岗横 路37号4203-1、 4204、 4205、 4208、 4209、 4304--4309 (72)发明人 练镜锋　王凯琪　 (74)专利代理 机构 北京泽方誉航专利代理事务 所(普通合伙) 11884 专利代理师 陈国靖 (51)Int.Cl. G06F 3/01(2006.01) G06V 40/20(2022.01) G06V 10/74(2022.01) (54)发明名称 体感智能终端交互方法、 装置、 设备及存储 介质 (57)摘要 本申请实施例公开了一种体感智能终端交 互方法、 装置、 设备及存储介质， 该方法包括通过 体感智能终端的摄像头获取用户的第一动作数 据； 通过对第一动作数据中的第一帧图像数据进 行网格化处理， 得到第一帧图像数据的网格覆盖 图像； 确认动作信息库内的预设图像中是否存在 与网格覆盖图像的相似度大于第一阈值的第一 特征图像； 若存在第一特征图像， 则对剩余的图 像数据进行网格化处理以获取剩余的图像数据 的网格覆盖图像； 根据多个网格覆盖图像间的对 比结果， 确定第一动作数据中特征物体的相对移 动趋势； 根据相对移动趋势， 确定对体感智 能终 端的操作指令。 本方案能够在用户不便进行触控 操作时， 为用户提供有效的解决方案， 提升了用 户的使用体验。 权利要求书2页 说明书9页 附图2页 CN 114816057 A 2022.07.29 CN 114816057 A 1.一种体感智能终端交 互方法， 其特 征在于， 包括： 通过体感智能终端的摄像头获取用户的第 一动作数据， 所述第 一动作数据包括多帧图 像数据； 通过对所述第 一动作数据中的第 一帧图像数据进行网格化处理， 得到所述第 一帧图像 数据的网格覆盖图像； 确认动作信息库内的预设图像中是否存在与所述网格覆盖图像的相似度大于第一阈 值的第一特 征图像； 若存在所述第 一特征图像， 则对剩余的所述图像数据进行所述网格化处理以获取剩余 的所述图像数据的网格覆盖图像； 根据多个所述网格覆盖图像间的对比结果， 确定所述第 一动作数据中特征物体的相对 移动趋势； 根据所述相对移动趋势， 确定对所述体感智能终端的操作指令 。 2.根据权利要求1所述的方法， 其特征在于， 所述确认动作信 息库内的预设图像中是否 存在与所述网格覆盖图像的相似度大于第一阈值的第一特 征图像之后， 还 包括： 若所述预设图像中无所述第 一特征图像， 则确 认所述预设图像中是否存在与 所述网格 覆盖图像的相似度大于第二阈值的第二特 征图像； 若存在所述第 二特征图像， 则在所述动作信 息库中添加所述第 一帧图像数据的网格覆 盖图像。 3.根据权利要求1所述的方法， 其特征在于， 在所述获取用户的第一动作数据之前， 还 包括： 通过所述体感智能终端的摄像头获取用户预设置的第 二动作数据， 所述第 二动作数据 包括若干帧图像数据； 通过对所述第 二动作数据中的若干帧图像数据进行网格化处理， 得到若干个所述预设 图像， 并将若干个所述预设图像存 入所述动作信息库。 4.根据权利要求1所述的方法， 其特征在于， 所述确认动作信 息库内的预设图像中是否 存在与所述网格覆盖图像的相似度大于第一阈值的第一特 征图像， 包括： 获取所述网格覆盖图像和所述预设图像 基于所述网格化处 理确定的基点； 根据所述网格覆盖图像与 所述预设图像的重合的基点数量， 确定所述网格覆盖图像与 所述预设图像的相似度， 将所述相似度大于第一阈值的所述预设图像确认为所述第一特征 图像。 5.根据权利要求1、 3或5所述的方法， 其特 征在于， 所述网格化处 理， 包括： 基于Delaunay三角剖分算法， 生成对应于所述图像数据的Voro noi图； 根据所述Voro noi图对所述图像数据进行网格覆盖， 生成网格覆盖图像。 6.根据权利要求1所述的方法， 其特征在于， 所述根据多个所述网格覆盖图像间的对比 结果， 确定所述第一动作数据中特 征物体的相对移动趋势， 包括： 对比每一帧图像数据所对应的网格覆盖图像与前一帧图像数据所对应的网格覆盖图 像， 获取帧间移动趋势； 根据所述帧间移动趋势的预设趋势比重， 确定所述相对移动趋势。 7.根据权利要求1所述的方法， 其特征在于， 所述根据所述相对移动趋势， 确定对所述权　利　要　求　书 1/2 页 2 CN 114816057 A 2体感智能终端的操作指令， 包括： 当所述相对移动趋势为第 一方向， 则确定对所述体感智能终端的所述操作指令为第 一 滚动显示指令； 当所述相对移动趋势为第 二方向， 则确定对所述体感智能终端的所述操作指令为第 二 滚动显示指令； 当所述相对移动趋势为第 三方向， 则确定对所述体感智能终端的所述操作指令为进入 指令； 当所述相对移动趋势为第四方向， 则确定对所述体感智能终端的所述操作指令为退出 指令。 8.一种体感智能终端交 互装置， 其特 征在于， 包括： 第一获取模块， 配置为通过体感智能终端的摄像头获取用户的第一动作数据， 所述第 一动作数据包括多帧图像数据； 第二获取模块， 配置为通过对所述第一动作数据中的第一帧图像数据进行网格化处 理， 得到所述第一帧图像数据的网格覆盖图像； 相似度判断模块， 配置为确 认动作信 息库内的预设图像中是否存在与 所述网格覆盖图 像的相似度大于第一阈值的第一特 征图像； 响应模块， 配置为若存在所述第一特征图像， 则对剩余的所述图像数据进行所述网格 化处理以获取剩余的图像数据的网格覆盖图像； 第一确定模块， 配置为根据多个所述网格覆盖 图像间的对比结果， 确定所述第一动作 数据中特 征物体的相对移动趋势； 第二确定模块， 配置为 根据所述相对移动趋势， 确定对所述体感智能终端的操作指令 。 9.一种计算机设备， 其特 征在于， 所述设备包括： 一个或多个处 理器； 存储装置， 用于存 储一个或多个程序； 当一个或多个所述程序被一个或多个所述处理器执行， 使得一个或多个所述处理器实 现如权利要求1 ‑7中任一项所述的体感智能终端交 互方法。 10.一种存储计算机可执行指令的存储介质， 其特征在于， 所述计算机可执行指令在由 计算机处 理器执行时用于执 行如权利要求1 ‑7中任一项所述的体感智能终端交 互方法。权　利　要　求　书 2/2 页 3 CN 114816057 A 3