(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210945932.8 (22)申请日 2022.08.08 (71)申请人 武汉北大高科软件股份有限公司 地址 430070 湖北省武汉市洪山区珞 瑜路 716号华乐商务中心17层 (72)发明人 王涛　郑宇　罗铮　邓昕　 (74)专利代理 机构 深圳博敖专利代理事务所 (普通合伙) 44884 专利代理师 胡智援 (51)Int.Cl. G06F 16/36(2019.01) G06K 9/62(2022.01) G06V 10/28(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01)G06V 40/20(2022.01) (54)发明名称 一种基于用户行为的知识图谱生成方法及 装置 (57)摘要 本发明提供了一种基于用户行为的知识图 谱生成方法， 涉及数据处理技术领域。 本申请通 过对用户和终端的交互行为进行动作识别， 确定 用户行为的动作模拟曲线来判断用户是正在做 哪些动作， 例如翻 页， 上滑、 下滑、 暂停等动作， 并 且通过对用户进行动作之前， 终端所显示的内容 进行识别并标记标签， 进而对用户动作和标签进 行关联， 其中通过匹配度来进行关联， 得到用户 动作和所述标签的关联度， 进而得到构建知 识图 谱的三元组， 所述三元组包括用户动作， 关联度 和标签， 构建一个基于用户行为的知识图谱， 通 过所述知识 图谱可以快速确定用户对所述标签 的喜好程度。 权利要求书3页 说明书7页 附图3页 CN 115357725 A 2022.11.18 CN 115357725 A 1.一种基于用户行为的知识图谱生成方法， 其特 征在于， 包括： 获取包含用户行为的视频信 息和终端设备的输出图像， 所述用户行为是指用户的手部 动作； 将所述包含用户行为的视频信 息发送至动作识别模型进行处理， 得到用户行为的动作 模拟曲线； 将所述终端设备的输出图像发送至图像识别模块进行识别和标记， 得到终端设备的输 出图像内的每 个目标的标签信息； 基于所述动作模拟曲线和所述标签信 息， 确定所述用户行为的动作模拟曲线和所述标 签信息的关联度值； 将所述动作模拟曲线、 所述标签信 息和所述关联度值发送至知识图谱生成模型进行处 理， 得到基于用户行为的知识图谱。 2.根据权利要求1所述的基于用户行为的知识图谱生成方法， 其特征在于， 将所述包含 用户行为的视频信息发送至动作识别模型进行处 理， 得到用户行为的每 个动作信息， 包括： 将所述包含用户信 息的视频信 息中的每帧图像进行目标识别， 得到每帧图像 内的手部 图像； 基于所述包含用户行为的视频信 息中的每帧图像建立二维空间直角坐标系， 得到至少 一个二维空间直角坐标系； 将所述每帧图像内的手部 图像进行关键点处理， 得到第一子信息， 所述第一子信息包 括每帧图像内的手部图像的关键点信息； 将所述第一子信 息分别发送至对应的二维空间直角坐标系内进行坐标计算， 得到每个 所述第一子信息的坐标信息； 基于贝塞尔曲线对每个所述第 一子信息的坐标信 息运动轨迹拟合， 得到用户行为的动 作模拟曲线。 3.根据权利要求2所述的基于用户行为的知识图谱生成方法， 其特征在于， 将所述每帧 图像内的手部图像进行关键点处 理， 得到第一子信息， 包括： 将所述每帧图像 内的手部图像 内所有的像素点进行二值化处理， 得到二值化的用户手 部图像； 将所述二值化的用户手部图像依次进行膨胀处理和腐蚀处理， 得到去除噪声后的二值 化图像； 基于多元自适应回归样条算法对所述去除噪声后的二值化图像进行计算， 得到拟合曲 线的关键点信息 。 4.根据权利要求1所述的基于用户行为的知识图谱生成方法， 其特征在于， 基于所述动 作模拟曲线和所述标签信息， 确定所述用户行为的动作模拟曲线和所述标签信息的关联度 值， 包括： 将所述动作模拟曲线和所述标签信 息按照时间关系 进行一一对应， 得到每个所述动作 模拟曲线对应的标签信息； 将所有的所述动作模拟曲线对应的标签信 息基于贝叶斯方法进行统计处理， 得到每个 所述标签信息在所述终端设备的输出图像内的置信度； 基于所述动作模拟曲线对应的标签信 息和所有的所述标签信 息， 得到所述动作模拟曲权　利　要　求　书 1/3 页 2 CN 115357725 A 2线对应的标签信息占所有的所述标签信息的权 重值； 基于所述置信度和所述权重值计算所述用户行为的动作模拟曲线和所述标签信息的 匹配度； 基于所述用户行为的动作模拟曲线和所述标签信 息的匹配度， 得到所述用户行为的动 作模拟曲线和所述标签信息的关联度值。 5.根据权利要求4所述的基于用户行为的知识图谱生成方法， 其特征在于， 基于所述用 户行为的动作模拟曲线和所述标签信息的匹配度， 得到所述用户行为的动作模拟曲线和所 述标签信息的关联度值， 包括： 将所述用户行为的动作模拟曲线和所述标签信 息的匹配度进行聚类处理， 得到每个所 述匹配度位于的聚类簇； 对所有的所述聚类簇进行分析， 将包含最大阈值范围的聚类簇的所有聚类点的平均值 作为阈值； 将小于或等于所述阈值的匹配度值和所述小于所述阈值的匹配度值对应的标签信息 进行删除， 得到大于所述阈值的匹配度值； 将大于所述阈值的匹配度值作为所述大于所述阈值的匹配度值对应的动作模拟曲线 和标签信息的关联度值。 6.一种基于用户行为的知识图谱生成装置， 其特 征在于， 包括： 第一获取单元， 用于获取包含用户行为的视频信息和终端设备的输出图像， 所述用户 行为是指用户的手部动作； 第一处理单元， 用于将所述包含用户行为的视频信息发送至动作识别模型进行处理， 得到用户行为的动作模拟曲线； 第二处理单元， 用于将所述终端设备的输出图像发送至图像识别模块进行识别和标 记， 得到终端设备的输出图像内的每 个目标的标签信息； 第三处理单元， 用于基于所述动作模拟曲线和所述标签信息， 确定所述用户行为的动 作模拟曲线和所述标签信息的关联度值； 第四处理单元， 用于将所述动作模拟曲线、 所述标签信息和所述关联度值发送至知识 图谱生成模型进行处 理， 得到基于用户行为的知识图谱。 7.根据权利要求6所述的基于用户行为的知识图谱生成装置， 其特征在于， 所述装置包 括： 第一处理子单元， 用于将所述包含用户信息的视频信息中的每帧图像进行目标识别， 得到每帧图像内的手部图像； 第二处理子单元， 用于基于所述包含用户行为的视频信 息中的每帧图像建立二维空间 直角坐标系， 得到 至少一个二维空间直角坐标系； 第三处理子单元， 用于将所述每帧图像内的手部 图像进行关键点处理， 得到第一子信 息， 所述第一子信息包括每帧图像内的手部图像的关键点信息； 第一计算子单元， 用于将所述第 一子信息分别发送至对应的二维空间直角坐标系内进 行坐标计算， 得到每 个所述第一子信息的坐标信息； 第四处理子单元， 用于基于贝塞尔曲线对每个所述第 一子信息的坐标信 息运动轨迹拟 合， 得到用户行为的动作模拟曲线。权　利　要　求　书 2/3 页 3 CN 115357725 A 3