(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210913267.4 (22)申请日 2022.08.01 (65)同一申请的已公布的文献号 申请公布号 CN 114999000 A (43)申请公布日 2022.09.02 (73)专利权人 广东童园科技有限公司 地址 514000 广东省梅州市梅县区畲江镇 梅州高新技术产业园区广梅双创社区 2-8号 (72)发明人 李美英　熊新新　李远生　 (74)专利代理 机构 郑州芝麻知识产权代理事务 所(普通合伙) 41173 专利代理师 王林娜 (51)Int.Cl. G06V 40/20(2022.01)G06Q 10/06(2012.01) G06V 10/44(2022.01) G06V 10/46(2022.01) G06V 10/50(2022.01) G06V 10/54(2022.01) 审查员 邢丽超 (54)发明名称 一种基于人工智能的实验流程动作识别评 分方法 (57)摘要 本发明实施例公开了一种基于人工智能的 实验流程动作识别评分方法， 涉及人工智能领 域。 主要包括： 采集实验人员的连续帧人体表面 灰度图像， 通过对实验人员在实验 过程中的人体 表面图像中的运动区域进行识别， 并对运动区域 中关键点进行检测， 以将获得的关键点与标准的 关键点进行匹配； 根据匹配成功的关键点的占比 获得当前帧实验 人员的自动评分结果， 以将整个 实验过程中所有帧的自动评分结果的平均值作 为对实验 过程的评分。 本发明实施例能够克服对 于评分人员的依赖， 从而实现对实验 人员的实验 动作的自动评分。 权利要求书2页 说明书7页 附图2页 CN 114999000 B 2022.10.11 CN 114999000 B 1.一种基于人工智能的实验流 程动作识别评分方法， 其特 征在于， 包括： 采集实验过程中实验人员的连续多帧人体表面灰度图像； 利用Harris角点检测算法检测出人体表面灰度图像中存在的角点， 并将相邻帧内发生 移动的角点保留， 以获得当前帧图像中相对于前一帧图像发生相对移动的移动角点区域； 分别以当前帧人体表面灰度图像中每一像素点为中心建立尺寸为N*N的滑窗， 将滑窗 的中心像素点与其八邻域内像素点的灰度差值的绝对值的均值作为滑 窗的特征均值， N为 正奇数； 根据滑窗内中心像素点以外像素点与中心像素点的灰度差值的绝对值是否大于滑窗 的特征均值， 分别为滑 窗内中心像素点以外的每一像素点编码， 将滑 窗内各编码按预设顺 序排列后转 化为十进制后的数值作为中心像素点的纹 理值； 将当前帧人体表面灰度图像划分成各M*M的子区域， M为大于N的正整数， 根据每一子区 域中各像素点的纹理值的直方图统计结果获得每一子区域的纹理特征向量， 将包括各子区 域的各纹 理特征向量的图像作为当前帧的特 征图像； 获取当前帧的特征图像与当前帧所对应的移动角点 区域存在重叠的部分， 从当前帧人 体表面图像中提取与重 叠部分所对应的区域构成当前帧的运动区域图像； 对当前帧的运动区域图像进行SIFT关键点检测， 将关键点检测结果与当前帧的各标准 关键点进 行匹配， 根据匹配 成功的关键点的占比获得对当前帧实验人员的动作的自动评分 结果， 以将整个实验过程中所有帧的自动评分结果的平均值作为对实验过程的评分。 2.根据权利要求1所述的基于人工智能的实验流程动作识别评分方法， 其特征在于， 根 据滑窗内中心像素点以外像素点与中心像素点的灰度差值的绝对值是否大于滑窗的特征 均值， 分别为滑窗内 中心像素点以外每一像素点编码， 包括： 判断滑窗内中心像素点以外每一像素点与中心像素点的灰度差值的绝对值是否大于 滑窗的特征均值， 若判断结果为是， 则该像素点对应的编码为 1， 否则， 该像素点对应的编码 为0。 3.根据权利要求1所述的基于人工智能的实验流程动作识别评分方法， 其特征在于， 获 取当前帧的特征图像与当前帧所对应的移动角点区域存在重叠的部分后， 所述方法还包 括： 利用区域 生长算法对所获得的重 叠部分进行区域 生长。 4.根据权利要求1所述的基于人工智能的实验流程动作识别评分方法， 其特征在于， 根 据每一子区域中各像素点的纹理值的直方图统计结果 获得每一子区域的纹理特征向量， 包 括： 将直方图等分为多组， 分别统计每一组在直方图中对应的纹理值的频数， 将每一子区 域中各组对应的频 数构成每一子区域对应的纹 理特征向量。 5.根据权利要求1所述的基于人工智能的实验流程动作识别评分方法， 其特征在于， 将 滑窗内各编码按预设顺序排列后转 化为十进制后的数值获得 过程， 包括： 其中， 为滑窗内各编码按预设顺序排列后转化为十进制后的数值， 为滑窗中编码的权　利　要　求　书 1/2 页 2 CN 114999000 B 2数量， 为滑窗内第 个编码的值。 6.根据权利要求1所述的基于人工智能的实验流程动作识别评分方法， 其特征在于， 从 人体表面图像中提取与重 叠部分所对应的区域构成运动区域图像后， 所述方法还 包括： 实验的评分人员对运动区域图像进行评分， 获得评分后当前帧实验人员的人工评价结 果。 7.根据权利要求6所述的基于人工智能的实验流程动作识别评分方法， 其特征在于， 根 据匹配成功的关键点的占比获得对当前帧实验人员的动作的自动评分结果后， 还包括： 对 自动评分结果进行 更新， 其中对自动评分结果的更新过程， 包括： 对当前帧实验人员的人工 评价结果以及自动评分结果进行加权平均； 将加权平均结果作为对自动评分结果的更新结果。 8.根据权利要求7所述的基于人工智能的实验流程动作识别评分方法， 其特征在于， 对 当前帧实验人员的人工评价结果以及自动评分结果进 行加权平均过程中， 人工评价结果对 应的权重为0.2。权　利　要　求　书 2/2 页 3 CN 114999000 B 3