(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210453368.8 (22)申请日 2022.04.27 (71)申请人 山东大学 地址 250061 山东省济南市历下区经十路 17923号 (72)发明人 周乐来　魏崇熠　李贻斌　宋锐　 田新诚　荣学文　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 闫圣娟 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 20/52(2022.01)G06V 40/20(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) B25J 9/16(2006.01) G06Q 10/06(2012.01) (54)发明名称 基于动作识别和人机距离的人机共融风险 预警方法及系统 (57)摘要 本发明涉及基于动作识别和人机距离的人 机共融风险预警方法及系统， 包括以下步骤： 基 于已构建的动作识别模型， 利用获取到的作业人 员动作信息， 识别作业人员当前的动作状态为行 走、 观察或工作； 利用获取到的作业人员和机器 人的位置信息， 得到作业人员与机器人之间的最 小距离； 根据作业人员当前的动作状态与得到的 最小距离， 产生不同动作状态下的风险提示指 令。 根据构建好的模型识别人机协作过程中人类 的动作姿态， 机器人根据人类的不同动作和不同 的人机距离， 识别出不同等级的风险并控制机器 人执行对应风险的安全指令 。 权利要求书2页 说明书9页 附图4页 CN 114757293 A 2022.07.15 CN 114757293 A 1.基于动作识别和人机距离的人机共融风险预警方法， 其特 征在于： 包括以下步骤： 基于已构建的动作识别模型， 利用获取到的作业人员动作信息， 识别作业人员当前的 动作状态为行 走、 观察或工作； 利用获取到的作业人员和机器人的位置信息， 得到作业人员与机器人之间的最小距 离； 根据作业人员当前的动作状态与 得到的最小距离， 产生不同动作状态下的风险提示指 令。 2.如权利要求1所述的基于动作识别和人机距离的人机共融风险预警方法， 其特征在 于： 动作识别模型的构建过程包括以下步骤： 通过动作捕捉设备， 获得作业人员和机器人处于同一工作空间下进行协同工作时， 作 业人员的骨架信息； 基于骨架信 息提取运动特征并构造特征向量， 以特征矩阵的形式输入到卷积神经网络 中进行特征提取、 学习和分类； 将最优训练结果的网络模型保存， 作为动作识别模型。 3.如权利要求2所述的基于动作识别和人机距离的人机共融风险预警方法， 其特征在 于： 所述骨架信息包括左右肩、 左右手肘、 左右手腕、 左右髋关节、 左右膝盖、 左右脚踝、 位于 颈部的上半身基准点和位于腰部的下半身基准点共十四个关节点的三维空间位置信息， 和 左右大臂以及左右大腿上的传感器获得的加速度信息 。 4.如权利要求2所述的基于动作识别和人机距离的人机共融风险预警方法， 其特征在 于： 所述运动特征包括， 关节点距离特 征， 关节夹角特 征和加速度特 征。 5.如权利要求1所述的基于动作识别和人机距离的人机共融风险预警方法， 其特征在 于： 利用获取到的作业人员和机器人的位置信息， 得到作业人员与机器人之 间的最小距离， 包括： 以人体和机械臂各关节点坐标的平均值为球心， 球心到各个关节点距离的最大值为半 径的球形包围盒分别包围人体和机械臂， 人体和机械臂两球心之 间的距离与两球心半径之 和的差， 即为作业人员与机器人之间的A级最小距离； 将人体和机械臂视为空间中的圆柱体， 圆柱体的高为人体骨架和机械臂中相邻 两关节 点间的距离， 圆柱体半径为设定值， 两圆柱体中轴线段间的最小距离与两个圆柱体的半径 之和的差， 即为作业人员与机器人之间的B级最小距离 。 6.如权利要求5所述的基于动作识别和人机距离的人机共融风险预警方法， 其特征在 于： 若A级最小距离不小于预设的第 一安全距离阈值， 则将此距离作为实际最小距离， 不再 进行下一级别的距离计算； 若A级最小距离小于预设的第 一安全距离阈值， 则以B级最小距离作为人机间的实际最 小距离。 7.如权利要求1所述的基于动作识别和人机距离的人机共融风险预警方法， 其特征在 于： 根据作业人员当前 的动作状态与得到的最小距离， 产生不同动作状态下 的风险提示指 令， 包括： 当人体动作为行走时， 若此时人机最小距离小于第 一安全距离阈值， 风险等级为危险；权　利　要　求　书 1/2 页 2 CN 114757293 A 2人机最小距离大于第一安全距离阈值且不小于第二安全距离阈值， 风险等级为警示； 人机 最小距离大于第二 安全距离阈值时， 风险等级为 安全。 当人体动作为观察时， 若此时人机最小距离小于第 一安全距离阈值， 风险等级为警示； 人机最小距离大于第一安全距离阈值且不小于第二安全距离阈值， 以及人机最小距离大于 第二安全距离阈值时， 风险等级均为 安全。 当人体动作为工作时， 若此时人机最小距离小于第一安全距离阈值， 或者大于第一安 全距离阈值且不小于第二安全距离阈值时， 风险等级均为危险； 人机最小距离大于第二安 全距离阈值时， 风险等级为 安全。 8.基于动作识别和人机距离的人机共融风险预警系统， 其特 征在于： 包括： 动作识别模块， 配置为： 基于已构建的动作识别模型， 利用获取到的作业人员动作信 息， 识别作业人员当前的动作状态为行 走、 观察或工作； 距离计算模块， 配置为： 利用获取到的作业人员和机器人的位置信 息， 得到作业人员与 机器人之间的最小距离； 风险等级判定模块， 配置为： 根据作业人员当前的动作状态与 得到的最小距离， 产生不 同动作状态下的风险提 示指令。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现如权利要求1 ‑7中任一项 所述的基于动作 识别和人机距离的人机共融风险预警方 法中的步骤。 10.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑7中任一项 所述的基 于动作识别和人机距离的人机共融风险预警方法中的步骤。权　利　要　求　书 2/2 页 3 CN 114757293 A 3