(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211201946.5 (22)申请日 2022.09.29 (71)申请人 西安热工 研究院有限公司 地址 710048 陕西省西安市碑林区兴庆路 136号 申请人 华能澜沧江水电股份有限公司 (72)发明人 李铭志　李阳　常洋涛　马飞　 韩士虎　任瑞红　李志全　谢铁兵　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 马贵香 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/30(2022.01) G06V 10/26(2022.01)G06V 10/25(2022.01) G06V 10/776(2022.01) G06V 10/766(2022.01) G06V 10/82(2022.01) G06F 16/532(2019.01) G06N 5/04(2006.01) (54)发明名称 一种新能源基建现场人员不安全行为识别 系统、 方法、 设备和介质 (57)摘要 本发明提出一种新能源基建现场人员不安 全行为识别系统、 方法、 设备和存储介质， 对图像 样本进行分割提取目标对象， 并从图像样本中提 取物体关键点， 获取目标对象与物体 关键点的空 间关系， 并将物 体关键点以及目标对象与物体关 键点的空间关系采用Neo4j图数据库进行储存和 查询， 根据不安全行为识别项和不安全行为规 则， 通过Neo4j识别推理实现对基建过程中各种 不安全行为的自动识别， 从而优化Neo4j图数据 库中的参数， 得到不安全行为识别模型， 之后采 用该模型对不安全行为进行自动识别， 不仅可以 在多个不安全行为 以及多安全管理规则下较为 精准地发现人员不安全行为， 还能一定程度上对 不安全行为进行推理， 降低不安全风险发生几 率。 权利要求书2页 说明书7页 附图3页 CN 115497167 A 2022.12.20 CN 115497167 A 1.一种新能源基建现场人员不 安全行为识别方法， 其特 征在于， 包括： S1， 对新能源基建现场不安全行为理论进行分析， 确定不安全行为识别项和不安全行 为规则； S2， 收集新能源基建现场人员不安全行为的图像样本， 对图像样本进行去噪、 增强处 理， 得到预处理的图像样本； 从预 处理的图像样本中分割并提取出感兴趣的目标对象， 所述 目标对象为 新能源基建现场的施工人员； S3， 从预处理的图像样本中提取得到物体关键点， 根据得到的目标对象和物体关键点 获取目标对象与 物体关键点的空间关系， 将物体关键点以及目标对象与 物体关键点的空间 关系加载到Neo4j图数据库中， 根据不安全行为识别项和不安全行为规则， Neo4j图数据库 识别人员不 安全行为以优化 Neo4j图数据库中的参数， 得到不 安全行为识别模型； S4， 采集新能源基建现场的图像信息， 对图像进行去噪、 增强处理， 得到预处理的图像； 从预处理的图像中分割并提取出感兴趣的目标对象， 所述目标对象为新能源基建现场的施 工人员； 从预处理的图像中提取得到物体关键点， 根据得到的目标对 象和物体关键点获取 目标对象与 物体关键点的空间关系， 将物体关键点以及目标对象与 物体关键点的空间关系 输入不安全行为识别模型， 判断目标对象是否存在不 安全行为。 2.根据权利要求1所述的新能源基建现场人员不安全行为识别方法， 其特征在于， S2和 S4中， 所述分割采用的方法为语义分割 、 实例分割或全景分割。 3.根据权利要求1所述的新能源基建现场人员不安全行为识别方法， 其特征在于， S3和 S4中， 采用CenterNet方法提取 得到物体关键点。 4.根据权利要求1所述的新能源基建现场人员不安全行为识别方法， 其特征在于， S3和 S4中， 基于DE ‑9IM模型获取目标对象与物体关键点的空间关系。 5.根据权利要求4所述的新能源基建现场人员不安全行为识别方法， 其特征在于， 所述 目标对象与物体关键点的空间关系包括： 包含、 相交和相离； 其中， 包含表示施工人员已逼 近物体； 相交表示施工人员正在靠 近物体； 相离表示施工人员的安全设备没有穿戴。 6.根据权利要求5所述的新能源基建现场人员不安全行为识别方法， 其特征在于， 将施 工人员设为对 象O， 物体设为对象P， 则目标对象与物体关键点的空间关系的空间关系语义 通过重叠度(IoU)表示： 其中， area(O)为对象O所占区域的面积， area(P)为对象P所占区域的面积。 7.一种用于实现权利要求1 ‑6任一项所述方法的新 能源基建现场人员不安全行为识别 系统， 其特 征在于， 包括： 图像采集模块， 用于采集 新能源基建现场的图像数据， 并传输给图像识别处 理模块； 图像识别处理模块， 对接收的图像数据进行去噪、 增强处理， 然后分割并提取出感兴趣 的目标对象和物体关键点， 根据提取的目标对象和物体关键点获取目标对象与 物体关键点 的空间关系， 将物体关键点以及目标对象与 物体关键点的空间关系输入不安全行为识别模 型；权　利　要　求　书 1/2 页 2 CN 115497167 A 2不安全行为识别模型， 根据接收的物体关键点以及目标对象与物体关键点的空间关系 判断是否存在人员不 安全行为。 8.一种新能源基建现场人员不安全行为识别设备， 其特征在于， 包括处理器和存储器， 所述存储器中存储有能在处理器上运行的新能源基建现场人员不安全行为识别程序， 所述 新能源基建现场人员不 安全行为识别程序用于执 行权利要求1 ‑6任一项所述方法的步骤。 9.一种新能源基建现场人员不安全行为存储介质， 其特征在于， 其为计算机可读存储 介质， 所述计算机可读存储介质上存储有新能源基建现场人员不安全行为识别程序， 所述 新能源基建现场人员不 安全行为识别程序用于执 行权利要求1 ‑6任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115497167 A 3