(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210671538.X (22)申请日 2022.06.14 (71)申请人 山东大学 地址 250199 山东省济南市历城区山大南 路27号 (72)发明人 白智全　贺邦玮　胡嘉成　 (74)专利代理 机构 济南金迪知识产权代理有限 公司 37219 专利代理师 许德山 (51)Int.Cl. G06Q 10/10(2012.01) G06Q 50/26(2012.01) G06V 40/16(2022.01) G06V 10/764(2022.01) G06F 17/16(2006.01)G08B 3/10(2006.01) G08B 19/00(2006.01) G08B 25/08(2006.01) H04N 7/18(2006.01) (54)发明名称 户外工地智能安全监测系统及工作方法 (57)摘要 一种户外工地智能安全监测系统及工作方 法， 所述系统包括人脸采集模块、 云端处理模块、 视频采集模块、 中心处理模块、 无线传输模块和 告警模块。 首先， 系统管理员通过面部识别， 与在 云端建立的授权人脸数据库对比登录安全监测 系统， 启动监控系统； 其次， 系统中心处理模块调 用监控摄像头采集实时工地信息， 与训练建立的 安全帽及烟火模型做匹配监测； 最后， 如果监测 到人员未佩戴安全帽或者有火灾发生的情况， 则 激活告警模块， 进行语音提示或触发报警系统， 同时对安管人员进行短信提示。 本发 明通过人脸 识别判断用户是否有权限进入安全监测系统， 并 针对户外施工场景特点， 根据现场可能存在的安 全隐患， 设计了针对安全帽佩戴和火灾的预报警 系统， 可以有效地防范户外工地危险的发生， 确 保人员及财物安全。 权利要求书3页 说明书6页 附图2页 CN 115170059 A 2022.10.11 CN 115170059 A 1.一种户外工地智能安全监测系统及工作方法， 所述系统包括人脸采集模块、 云端处 理模块、 视频采集模块、 中心处理模块、 无线传输模块和告警模块： 人脸采集模块为中心处 理模块配备的摄像头， 可采集人脸信息； 中心处理模块同无线传输模块相连接， 通过无线传 输模块与云端处理模块通信， 云端处理模块包括已建立好的人脸数据库， 中心处理模块通 过无线传输模块进 行数据传输， 并根据云端处理模块的人脸数据库IP地址进入 人脸数据库 进行数据 处理； 在施工现场配置带有无线传输模块的视频采集模块， 将采集的实时信息通 过无线方式将数据传至中心处理模块， 中心处理模块据此判断人员是否佩戴安全帽和施工 现场是否存在火灾风险， 如存在相关风险则触发告警， 并通过无线传输模块中的mqtt协议 将告警信息传至告警模块， 触发系统报警； 该系统的工作方法步骤如下： 1)人脸采集模块对用户人脸信息进行采集， 提取用户面部特 征； 2)将用户面部信息上传到云端处理模块， 与云端已经建立好的人脸数据库进行对比， 确定用户身份信息， 判断用户权限， 若用户与数据库匹配成功， 则允许进入安全监测系统中 心处理模块的安全帽及烟火安全监测界面， 进行后续监测； 若匹配失败， 则不 允许进入该安 全监测系统， 并反馈 至人脸采集模块 等待下一次识别； 人脸识别部分采用基于opencv的人脸识别算法， 其 步骤如下： (1)中心处理模块对人脸数据集进行分帧读取， 采用直方图均衡化的方法对原始图像 进行非均质化拉伸处理， 使其像素值间距扩张， 并通过累积函数均匀 化各灰度范围的像素 量， 增强图像对比度， 提高人脸识别准确性； (2)采用基于线性鉴别投影算法对人脸图片进行降维， 假设已有样本数据矩阵X＝[x1, x2,...,xm]， 其中样本xi为任意n维向量， 将X分为k类样本即{C1,C2,…,Ck}， i∈1,2,...,k； 定义Nj、 Xj和 μj分别为第j类样本Cj的个数、 集合和均值， j∈1,2,...,k， 降维操作包括以下 四步， ①计 算 类 内 散 度 矩 阵 Sb，用 于 表 示 各 个 类 内 数 据 点 分 散 程 度 ， 其中(.)T表示转置； ②计 算 类 间 散 度 矩 阵 Sw，用 于 表 示 各 个 类 内 数 据 点 聚 集 程 度 ， ③计算矩阵 并对其进行特征分解， 计算最大的d个特征值对应的特征向量， 构成 矩阵W； ④根据样本矩阵X计算投影后的数据点Y＝ WTX， 完成数据的降维； (3)采用主元分析算法寻找图像主 要特征点， 包括以下五步， ①数据预处理： 准备人脸数据集， 经过线性鉴别算法后， 形成一个N ×M维的矩阵， 人脸 图像在处 理时表示 为一个像素矩阵， 矩阵每一行代 表一张人脸图像的像素值； ②计算人脸像素平均值： 对每一列都求其平均值， 最终得到一个M维的行向量， 产生人 脸图像的平均像素值， 即平均脸； ③样本中心化： 原始数据矩阵的每行都减去平均脸， 然后进行转置， 转置后的每一列是 包含着每个人脸特有的像素信息； ④计算人脸像素特征量： 计算协方差矩阵的特征值和特征向量， 将特征向量矩阵构成权　利　要　求　书 1/3 页 2 CN 115170059 A 2特征脸； ⑤通过中心处 理模块集成的摄 像功能进行面部识别， 以确认用户身份； 3)用户身份确认后， 则进入安全监测系统的安全帽及烟火监测界面， 中心处理模块调 用施工现场中的视频采集模块， 通过无线传输模块接收监控摄像头实时采集的图片视频信 息； 4)安全隐患判断包括安全帽检测和烟火检测两类， 根据视频采集模块采集的图片视频 信息， 通过中心处理模块运用相应识别算法， 通过图片中物体的行为、 体态对检测目标进 行 识别， 并通过导入 模型中的安全帽和烟火特 征， 判断图片视频信息中是否存在安全隐患； 安全帽和烟火检测部分采取了基于Yolov5网络的训练检测算法， 首先用Yolov5网络来 训练目标检测模型， 并通过生成的目标检测模型来完成对安全帽与烟火的目标检测， 其中 Yolov5网络由输入端、 Backbo ne、 Neck和输出端四部分构成： ①输入端包括Mosaic数据增强、 自适应锚框计算和自适应图片缩放， 其中Mosaic数据 增强主要用来解决小目标检测的问题， 并丰富数据集； ②Backbone部分采用Focus结构和跨阶段局部网络结构， 将原始608 ×608×3的图像输 入到Focus结构中， 进行切片操作变为304 ×304×12的特征图， 再经过32个卷积核的卷积操 作， 最终变成3 04×304×32的特征图； ③Neck部分采用特征金字塔 网络即FPN+自底向上金字塔网络即PAN结构对图片进行上 采样和下采样， FPN是自上向下对图片进行上采样， FPN结构将图片的高层特征通过上采样 和低层特征做融合得到预测的特征图， PA N结构在FPN结构后添加一个自下向上的金字塔网 络， 对FPN结构进行补充， 将低层的定位特征向上传递， PAN结构首先复制FPN结构中的最底 层， 作为新特征金字塔的最底层， 其次将新特征金字塔的最底层进 行下采样操作， 然后原特 征金字塔的倒数第二层 进行3×3卷积计算， 步幅为2， 最后与新特征金字塔中进 行下采样操 作后的最底层进行横向连接， 两者相加后再进行3 ×3卷积计算来融合其特征， 这里的上下 采样即指对图片的缩放； ④输出端采用Bounding  box损失函数和 nms非极大值抑制算法， 其中Bounding  box损 失函数为坐标损失、 目标置信度损失和分类损失三部 分的加和， nms非极大值抑制算法用来 完成对目标框的筛选， 具体流程为依靠目标检测分类器得到多个候选框， 以及关于候选框 归属类别的概率值， 将所有候选框对应的概率值进行排序， 选出概率值最高的候选框A， 遍 历其余候选框， 如果候选框B和当前概率值最高的候选框A的重叠面积大于等于设定阈值， 则将候选框B删除， 如果重叠面积小于阈值， 则不做处理， 再从未处理的候选框中继续选一 个概率值最高的， 重复上述过程， 遍历完所有候选框后， 只留下一个未被筛选掉的候选框， 这个候选 框的概率值就是它所对应的目标的置信度； 5)告警提示， 若识别结果存在安全隐患， 则中心处理模块触发告警， 令告警模块发送报 警短信进行报警或播放语音提示警报； 若不存在安全隐患， 则中心处理模块继续识别后续 图片视频信息； 告警部分设定了识别报警阈值， 其设置处理即： 中心处理模块对接收视频信息进行监 测， 分别得出安全帽和烟火监测目标对应的置信度， 若置信度大于等于报警阈值， 则识别为 安全隐患， 播放语音提示或向安管员手机端发送警报短信进行报警， 若置信度小于报警阈 值， 则无安全隐患， 监测下一视频信息， 其中置信度 表示框出的方块内存在检测目标的置信权　利　要　求　书 2/3 页 3 CN 115170059 A 3