(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211322535.1 (22)申请日 2022.10.27 (71)申请人 天津中德应用技 术大学 地址 300350 天津市津南区海河教育园区 雅深路2号 (72)发明人 汪磊　师文俊　王小红　李昂　 廖博成　闻欢　 (74)专利代理 机构 北京睿智保诚专利代理事务 所(普通合伙) 11732 专利代理师 周新楣 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/18(2022.01) G06V 40/10(2022.01) G06V 20/59(2022.01)G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/25(2022.01) (54)发明名称 一种驾驶员状态的监测方法、 系统及可读存 储介质 (57)摘要 本发明公开了一种驾驶员状态的监测方法、 系统及可读存储介质， 属于行车安全技术领域， 包括： 对人脸ROI区域进行监测， 实时获取带有驾 驶员脸部信息的图像； 构建眼部监测网络模型及 头部姿态网络模型， 检测方向盘动态， 通过安装 于驾驶员正前方的深度相机对驾驶员失能状态 进行实时监测， 判定驾驶员眼部状态、 头部姿态 或方向盘角输入和力输入中的任意一种来监测 驾驶员的状态， 从而提高了监测灵敏度及准确 性， 防止驾驶员因出现失能情况而发生事故的同 时， 不会对驾驶员的正常行驶产生影响。 权利要求书4页 说明书11页 附图1页 CN 115439918 A 2022.12.06 CN 115439918 A 1.一种驾驶员状态的监测方法， 其特 征在于， 包括以下步骤： 人脸识别： 对人脸ROI区域进行监测， 实时获取 带有驾驶员脸部信息的图像； 眼部状态监测： 构建眼部监测网络模型， 根据所述眼部监测网络模型提取所述图像中 的眼部特征， 根据所述眼部特征计算平均闭眼时长， 并根据平均闭眼时长判断驾驶员是否 处于失能状态； 头部姿态监测： 构建头部姿态网络模型， 根据所述头部姿态网络模型对所述图像中的 头部姿态信息进行预处理， 得到头部姿态欧拉角， 并根据所述头部姿态欧拉角以及所述头 部姿态欧拉角的持续时间判断驾驶员是否处于失能状态； 方向盘动态监测： 检测方向盘动态数据， 并根据所述方向盘动态数据判断驾驶员是否 处于失能状态。 2.根据权利要求1所述的一种驾驶员状态的监测方法， 其特征在于， 所述对人脸ROI区 域进行监测， 实时获取 带有驾驶员脸部信息的图像的过程包括： 对人脸ROI区域进行监测， 将 实时监测的视频以多帧图像进行录入， 以及将实时监测的 视频进行云备份处 理。 3.根据权利要求1所述的一种驾驶员状态的监测方法， 其特征在于， 所述眼部状态检监 测的过程包括： 采集带有驾驶员脸部信息的图像得到人脸数据集并输出图像信息集； 读取所述图像信息集中的图像信息， 并将所述图像信息进行剪 裁处理， 得到样本数据； 搭建CNN卷积神经网络模型， 基于样本数据对所述CNN卷积神经网络模型进行训练及测 试， 得到眼部监测网络模型； 将实时获取的带有驾驶员脸部信 息的图像输入至所述眼部监测网络模型， 得到闭眼状 态参量； 根据所述闭眼状态参量， 利用眼睑闭合度的P80准则， 设定t0至t5为一个闭眼周期， t0至 t1为第一段睁眼所需时间， t1至t2为第二段睁眼所需时间， t3至t4为第三段睁眼所需时间， t4‑t5为第四段睁 眼所需时间， 计算闭 眼周期的眼睑闭合度： 计算闭眼时长： 计算在一个闭 眼周期内的眼睑闭合度值： 计算平均闭 眼时长： 权　利　要　求　书 1/4 页 2 CN 115439918 A 2式中， T为一个闭眼周期内的时长， n为闭眼周期 个数， 为第 个闭眼周期内眼睑覆盖 瞳孔的比例超过80%的时间， 其中i<n； 判断平均闭 眼时长是否超过 预设阈值， 若是， 则判断驾驶员为失能状态。 4.根据权利要求1所述的一种驾驶员状态的监测方法， 其特征在于， 所述头部姿态监测 的过程包括： 构建头部姿态网络模型； 根据所述头部姿态网络模型提取所述带有驾驶员脸部信息的图像中驾驶员的2D人脸 的关键点， 并将所述关键点与3D人脸模型匹配， 得到 3D空间的人脸关键点 通用坐标； 计算3D空间的关键点 通用坐标映射到2D人脸的关键点的旋转矩阵rot_vector； 将旋转矩阵rot_vector转化为空间坐标系中俯仰角 α、 偏航角 θ、 翻滚角γ， 得到驾驶员 头部姿态欧拉角； 判断驾驶员头部姿态欧拉角最大值是否大于等于预设阈值， 且持续时间超过预设阈 值， 若是， 则判断驾驶员为失能状态。 5.根据权利要求4所述的一种驾驶员状态的监测方法， 其特征在于， 所述构建头部姿态 网络模型， 包括： 将实时获取的所述带有驾驶员脸部信 息的图像输入至头部姿态网络模型中， 输出处理 后的驾驶员特 征图矩阵， 如下： 式中， 为输入图像的像素矩阵中的某i行j列元素， 为滤波器参数， b为偏置， 为 输出特征图矩阵参数； 根据所述特 征图矩阵得到所述头 部姿态网络模型的参数， 具体表达式为： 其中， a表示权 重， b表示偏置； ，权　利　要　求　书 2/4 页 3 CN 115439918 A 3