(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211030586.7 (22)申请日 2022.08.26 (71)申请人 南通大学 地址 226019 江苏省南 通市崇川区啬园路9 号 (72)发明人 王杰华　钱盼盼　卢春红　陈苏蓉　 韩秋云　 (51)Int.Cl. G06V 20/59(2022.01) G06V 40/16(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习与面部特征的疲劳驾驶 检测方法 (57)摘要 本发明涉及疲劳驾驶检测技术领域， 尤其涉 及一种基于深度学习与面部特征的疲劳驾驶检 测方法， 包 括： S1： 收集戴眼镜、 不戴眼镜、 戴墨镜 的疲劳驾驶视频， 并将视频分帧， 得到图像数据 集； S2： 训练人脸检测模型， 输入图像并检测出人 脸区域； S3： 训练人脸关键点与头部姿态学习模 型并部署， 输入 人脸区域图像得到人脸关键点与 头部姿态估计； S4： 针对眼部、 嘴部、 头部疲劳特 征评价指标给出疲劳判断。 本发 明主要是用深度 学习模型对目标驾驶图像进行检测， 具有无接 触， 成本低， 使用方便等特点。 通过对驾驶员 眼 部、 嘴部、 头部姿态等疲 劳特征进行检测， 对驾驶 员出现疲劳状态进行识别， 并做出报警响应， 能 够提高疲劳驾驶的检测速度和效率。 权利要求书2页 说明书5页 附图2页 CN 115393830 A 2022.11.25 CN 115393830 A 1.一种基于深度学习与面部特 征的疲劳驾驶检测方法， 其特 征在于， 具体步骤如下： S1： 收集戴眼镜、 不戴眼镜、 戴墨镜的疲劳驾驶视频， 并将视频分帧， 得到图像数据集； S2： 训练人脸检测模型， 构建并训练YOLOV5模型， 采用训练好的YOLOV5模型检测算法对 输入图像的人脸区域进行检测， 对识别出 的人脸进行对齐处理， 将对齐后的人脸图像进行 归一化处理并裁剪出人脸区域； S3： 训练人脸关键点与头部姿态学习模型并部署， 构 建并训练PFLD模型， 将通过YOLOV5 模型得到的人脸区域输入到PFLD模型， 使用PFLD模型对人脸关键点与头部姿态进行检测， 得到人脸的关键点及头 部姿态角信息； S4： 针对眼部、 嘴部、 头部疲劳特征评价指标给出疲劳判断， 采用PERCLOS评判准则 对眼 部信息进 行疲劳判定， 采用双阈值哈欠检测法对嘴部疲劳信息进 行疲劳判定， 采用pitch方 向上头部姿态角度的估计结果对头 部姿态进行疲劳判定； S5： 对于根据眼部关键点的位置信息， 计算 眼部纵横比EAR， 判断眼部纵横比是否小于 0.23， 左眼及右眼的EAR 需要分别计算； 如果小于， 则判断该张图像眼部为疲劳状态； 然后由 EAR值， 计算PERCLOS值， PERCLOS超 过40％且眼睛持续闭合的时间长于3秒， 则判定眼部处于 疲劳状态， 其中PERCLOS定义 为眼部为 疲劳状态的图像占所有图像的比例； 计算公式如下： 其中， EARleft为左眼的眼部纵横比， EARright为右眼的眼部纵横比； N表示单位时间内的 总帧数， fn表示单位时间段内是否属于闭眼， 如果处于闭眼状态， 则fn为1， 否则， fn为0， Pi(i ＝61,62,6 3， ......75)对应标注的眼部关键点； S6： 对于嘴部关键点信息， 计算嘴部纵横比MAR， 判断嘴部纵横比是否小于0.3， 如果小 于， 则判断该张图像嘴部为疲劳状态； 然后由MAR值， 计算PERCLOS值， PERCLOS 超过40％且嘴 巴持续闭合的时间长于3秒， 则判定嘴部处于疲劳状态， 其中， P ERCLOS定义为嘴部为疲劳状 态的图像占所有图像的比例； 计算公式如下： 其中， M表示单位时间内的总帧数， fm表示单位时间段内是否属于打哈欠， 如果处于打哈 欠状态， 则fm为1， 否则， fm为0， Pi(i＝88,89， ......95)对应标注的嘴部关键点； S7： 对于头部姿态， 采用pitch为头部姿态评价指标， 当pitch值大于10度且小于15度 时， 持续5帧为一次点头动作， 累计15次点头动作即视为疲劳状态； 当pitch值大于15度时， 持续5帧为 一次低头动作， 持续10次低头动作即可视为 疲劳状态； S8： 根据眼部、 嘴部、 头部的疲劳状态， 根据权值分配综合判断驾驶员的疲劳状态， 计算权　利　要　求　书 1/2 页 2 CN 115393830 A 2公式如下： W＝α Weye+β Wmouth+γWhead 其中， Weye表示眼部的疲劳状态， Wmouth表示嘴部的疲劳状态， Whead表示头部的疲劳状态， 将相关系统α、 β、 γ分别设为0.5、 0.2、 0.3； 当W大于等于0.5时， 则判断驾驶员处于疲劳状 态。 2.根据权利要求1所述的一种基于深度学习与面部特征的疲劳驾驶检测方法， 其特征 在于， 在S1中， 采用YawDD数据集， YawDD数据集为疲劳驾驶检测的标准数据集， 它包含不同 种族、 性别的驾驶员在不同环境下的驾驶视频， 包 含正常驾驶、 唱歌、 说话， 打哈欠场景。 3.根据权利要求1所述的一种基于深度学习与面部特征的疲劳驾驶检测方法， 其特征 在于， 在S2中， 人脸检测模 型， 采用Widerface数据集为训练数据集， FDDB数据集为测试数据 集。 4.根据权利要求1所述的一种基于深度学习与面部特征的疲劳驾驶检测方法， 其特征 在于， 在S3中， 对PFLD模型进行改进， 将PFLD 模型的主干网络Mobile  net替换为轻量级网络 Shuffle Net， 改进后的PFLD 模型所用数据集为WFLW数据集， 共有10000张图像， 其中7500张 作为训练集， 25 00张作为测试集。权　利　要　求　书 2/2 页 3 CN 115393830 A 3