基于深度学习的疲劳检测算法.pdfVIP

基于深度学习的疲劳检测算法

作者：陈之坤迟万达高尚刘晓欣范迪

来源：《计算机与网络》2020年第08期

摘要：为了实现对驾驶员驾驶状态的检测预警，避免发生交通事故。提出了一种基于改进

多任务级联卷积神经网络（Multi-TaskConvolutionalNeuralNetworks，MTCNN）人脸检测及

多特征融合的疲劳检测方法。算法利用改进的MTCNN进行人脸检测和面部9个特征点定位；

基于特征点确定出嘴巴、眼睛区域输入多尺度深度可分离卷积神经网络（Multi-ScaleDepth

SeparableNetworks，MSDS-Net），以识别嘴巴和眼睛的状态。算法融合眼睛闭合率

（ECR）、嘴巴张合率（MCR）和头部非正脸率（NFR）三个特征参数并进行疲劳状态判定，

在YawDD数据集和课题组自制数据集上查准率和查全率分别为96.22%，98.08%。

关键词：多任务级联卷积神经网络；人脸检测；疲劳检测；MSDS-Net；YawDD

中图分类号：TP391.4文献标志码：A文章编号：1008-1739（2020）08-68-4

引言0

疲劳驾驶是引发交通事故的重要因素[1]，实时疲劳状态检测对减少交通事故非常重要。

目前，疲劳检测的方法主要有基于驾驶员生理参数的检测方法[2]、基于驾驶行为及车辆状态

的检测方法[3]和基于驾驶员视觉特征的检测方法[4]3种。传统的基于驾驶员视觉特征的检测算

法容易受光线、姿势等因素的影响，以及单一指标判别造成检测准确率、鲁棒性低等问题。基

于以上问题，提出了基于深度学习的疲劳检测改进算法，使用卷积神经网络对驾驶员的眼睛、

嘴巴、头部进行多特征的提取与状态的识别，实现多特征融合的疲劳状态的判定。

基于人脸检测及多特征融合的疲劳检测算法1

基于深度学习的疲劳检测算法分为人脸及特征点检测定位模块、特征状态识别模块和疲劳

状态判定模块，如图1所示。

改进1.1MTCNN人脸及特征点检测定位模型

MTCNN是一種基于多任务级联的卷积神经网络，网络框架如图2所示，主要包括P-

Net，R-Net，O-Net。将原始图像缩放得到图像金字塔，通过P-Net检测出大量候选框；通过

R-Net对候选框的进一步调整；通过O-Net对预测框进行更精确的定位，最终输出边界框坐标

和特征点信息。

对MTCNN模型进行改进，在原有5个特征点（左右眼睛、左右嘴角、鼻尖）的基础上增

加4个特征点（眉心、左右脸颊、下巴中心点）进行训练，目的是为了更准确实现头部姿态的

判定。同时，在O-Net网络结构中添加多尺度池化层增强网络对多尺度特征图的处理能力，提

高网络检测精度。同时，修改O-Net网络中的任务权重，使之侧重训练特征点，以得到更加准

确的特征点定位，为后续特征的提取做好准备，MTCNN三层网络结构以及O-Net网络的改进

部分如图3所示。

基于1.2MSDS-Net的眼嘴状态识别模块

提出了基于MSDS-Net实现对眼睛和嘴巴状态的识别，眼睛与嘴巴的识别方法相同。网络

仅使用3×3的深度可分离卷积，在maxpooling前将多个3×3卷积堆叠在一起，组成卷积块结

构。

网络使用了BatchNormalization对数据流进行优化，同时设置Dropout为0.25的随机失活

系数，防止网络过拟合[5]，优化方法使用了适应性矩阵估计（AdaptiveMomentEstimation，

Adam）方法。

头部姿态识别模块1.3

多特征融合的疲劳检测算法2

依据网络识别出的眼睛、嘴巴和头部姿态，本文借鉴PERCLOS准则，设定ECR，

MCR，NFR三种特征指标，通过多特征指标融合策略进行驾驶员疲劳程度的判定，疲劳判定

模块流程图如图5所示。

2.1PERCLOS

PERCLOS是在单位时间内眼睛闭合时间所占的百分比[6]，有P70，P80，EM三种标准。

P80标准认为眼睛开度低于20%为闭合状态，高于80%为睁开状态。原理如图6所示，计算公

式如式（2）所示。