基于驾驶员面部特征的疲劳检测系统研究

刘馨雨　李庭燎

摘 要：疲劳驾驶在我国的交通事故引发率居高不下，如何对驾驶员进行科学有效的疲劳驾驶检测并及时预警已经成为了当下热议的话题。为减少疲劳驾驶造成的交通安全风险，本文对基于驾驶员面部特征的检测方法进行了研究，通过对疲劳特征参数的提取克服了单一参数疲劳驾驶判断方法导致的判定精准度低等缺陷，且计算需求小，普适性能强。

关键词：疲劳驾驶 检测 PERCLOS 人眼定位

1 引言

在交通事故的伤亡事件中，由于驾驶员困倦、疲劳驾驶等原因所致的交通事故发生率迅速增加，并逐步成为引发交通事故的主要原因。在我国，每年有40%以上的道路交通事故是由大型汽车引起的，其中死亡的比例在21%以上；
如果是在高速上，时速超过160公里，那么一旦发生车祸，驾驶员的死亡率就会接近100%[1]。但是，在发生疲劳驾驶前，通过对驾驶员的实时监测，可以获取其以前的疲劳特性，并对其进行实时提醒，从而对其进行疲劳预警，如此一来，就可以将交通事故的发生率降到最低。

迄今为止，相关研究学者明确了许多人眼定位的方法。在此之中，具有较高代表性的方法为：Anber Salma等采用基于面部特征的Alexnet混合驾驶员疲劳和分心检测模型[2]；
Zhang Tao通过分析非侵入性头皮EEG信号来探讨基于样本熵特征的多核算法对疲劳和正常受试者的分类性能，构建基于样本熵的多通道脑电真实驾驶疲劳检测方法[3]；
Bala等相关学者在研究中明确了基于遗传算法等来支持分析眼睛定位[4]；
Wang等学者建立基于相位滞后指数的图形注意网络以用于检测驾驶疲劳。[5]；
Mamunur Rashid等学者基于随机子空间K-Nn的集成分类器，利用选定的脑电通道进行驾驶员疲劳检测[6]。总而言之，现在已开发的许多的眼部定位算法，其基本都具有较多的计算量，部分算法的实际应用十分困难，部分算法对脸部图像的转动、移动等的改变十分敏感，进而将致使算法效率的下降。

本篇文章明确的疲劳检测方法，对传统单指标疲劳检测方法进行改进，多层次运用了人脸分布特征。首先利用Dlib 库对人脸分布特征进行定位，在提高检测效率的同时减轻人脸分析工作量，实验显示，此方法可以较为精准地识别出人体疲劳状态，且运算量非常小、处理效率高、鲁棒性也非常好。

2 疲劳检测

2.1 疲劳驾驶的概念

疲劳驾驶一般是指在经历长期精神状态高度集中的行驶过程后，驾驶员所产生的生理和心理机能的双重失调。

根据现有的研究现状，驾驶员疲劳的检测方法主要分为三大类，分别是基于车辆状况的检测、生理信号的检测和基于驾驶员面部特征的测量。其中，基于车辆状态的检测包括驾驶途中车道偏移、方向盘转动幅度以及车辆的动态信息。引起疲劳驾驶的最主要因素在驾驶员而非车辆，如果根据车辆行驶状况进行判定是否疲劳驾驶，那么当车辆状况发生变化时，驾驶员可能已经处于疲劳状态有一段时间，所以该方法具有一定的延迟性，以至于错过预警的最佳时机。此外，个人的驾驶习惯和道路环境也会对检测精度有所影响，因此，该方法并不适合实时驾驶疲劳检测。生理信号的检测方法通常是基于驾驶员的生理信号，如脑电图、眼电图、肌电图等。疲劳状态可以通过频域分析和基于脑电或脑电的线性分类来评估。然而，这种检测方法需要应用许多传感设备甚至是可穿戴类的传感设备对驾驶員的生理特征开展检测记录，这对驾驶条件的要求过高，同时还可能会引起驾驶员的不适，由于这些约束条件，这类方法也很难实际运用到驾驶环境中。

与以上两种方法相比，基于驾驶员面部特征分析的检测方法具有不可代替的实时性、无接触和易实现等优势，当一位驾驶员处于疲劳状态时，他的面部状态往往和正常驾驶时有所区别，如眨眼频率加快、眼睛开合的幅度变小、打哈欠等，视觉方法可以较为准确地识别这些行为，并且不会因为设备安装对驾驶员造成影响。

2.2 疲劳驾驶的特征

从表现方式上划分疲劳驾驶特征，可以分为生理特征和心理特征两大类。根据驾驶员疲劳程度的不同，所表现出来的疲劳驾驶特征也有相应差异。在生理反映上会有以下的症状，如当驾驶员产生疲劳后，其生理机能就会下降，从而出现头重、心跳变快、呼吸加重，想喝水、食欲不振、出现气喘、胸口闷叹气、脉搏加速、打哈欠、频繁眨眼、手脚出现不适，表情变化、眼睛的视野逐渐缩小，视力下降，模糊、眼睛也会出现干红、耳内轰鸣、烦躁恍惚、定向障碍等等的情况。

在心理上也会出现以下的症状：如表现在例如注意力不集中，分散，大脑遗漏一些重要信息，错误信息的获取情况就会增多，思维出现反应迟钝，精神萎靡，能力下降，思维头脑混乱，判断失误，肢体出现动作僵硬，节奏变得紊乱，忘记甚至出现操作不规范，自我控能力下1.3疲劳驾驶的形成机理。

长期以来，交通运输行业被人们视为一种高强度的高风险行业。因为在车辆行驶的过程中，驾驶员需要时刻在维持对车辆周围环境的高度关注的同时进行驾驶操作，在这样的高压力状态下，驾驶员的大脑神经和感觉器官必须时刻处于判断车辆内外信息的高度兴奋状态，导致精神上更加容易产生疲劳。与此同时驾驶员在行驶过程中长期维持相对固定的姿势，血液循环受到阻碍，长此以往，驾驶人的肢体就会变得僵硬，进而产生身体机能上的劳累和疲乏。尽管我国已经出台了大量相关法规，但疲劳驾驶本身的隐蔽性和驾驶员个体对疲劳程度把握的不确定性导致疲劳驾驶酿成的惨剧时有发生，尤其是在近年来新冠疫情的爆发，驾驶员的行驶状态普遍向着低驾驶频率、长驾驶距离、长驾驶时间发展，导致疲劳驾驶的发生率增加显著。

3 疲劳检测方法

3.1 检测方法选择

梳理当下国内外针对疲劳驾驶检测领域的研究情况，可以发现针对驾驶员疲劳的检测方法主要可以划分为两大方向，即主观检测法和客观检测法。其中主观检测法是通过对驾驶员进行问讯、分析、估测、评价等以获取驾驶员疲劳状态，这种方法主要应用于道路交通执勤等方面。客观检测法则着眼于通过对行驶过程中相关数据进行收集和评估，从而判断驾驶员当下状态是否可以被判定为疲劳。得益于客观检测法不会受到驾驶员和问讯者的主观意识干扰，且精确性和实时程度都具有显著的优越性，目前它已经成为了疲劳驾驶检测的主要研究方向。

3.2 客观检测方法

客观检测法可以向下细分为三种主流检测方向，即基于机动车行为特征的检测方法、基于驾驶员生理特征的检测方法以及基于驾驶员面部特征的检测方法。其中，基于机动车行为特征的检测包括驾驶途中车道偏移程度、车身摇摆情况以及车辆加速度变化情况等。其优点是可以容易地获取车辆特征参数以进行检测，但缺点是在车辆状况异常时，司机一般已经处于重度疲劳状态，不能及时预警。因此，该方法在实时驾驶疲劳检测中并不适用。生理信号检测法通常是基于驾驶员的生理信号，例如脑电信号等。虽然精度和及时性较高，但这种检测方法需要配备大量传感或者穿戴性的相关生理指标检测设备。目前置办相关设备成本较高，而且诸多设备可能对驾驶员带来不便，难以大规模应用到实际。

相比以上两种方法，基于驾驶员面部特征的检测方法以摄像头等无接触下仍可起效的图像传感器获取驾驶员面部状态，运用机器视觉对驾驶员特征进行提取和分析。这种方法对成本要求低，且具有不可代替的实时性、无接触性等优势，适合以大规模应用为研究方向的疲劳驾驶检测系统进行采用。

3.3 基于驾驶员面部特征的检测方法

基于面部特征的检测方法具体指的是利用摄像机等图像传感器采集的人脸视频，利用计算机视觉中的人脸识别、面部特征点定位等技术，对司机面部的注视方向、眼睛张开程度（EAR）、眨眼频率、单位时间内眼睛闭合程度（PERCLOS，在眼部特征中，PERCLOS值被认为是最有效的特征参数之一）、嘴巴开合度（MAR）等相关情况进行识别，应用算法将所采集特征开展驾驶员疲劳驾驶检测。

通常，司机在睡意袭来前会有一个显著的早期疲倦。经研究表明，形成疲劳的主要顺序是从上至下发展。先从面部开始感到疲劳，然后向下发展到颈部和肩部，最后到腰部等。因此先从人脸入手进行疲劳驾驶检测，有助于在疲劳发生的第一时间发现状况并做出疲劳驾驶预警。人在疲惫的时候，会很难睁开双眼，闭上的时间比平时要长，这是每个人在犯困的时候都会表现出来的。因此，对于眼睛疲劳特征的提取与分析，具有较高的普遍性和可靠性。与之比较，人在疲倦状态下的打哈欠、困倦时的行为特点具有显著的个性差异，且在不同的疲劳水平下，其结果差异也很大，从而影响了疲劳探测的精确度，因此，作为辅助判定条件降低漏检率可以提高准确度。所以本篇文章明确了一种疲劳检测方法，该方法结合三种检测方法，通过检测人脸，截取疲劳特征重要部分，对眼嘴状态从简单的开合分类改为正常特征和疲劳特征进行分类，最后结合闭眼百分比、持续闭眼时间和持续哈欠时间判定疲劳状态，在提高检测效率的同时兼顾检测准确性。

4 基于多特征融合的疲劳检测

4.1 dat库

Dlib库是一种以C++为基础的开放源码工具库，里面有大量的机器学习算法和模型，自2002年以来，Davis King一直是Dlib的主要作者。Dlib为每个类和函数提供了完整的文档说明。同时还提供了debug模式，打开debug模式后，开发者能够调试代码，查看变量和对象的值，快速定位错误点。不依赖第三方库，无需安装和配置，并且在windows，Mac OS ， Linux系统中也能够进行轻松驾驭。截止2022年5月12日，github上已有个11.1Kstart， 用户量14K，贡献者161人，可见受欢迎程度还是挺不错的，人脸识别只是它其中的一个子集，与tensorflow、PyTorch相比，Dlib在图像处理、分类、对比等领域有着广泛的应用价值。Dlib库中的dat模型库可以检测出被测对象的面部特征点，Dlib库采用68点位置标志人脸重要部位，比如18-22点标志右眉毛，51-68标志嘴巴。

Dlib实现思路从人脸检测，人脸对齐，人脸表示和人脸匹配5个部分来进行实现。并将其按照一定的次序排列，从而获得人脸特征点坐标、人脸框和人脸角度等重要信息。其中以人脸对齐（Face Alignment）和人脸表示（Face Representation）最为关键。其一人脸对齐，在通过外部设备获取人脸信息后，在待识别区域中初步提取人脸特征点，检测是否存在人脸信息，若结果为是则以基本特征点为依据对目标进行归一化处理，使人臉区域的尺度和角度与库中模型相匹配，方便后续操作中的精确特征提取。人脸对齐的最终目的是在已知的人脸判别方框中提取人脸特征点，从而达到定位人脸的精准形状。人脸对齐方法主要可以划分为两大类：基于优化的方法和基于回归的方法。基于优化的方法主要来自深度网络模型，比如卷积神经网络（CNN）、深度自编码（DAE）和受限玻尔兹曼机（RBM）等来建模人脸形状和表观的变化，进而获得人脸表观到形状的非线性映射。基于优化的方法可以看做是学习一个回归函数，以图像输入，输出特征点的位置（人脸形状），构造一个级联回归模型。其二人脸表示是指从人脸对齐中归一化的人脸区域中进行特征提取从而得到特征向量。在Dlib库中，可以将重要的68个特征点（landmark）进行特征向量化，再通过opencv对视频流进行灰度化处理，并输出这些特征点的坐标，可以得到68个特征点位置的坐标，根据这些数据，可以有效地检测出人脸的表情状态，从而节省计算费用，从而获得更多的人体生理状态和精神状态等信息，及时对司机做出疲劳预警。

4.2 多特征的驾驶员疲劳综合检测方法

在当前的一些国际研究中，有很多的驾驶员疲劳综合检测方法，例如日本Canon KK基于脑电波这一高度精确的生理参数，设计了基于ZigBee的车载疲劳检测方案。其发明的防瞌睡装置在不降低疲劳驾驶识别率的前提下实现了驾驶员疲劳状态的外置快捷检测。但此类采用单一检测指标的检测方案，其检测结果的可靠性往往基于脑电波等检测成本较高的生理参数，否则容易因环境干扰而明显降低[7]。而通过检测驾驶员瞳孔直径、头部姿态、凝视方向等多个驾驶员面部特征信息并进行融合分析，不仅相较单一特征检测方法控制了成本，还通过多特征综合检测进一步增强了检测结果的可靠性。

为了进一步在控制成本的基础上保证检测准确性，本文考虑构建基于多特征的驾驶员疲劳综合检测方法，采用人脸图像的图像序列进行疲劳检测。在此基础上，利用大量的关键点进行人脸识别，从而有效地克服了因每个任务收敛速度的差异所带来的优化问题，同时通过对人脸图像的实时分析，分别计算出眼部、嘴部和头部的疲劳指数。通过对上述三种特征进行加权，估计出融合特征值。最后，根据驾驶员的疲劳综合评价模型，对融合特征量的帧数进行评价，从而得出驾驶员的疲劳水平。该方法能有效地提高驾驶员的疲劳识别率，并能有效地实现多种判定指标的融合，能够显著遏制传统疲劳检测方法中因佩戴眼镜、口罩等干扰而导致的检测准确度大幅下降。

5 疲劳检测原理

5.1 眼部检测原理

眼睛长时间闭合和在特定的时间内眨眼次数增多是人体眼部疲劳的重要表现。在基于眼部特性的识别中，最先对眼部疲劳进行了研究的学者是Walt Wirewille。他率先采用仿真比较实验来探讨了在光线下人的眼睛和疲劳之间的关系，结论显示眼睛的闭合时间和疲劳的程度存在显著的正相关关系[8]。基于这个理论，卡内基梅隆研究所通过多次实验，发现了一个可以用于对人体疲劳进行眼部度量的物理量PERCLOS，其被定义为一段时期内眼睛闭合时长所占的百分比。故可针对PERCLOS 原理，按照眼睛闭合程度设计划分3种标准，依次为：P70是根据 PERCLOS的基本原则而设计的，P70是在瞳孔的面积被眼睑覆盖70%以上的情况下，即为判定闭上眼睛，计算眼睛闭合在一定时间内所占比值。P80是指当瞳孔被眼睑覆盖80%以上的时候，即判定为眼睛闭合，计算眼睛闭合在一定时间内的比值。EM是指在一定的时间里，当瞳孔的面积被眼睑覆盖50%以上的时候，计算眼睛闭合在一定时间内的比值。研究表明，P80是衡量人体疲劳程度的重要标准，远优于其他标准，是研究人员常用的评价标准。在本文的操作过程中，首先根据dat模型库六个眼睛的关键点对司机的眼睛进行定位；
其次，双眼闭合的时候，上、下眼皮的特征点间距减小，等于眼睛的长宽比发生变化[9]，可向SVM分类器中输入 HOG特征，从而对眼睛状态进行识别，以便计算PERCLOS值；
最后，将PERCLOS与所设定阈值进行比较，若大于所设定阈值，则判断司机产生睡意。这种方法可以实现对人的眼睛状况的快速检测，并能实现对驾驶员的实时预警。P80标准的 PERCLOS数值由以下公式进行计算：

其中其中P为P80标准的PERCLOS数值；
TC代表眼睛闭合时长；
TA代表单位检测时长。实际操作中由于多种因素影响难以得到具体时长，也可将时间比转为对应帧数比进行操作。

5.2 嘴部检测原理

人体嘴部疲劳检测操作原理与人眼检测近似。人在打哈欠的时候，嘴部变化幅度相较正常说话及饮食具有显著增大。所以，嘴巴的张开程度是最直观的指标。计算公式如下：

其中O为嘴部张合度；
L代表嘴部上下高度值；
W代表嘴部左右角宽度。

疲劳主要是以打哈欠为嘴部表现，通过分析了解到，人打一次哈欠，嘴部张大闭合活动的全过程时间大约6.5s。可以设置30s 内检测到嘴部张合度大于阈值0.6且超过阈值时长比（也可在条件欠缺时采用帧数比）超过20%判定为疲劳并发出预警。

5.3 头部检测原理

传统的头部姿态算法主要是由脸部识别出关键点，然后采用平均头部模型进行二维到三维的匹配，这就相当复杂了。为此，本文采用了头部姿态估计（HPE）的方法。该方法首先通过参考 dat模型库进行2D 人脸关键点检测，然后通过3D形变模型（3DMM）模拟出相应的3D脸模型，通过3D人脸模型的匹配，求解3D点与2D点之间的转换关系，接着利用 OpenCV中的求解 PnP 问题的函数 solvePnP（），得出了低头欧拉角、头部倾斜欧拉角 、转头欧拉角等参数，以此来判定头部的状态。

在头部姿态的检测中，当驾驶员出现疲劳时，头部的情况也会发生相应的改变，驾驶员的疲劳状态主要表现在头部则会发生侧倾，比如不停的点头，或者是很久没有变化姿势等[10]。从而可以将点头频率、头部姿态角、视线偏差等视为疲劳的特征。根据以上情况，可以根据驾驶员头部为起始坐标建立三维空间直角坐标系，检测驾驶员头部偏侧情况。通过测量驾驶员单位检测时间头部起始坐標和最大偏移坐标，以头部起始坐标为无偏角度，计算最大偏移坐标与起始坐标的偏离程度以求出偏侧角度，根据头部偏移细分情况参照低头欧拉角、头部倾斜欧拉角、转头欧拉角等参数。当角度超过设定值时，可检测得知驾驶员处于疲劳驾驶状态。本文将低头欧拉角|Pitch|≥20°或者头部倾斜欧拉角|Roll|≥20°设立为头部的疲劳特征。判定当驾驶员的头部疲劳持续时间达到30%的时候，驾驶员处于疲劳状态。

6 结语

针对疲劳特征参数单一、识别精度低的缺点，本文提出了一种以眼部疲劳特征为主，嘴部和头部疲劳特征为辅的多面部特征融合的疲劳检测方法，通过加入疲劳特征参数的提取，克服了单一疲劳因素判断疲劳所带来的低精度问题，并通过简单的算法减少了在一些设备上的运行压力，能够更好地避免司机的疲劳驾驶事故，特别适用于外出工作的消费者、运输服务行业、大型汽车制造商等，具有很好的推广应用价值。

基金项目：2021年江苏省大学生实践创新训练项目“大学生创新创业训练计划项目进度及经费预算表”（2021AX08006C）。

参考文献：

[1]辛嵩，宋明达，王泽明，赵刚.针对特定驾驶员的疲劳驾驶检测方法[J/OL].安全与环境学报：1-8[2022-12-25].DOI：10.13637/j.issn.1009-6094.2021.1527.

[2]Anber Salma，Alsaggaf Wafaa，Shalash Wafaa. A Hybrid Driver Fatigue and Distraction Detection Model Using AlexNet Based on Facial Features[J]. Electronics，2022，11（2）.

[3]Zhang Tao，Chen Jichi，He Enqiu，Wang Hong. Sample-Entropy-Based Method for Real Driving Fatigue Detection with Multichannel Electroencephalogram[J]. Applied Sciences，2021，11（21）.

[4]Bala，J.W.，Jong，K.A.，Huang，J.，Vafaie，H.，& Wechsler，H. （1996）. Visual routine for eye detection using hybrid genetic architectures. Proceedings of 13th International Conference on Pattern Recognition，3，606-610 vol.3.

[5]Wang Zhongmin，Zhao Yupeng，He Yan，Zhang Jie. Phase lag index-based graph attention networks for detecting driving fatigue.[J]. The Review of scientific instruments，2021，92（9）.

[6]Mamunur Rashid，Mahfuzah Mustafa，Norizam Sulaiman，Nor Rul Hasma Abdullah，Rosdiyana Samad. Random Subspace K-NN Based Ensemble Classifier for Driver Fatigue Detection Utilizing Selected EEG Channels[J]. TS，2021，38（5）.

[7]張博，李鸿，李会超.基于多类别特征融合的疲劳检测系统研究[J].现代电子技术，2019，42（01）：152-156.DOI：10.16652/j.issn.1004-373x.2019.01.034.

[8] WIERWILLE W，KNIPLING R.Vehicle- based drowsydriver detection：current status and future prospects[C]//Proceedings of the IVHS America Conference，1994：245-256.

[9]刘超，蔡文华，陆玲.图像阈值法分割综述[J].电脑知识与技术，2015，11（01）：140-142+145.DOI：10.14004/j.cnki.ckt.2015.0048.

[10]孟子诤，刘金明，刘厚军.机车司机疲劳检测系统研究与应用[J].中国铁路，2013（05）：105-108.DOI：10.19549/j.issn.1001-683x.2013.05.032.

猜你喜欢检测QC 检测中国设备工程(2022年12期)2022-07-11“不等式”检测题中学生数理化·七年级数学人教版(2021年6期)2021-11-22“一元一次不等式”检测题中学生数理化·七年级数学人教版(2021年6期)2021-11-22“一元一次不等式组”检测题中学生数理化·七年级数学人教版(2021年6期)2021-11-22“几何图形”检测题中学生数理化·七年级数学人教版(2020年12期)2021-01-18“角”检测题中学生数理化·七年级数学人教版(2020年12期)2021-01-18“有理数的乘除法”检测题中学生数理化·七年级数学人教版(2019年9期)2019-11-25“有理数”检测题中学生数理化·七年级数学人教版(2019年9期)2019-11-25“角”检测题中学生数理化·七年级数学人教版(2019年12期)2019-05-21“几何图形”检测题中学生数理化·七年级数学人教版(2019年12期)2019-05-21