0 引言
基于车辆行为的疲劳驾驶检测通过对比疲劳驾驶与正常驾驶时车辆运行状态数据的差异，如车速、刹车、油门等数据，建立疲劳驾驶状态识别模型。相关研究有：蔡素贤等提出基于CAN总线采集的车辆运行状态数据，提取18项驾驶行为相关特征，采用随机森林算法识别疲劳驾驶行为，识别准确率为78.5%[6]；Li等提出一种基于方向盘角度的递归神经网络疲劳驾驶检测方法，采用信息增益法来发现潜在特征与疲劳水平之间的强相关性，从而获得表示驾驶员疲劳状态的最佳特征表示[7]。现实中，基于车辆行为的疲劳驾驶检测易受到周围环境、车辆特性、驾驶员的操作水平以及驾驶习惯等因素的影响，涉及的定位技术设备大多精度不高，且采用单一的定位系统，当车辆处于高楼山体环绕、隧道等环境时，难以获取车辆定位信息。
基于驾驶员面部特征的疲劳驾驶检测主要依赖于图像检测，多基于深度学习方法。相关研究有：马雪婷等提出一种基于深度学习的疲劳驾驶检测模型，利用Python和Caffe深度学习框架实现疲劳驾驶检测，具有较好的准确率和鲁棒性[8]；Zhang等提出根据顺序前向浮动选择算法的接纳和拒绝准则，利用不同特征参数组合建立了基于支持向量机的疲劳驾驶检测模型，并将PERCLOS准则应用于卷积神经网络训练，在不同光线下，能在综合人脸特征的基础上识别人脸的疲劳状态，提高了算法的鲁棒性，但没有考虑到面部被遮挡的场景[9]；Zhuang等提出基于瞳孔和虹膜分割的眼睛开合度疲劳驾驶检测方法，在包含白天及夜晚模拟驾驶数据的NTHU-DDD数据集上检测准确率可达96.72%[10]。现实中，基于面部特征的疲劳驾驶检测易受复杂环境和光线的干扰，在夜间环境、头部旋转过大、面部被遮挡时，均会导致算法精度下降。
整体上，现有疲劳驾驶检测方法大多依赖单一数据源。另外，基于车辆行为的疲劳驾驶检测方法的准确度易受定位设备精度的影响；基于驾驶员面部特征的检测方法的准确度则易受光线条件的影响，在复杂交通场景中检测准确度可能会下降。鉴于两类方法各有利弊，将车辆行为、驾驶员行为等多方面信息进行整合的多技术融合识别系统是一种新思路，以期更好地适应不同的驾驶条件，并有望在实际交通场景中更全面地捕捉疲劳迹象，从而获得更可靠的检测结果。为探索更加可靠的疲劳驾驶行为检测方法，提高道路交通安全性，本文将选择高精度定位设备与视觉检测设备采集车辆轨迹数据和驾驶员面部信息，并基于多源数据提取疲劳特征，通过数据融合技术提出一种高速公路疲劳驾驶行为检测方法，充分考虑定位、视频设备工作状态不稳定对疲劳驾驶行为识别产生干扰的场景，实现疲劳驾驶行为智能识别，以提升复杂场景下疲劳驾驶检测的精度和可靠性。为提升SVM算法的分类准确度并缩短运算时间，在支持向量机中加入量子粒子群优化算法，提出一种改进的数据融合算法，最后通过实车试验验证模型的精度和可靠性。
1 驾驶员人脸检测与定位算法
1.1 驾驶员人脸检测算法
1.1.1 基于MTCNN+FaceNet的驾驶员身份识别算法
基于多任务卷积神经网络（Multi-task Convolutional Neural Network, MTCNN）的人脸检测网络可用于检测图像中的驾驶员人脸。该网络包含P-Net、R-Net和O-Net三层结构，是一种基于深度学习且兼顾人脸检测和人脸对齐的算法。与传统算法相比，MTCNN网络结构轻量精简、检测速度快且召回率高。FaceNet人脸识别网络是一个多用途的识别系统，可以同时用于人脸验证、识别和聚类。用于人脸验证时，FaceNet通过将输入的人脸图像映射至欧几里得空间，根据类内距离近、类间距离远的原则，计算对比两张图片间的欧氏距离以判断是否为同一个人：若欧氏距离大于阈值1.1，即表示待检测人脸非已知人脸，否则是已知人脸。
本文运用面向驾驶员脸部的视频拍摄设备实时获取驾驶员面部图像，输入 MTCNN进行驾驶员人脸框的信息提取，接着将提取到的信息输入 FaceNet 身份识别网络，将人脸图像数据特征向量化，生成 128 维的特征向量，运用欧氏距离计算公式判断待检测驾驶员人脸是否为已知人脸，识别准确率可达99.63%。
1.1.2 基于改进的PFLD人脸关键点检测算法
在确认驾驶员身份的基础上，开展人脸关键点检测。为克服现有人脸关键点检测算法易受光照分布、人脸表情、拍摄视角等多种因素干扰的不足，提出改进的实用面部特征点检测器（Practical Facial Landmark Detector, PFLD）98点人脸关键点检测算法，其网络结构如图1所示。
在提升人脸关键点检测网络准确度的同时，为保证算法的实时性，运用ResNet 50主干网络替换PFLD人脸关键点网络中原本的主干网络MobileNet-v2。深度残差网络（Residual Network, ResNet）可用于解决随着深度学习网络的加深，训练集准确度不提升的问题[11]。ResNet网络的核心结构即残差结构，主要设计包括快捷连接和恒等映射。另外，预测人脸关键点时，对于训练中预测值和实际值差异不大的点，要求算法具有更高的识别敏感度，而传统的损失函数只对误差范围较大的样本比较敏感，造成回归效果差，而wing loss损失函数的出现很好地解决了这一问题[12]。本文通过面向驾驶员脸部的视频拍摄设备实时获取驾驶员面部图像，并输入改进的PFLD人脸关键点检测网络，经ResNet 50主干网络减少运算参数，提取驾驶员人脸特征后，通过辅助网络回归并定位98个人脸关键点，最终将原始图像与提取的98个人脸关键点合成并输出。改进的PFLD算法在强光照、夜晚光线下、头部姿态变化等情况下均可有效识别98个人脸关键点，为后续相关场景下的疲劳特征检测准确度提升奠定了基础。
1.2 高精度定位技术
现有定位设备大多采用GPS导航系统，其定位精度在米级，在车辆轨迹识别方面的定位精度不够高。另外，目前主流数据传输方式为电台通信和全球移动通信系统（Global System for Mobile Communications, GSM）短信通信，均受限于通信距离和通信数据容量，导致通信能力差、数据传输效率低。与GPS定位相比，北斗导航系统具有更多的卫星覆盖和更好的抗干扰能力，能提供更可靠、更精确的位置信息。同时，实时动态（Real-time Kinematic, RTK）技术利用两个接收机之间的载波相位差分来消除大气延迟等误差，可进一步提高定位精度。因此，本文基于北斗导航系统和 RTK载波相位差分技术，自主开发高精度定位设备，可将定位精度提升至厘米级[13]。本文设计的终端系统由基准站、移动站、后台监控中心、通信网络、PC端等5部分组成，部分设备工作示意图如图2所示。
高精度定位设备的工作原理是：将基准站放置在已知坐标点上，提供差分修正数据；将移动站安置于用户侧，即置于行驶车辆中，利用RTK技术得到差分修正数，再利用通信模块将差分修正数据传送至后台服务器，由后台监控中心进行数据校验，同时移动站接收北斗卫星单点定位数据，结合接收到的差分修正数据计算移动站的厘米级相对位置，并将其打包后通过串口传输到PC端。
配备所设计的高精度定位装置，可实现厘米级相对位置的车辆定位。由于接收的定位坐标随高精度定位设备的天线位置变化而变化，故可将行驶中的车辆看作点，实时获取车辆的经纬度坐标，误差范围为1~5 cm。
2 疲劳驾驶检测方法
2.1 疲劳驾驶检测思路
首先，借助机器视觉法，实现对驾驶员的身份识别、人脸关键点检测、疲劳特征提取。然后，将人脸特征、疲劳特征数据及高精度定位设备输出的实时轨迹数据输入改进支持向量机（Support Vector Machines, SVM）数据融合算法，检测驾驶行为。检测流程如图3所示。
1）先运用MTCNN检测图像中的人脸，再将检测到的人脸数据输入FaceNet检测网络以确认驾驶员ID。
2）记录该驾驶员的驾驶轨迹和时长；输入改进PFLD人脸关键点检测网络并输出描绘人脸的98个关键点信息。
3）将疲劳特征指标数据输入改进的SVM数据融合算法，实现疲劳驾驶的智能识别。
2.2 疲劳特征检测
2.2.1 轨迹疲劳特征
通常车辆行驶轨迹是无规律的，但其在平行于道路路面、垂直于道路路面方向上呈现出一定的空间变化特性。基于汽车动力学建立相应的空间车辆行驶轨迹坐标系：考虑实际驾车时的前行运动和侧向运动两个自由度，设x轴正方向为汽车行驶正方向，y轴为汽车横向偏移方向，则车辆运行轨迹方程为：
式（1）中： 为车辆运行轨迹； 为车辆沿x轴的运动轨迹； 为车辆沿y轴的运动轨迹。
基于控制学理论，在车辆运行的某一瞬间，将车辆运行控制的目标视为道路曲线中的一个特定点。在这个理论框架下，车辆所处位置与车辆运行控制所产生的偏差相对应。在理想状态下，车辆与其预定行驶轨迹应当重合。但实际行驶过程中，由于驾驶员操作等原因往往会产生车辆横向位移偏差 ，故实际车辆运动矢量方程如式（2）所示：
式（2）中： 为车辆沿x轴的横向位移偏差； 为车辆沿y轴的横向位移偏差。
相较于 ， 误差大小差异较大，故选取 作为判定车辆行驶轨迹异常的第1个数据融合输入值。
发生变化的情形主要可分为三类：正常驾驶、避障/换道驾驶及疲劳驾驶。正常驾驶时， 变化曲线波动速度、频率都比较稳定；换道或避障时， 会出现急剧变化；疲劳驾驶时， 变化曲线波动平缓，故提出纵向位移波动斜率（Slope of Longitudinal Displacement Fluctuation, SLDF）指标，用于表征疲劳驾驶行驶轨迹的疲劳特征，可作为数据融合的1个输入值。
SLDF在正常驾驶或换道/避障时的斜率绝对值均显著大于疲劳驾驶时的斜率绝对值，其计算公式为：
式（3）中： 为纵向位移波动斜率绝对值； 和 分别为T时刻和T-1时刻车辆位置在车辆行驶轨迹坐标系中的y轴投影值； 和 分别为T时刻和T-1时刻车辆位置在x轴的投影值。
2.2.2 眼部疲劳特征
眼睛闭合次数占比（Percentage of Eyelid Closure Time, PERCLOS）是目前表征眼部疲劳特征的指标中具有权威性的疲劳状态判定指标[14]。从视频拍摄角度出发，当人体疲劳时，眼睛闭合的画面帧数在同等时间内相对于总帧数的比例会显著增加。PERCLOS的计算公式为：
式（4）中： 为眼睛闭合次数占比； 为单位时间内闭眼帧数； 为单位时间内总帧数。
2.2.3 嘴部疲劳特征
嘴部方面，人体在疲劳时会出现频繁打哈欠现象，可通过嘴部的开合程度来描述。嘴部关键点如图5所示。根据嘴部的几何特征引入嘴部长宽比（Mouth Aspect Ratio, MAR）对驾驶员嘴部打哈欠状态进行判断。嘴部长宽比 MAR按式（6）计算。当嘴巴张开时，因人的个体差异，MAR 在1~2之间波动；当嘴巴闭合时，MAR 迅速减小，理论上会接近于 0。通过张嘴行为持续的帧数，对嘴巴张开次数占比设置适当阈值，判断驾驶员是否存在打哈欠行为。
2.2.4 头部疲劳特征
人体在疲劳驾驶时易出现不规则的朝前、朝左、朝右的点头行为。记录一定时间内在面部采集视频中出现的点头行为的频次及其角度，来判断驾驶员的疲劳状态。
通过驾驶员点头次数占比来判断驾驶员是否存在疲劳驾驶状态下不规则的点头行为。点头次数占比计算公式为：
式（7）中： 为点头次数占比； 为单位时间内点头帧数； 为单位时间内总帧数。
利用欧拉角[16]来判断驾驶员的点头行为，其中考虑到朝左、朝右、朝前的点头行为，计算会用到pitch（俯仰角）、roll（翻滚角）指标。首先，pitch借鉴PERCLOS思想，将驾驶员头部角度超过正常范围的80%定义为异常角度。具体而言，在判断异常角度时，规定当驾驶员头部俯仰角平均变化大于25°时，可以判定为驾驶员出现了异常头部角度；其次，针对roll指标，设定适当的阈值来衡量驾驶员头部旋转角度，当翻滚角平均变化大于15.4 °时，判定为驾驶员的头部异常角度。
2.3 数据融合算法
目前，针对疲劳驾驶检测场景下的多源信息融合方法已有决策树法、BP神经网络法、随机森林法等，其融合驾驶员面部、心率、脑电等信息进行疲劳驾驶检测。现有数据融合算法对于数据间的独立和关联因素、算法实时性要求不高，会导致算法对数据关联性不够敏感，检测准确率较低。
本文所用高精度定位设备、图像设备输出的4个疲劳特征指标具有关联性，同时考虑到疲劳驾驶行为具有时序性且数据离散，故基于支持向量机分类算法并加入量子粒子群优化（Quantum Particle Swarm Optimization, QPSO）算法，辅助SVM模型更快更准确地找到最优核函数参数和惩罚因子，得到改进后的SVM数据融合算法，获得最终的疲劳驾驶识别结果。
2.3.1 轨迹及图像数据提取
1）轨迹数据提取：根据提出的SLDF纵向位移波动斜率，高精度定位设备输出数据频率为5 Hz，即每秒输出5个轨迹数据，考虑到行驶轨迹的连续性、疲劳驾驶的时序性及与视频数据输出的同步性，以30 s为周期，提取轨迹数据，作为后续数据融合算法的1个输入值。
2）图像数据提取：运用上述疲劳特征检测方法提取眼部、嘴部、头部3个指标特征，分别进行时序性处理，得出对应的3个数据融合输入值。
2.3.2 改进的SVM算法原理
支持向量机SVM是一种二分类模型，由决策面和分类间隔构成，其中决策面是在多维空间中寻找一个平面将所有样本划分成非0即1的两类；分类间隔运用决策面到最近样本点的距离来衡量决策面的性能好坏。本文数据类型为四维向量，运用核函数解决非线性分类的关键问题。
选用SVM作为疲劳驾驶检测的数据融合方法主要有以下优势：
1）SVM在小规模训练样本的基础上表现出色；
2）时间复杂度低、数据计算量小，可保证算法的实时性；
3）不依赖于大规模训练数据量，可有效帮助抓取关键样本，剔除大量冗余样本。
2.3.3 数据融合流程
基于改进的SVM分类器实现疲劳驾驶与正常驾驶的判别，运用量子粒子群优化算法提升SVM训练样本的准确度和速率，计算出分类超平面。
训练样本数据如下：
式（8）中： 为数据融合输入值，包括2.2.1节中基于轨迹数据的侧向位移斜率指标SLDF以及基于图像数据的眼部、嘴部、头部特征3个指标，共计4个指标值； 为驾驶状态类别，其中“-1”表示非疲劳驾驶，“1”表示疲劳驾驶；i为训练样本个数； 为N维实数集。具体参数设置如表1所示。
表1 SVM训练参数 |
| 参数名称 | 参数设置 | 备注 |
|---|---|---|
| SVM类型 | C-SVC | 允许对两类样本采用不同的惩罚因子 |
| 核函数 | Gauss径向 基核函数 | 核函数矩阵 |
| 特征向量维数 | 为Gauss径向基中的参数 | |
| 损失函数 | 1 | |
| 允许终止 判据 | 0.001 | |
| 输入输出 结果 | -1，1 | 非疲劳驾驶状态标识为-1； 疲劳驾驶为1 |
首先，利用量子粒子群优化算法寻找最优核函数和惩罚因子：
1）计算平均粒子历史最优位置；
2）进行粒子位置更新。
然后，将处理后的4个数据融合输入值输入改进的SVM算法。改进的SVM算法公式如式（9）：
式（9）中： 用来衡量距离大小； 用来衡量错误分类情况，其中 为预测的标签； 为真实标签； 为预测标签与真实标签的比例， 越大表示追求更大的分类间隔，将不同类别的数据更清晰地分开，以便更准确地预测标签；反之是为了追求更小的错误分类，即试图减少将数据错误地分到不同类别的情况。
最后，将4类疲劳特征指标以30 s的时间间隔输入改进后的SVM支持向量机数据融合算法，得出疲劳驾驶识别结果。
3 试验验证
3.1 数据采集
考虑到实车试验需模拟危险驾驶行为，本文研究的高速公路场景不宜作为试验场地，为充分验证设计系统的可行性与准确性，选取了较为接近高速公路场景的城市干道，包括江苏省南京市江宁区石杨路、江苏省南京市江宁区铜龙省道、江苏省南京市浦口区应天大街长江隧道作为试验道路，其中江苏省南京市江宁区石杨路为双向四车道，车流量较大且大货车通行较多，道路路面绿植树木覆盖道路边沿；江苏省南京市江宁区铜龙省道为双向三车道，最右侧为非机动车道，且周围山体环绕；南京市浦口区应天大街长江隧道为双向三车道，三条道路限速均为80 km/h。
通过实车试验采集了3条路段，共计200 min的高精度定位数据、驾驶员面部图像数据及行车前方道路图像数据，其中包括因受山体、树木、隧道遮挡干扰造成定位设备不稳定以及因受强光照、夜晚、头部姿态偏移造成视频设备受影响而检测到的异常数据。
本文所用高精度定位设备包括基准站和移动站两部分，如图6所示。其中基准站需要尽量放置在海拔高、开阔的地方；移动站的天线安装在车辆车顶中心，通过车辆天窗连接车内PC端进行数据传输；两个视频设备分别布置在中控左侧和中控中心，用于采集朝向驾驶员面部图像及前方道路图像。
考虑到实车试验时的安全性保障且需严格遵守《中华人民共和国道路交通安全法》，故对疲劳驾驶定义进行适当调整，规定驾驶时长大于20 min且中间未休息满2 min即判定为疲劳驾驶，若不满足，则将驾驶轨迹数据和视频设备采集到的数据以30 s的时间间隔输入改进的SVM支持向量机数据融合算法，得到疲劳驾驶识别结果。
3.2 结果分析
为进一步验证本算法改进后的准确率及计算速度提升效果，对多种人脸关键点检测算法性能进行对比，结果如表2所示。
表2 多种人脸关键点检测算法性能对比 |
| 人脸关键点检测算法 | 准确率（%） | 计算时间/s |
|---|---|---|
| DCNN（2013） | 85.3 | 2.864 |
| DAN（2017） | 92.7 | 2.147 |
| Dlib（2014） | 88.6 | 1.098 |
| 改进的PFLD算法 | 97.4 | 1.375 |
由表2可知，相比其他算法，基于改进的PFLD人脸关键点检测算法的准确率有了显著提升，高达97.4%，但由于是98点的人脸关键点检测网络，其相对Dlib算法计算量较大，检测时间略长，约为1.4 s。
提取3个指标PERCLOS、MAR、pitch在相应疲劳特征下的数据，建立三维特征图，如图7所示，当3种行为（闭眼、低头、打哈欠）均存在时，数据呈现出一定的聚集性。
根据2.2节，将行驶轨迹SLDF、3个面部疲劳特征数据输入改进的SVM，训练数据集。结果显示，总体训练效果准确率和召回率高达97%，表现优异。将实时采集的轨迹数据、驾驶员面部图像数据输入训练完成的SVM数据融合算法，得到3条试验路段的疲劳驾驶检测结果，如表3所示。由统计数据可知，正常精神状态下人的眨眼频率为12~15次/min，而在疲劳状态下人的眨眼频率会大大降低，在严重疲劳状态下眨眼频率会小于6次/min，所以当人的眨眼频率低于12次/min时，判定为驾驶员眼部疲劳；如果连续20 fps以上嘴部打开程度较大，满足打哈欠的特征，可判定为驾驶员嘴部疲劳；如果点头频率大于8次/min，则判定驾驶员处于疲劳状态[17]。
表3 江苏省南京市江宁区石杨路试验效果 |
| 路段 | 疲劳驾驶 人工统计 | 疲劳驾驶识别统计 | 准确率（%） |
|---|---|---|---|
| 江苏省南京市江宁区石杨路 | 17 | 17 | 100 |
| 江苏省南京市江宁区铜龙省道 | 32 | 30 | 93.6 |
| 江苏省南京市浦口区应天大街长江隧道 | 6 | 4 | 66.7 |
为进一步分析算法性能，利用疲劳驾驶试验数据进行多种算法测试，并将算法检测效果进行对比，如表4所示。从该表可知，基于改进的SVM支持向量机数据融合算法准确率最高，可达86.8%；计算时间较快，为3.017 s，可见改进的SVM支持向量机数据融合算法整体性能最优。
表4 多算法综合性能对比 |
| 数据融合方法 | 准确率（%） | 计算时间/s |
|---|---|---|
| 决策树DTA | 75.4 | 3.984 |
| k最邻近分类算法KNN | 82.4 | 5.437 |
| 随机森林 | 69.3 | 2.390 |
| 改进的SVM支持向量机算法 | 86.8 | 3.017 |
4 结论
为解决高速公路场景下驾驶员面部易受遮挡、光线复杂的驾驶舱内的疲劳驾驶检测准确率低、鲁棒性差的问题，本文提出一种融合机器视觉与高精度定位的高速公路疲劳驾驶行为检测方法，并得出如下结论：
1）改进的PFLD人脸关键点检测网络，在强光照、夜晚光线下以及头部姿态变化等情况下，均可有效识别驾驶员身份信息及98个人脸关键点，检测准确率达97.4%。可融合轨迹数据及身份信息进行疲劳驾驶预检测，提高了检测效率。
2）在面部相关疲劳特征指标的基础上，引入SLDF指标，有效提升了复杂交通场景下的疲劳驾驶检测精度。改进的SVM支持向量机数据融合算法，运用量子粒子群优化算法提升了训练样本的准确度和速率，与现有其他数据融合算法相比，其分类准确率和运算效率均有提升，复杂交通场景下准确率仍可达86.8%。
基于定位与视觉技术融合的疲劳驾驶行为识别方法，解决了现有方法在光照变化、头部姿态变化等情况下误判率高的问题，但也存在以下不足：
1）若出现视觉、定位技术均失效的复杂场景，识别精度大幅度下降，容易造成误判，故还需进一步解决失效问题，从数据采集阶段入手，针对该场景下的数据校正方法展开研究。
2）试验阶段未在高速公路上采集数据，且仅在隧道、山体环绕、树木遮挡等情况下进行了试验，会导致数据出现偏差，为使系统具备更好的泛化能力，针对数据采集部分，需结合实际交通情况，制定更全面的试验计划。
3）考虑到试验人员的安全，研究中规定驾驶时长大于20 min且中间未休息满2 min即判定为疲劳驾驶，与疲劳驾驶的实际定义存在偏差，会对结果有一定影响。
后续将从采集数据阶段入手，针对出现视觉、定位技术均失效的复杂场景下的数据校正方法展开研究。