Study of Fatigue Driving on Expressway in Semi-Deserted Area Based on Dilated Residual Network

  • JIANG Peng , 1 ,
  • GE Hong-cheng 2 ,
  • FU Xin-sha 2 ,
  • HU Jia-cheng 3
Expand
  • 1. CCCC Infrastructure Maintenance Group Co., Ltd., Beijing 100102, China
  • 2. School of Civil Engineering and Transportation, South China University of Technology, Guangzhou 510640, China
  • 3. CCCC-FHDI Engineering Co., Ltd., Guangzhou 510000, China

Received date: 2022-06-20

  Online published: 2022-11-18

Abstract

To investigate the influence of monotonous roadside landscape on driving fatigue, 13 drivers were selected to conduct a natural driving test on three expressways in a semi-deserted area, and some physiological instruments were used to obtain the drivers′ heart rate indexes to characterize driving fatigue, and images from the vehicle recorder were extracted to measure the changes of roadside landscape. The images were semantically segmented based on a dilated residual network model to quantify the proportion of each landscape element on the roadside, and the "sky" element was selected as a quantitative indicator of the monotonous environment on the roadside. The effect of monotonous roadside landscape on driving fatigue was analyzed by clustering the change in sky ratio between adjacent images and classifying the roadside landscape into three stimulus levels: low, medium and high. The analysis results showed that: there exists a sky proportional change in the amount of stimulation threshold that wakes drivers from the fatigue state, and this initial stimulation threshold was 2.8%, 3.8% and 4.6% for the three test sections, respectively; the difference in heart rate between units of drivers increased with the increase of landscape stimulation frequency and intensity; when the roadside landscape stimulation frequency was at least 3 times/minute or roadside landscape stimulation intensity was 4 levels/min could alleviate driver fatigue when driving under monotonous landscape sections. Therefore, considering the existence of roadside landscape stimulation threshold, in the landscape design of expressway in semi-deserted areas, the accumulated driving fatigue caused by monotonous roadside landscape along expressway in semi-deserted areas can be relieved and driving risks can be reduced by setting reasonable roadside landscape stimulation frequency and intensity.

Cite this article

JIANG Peng , GE Hong-cheng , FU Xin-sha , HU Jia-cheng . Study of Fatigue Driving on Expressway in Semi-Deserted Area Based on Dilated Residual Network[J]. Transport Research, 2022 , 8(5) : 56 -63 . DOI: 10.16503/j.cnki.2095-9931.2022.05.007

0 引言

我国半荒漠化地带主要分布于华北、西北地区,其气候环境常年干燥、路侧植被稀少,地势平坦,是草原与沙漠的过渡区域。半荒漠化地区公路往往线形指标较高、道路设施形式及路侧环境单调乏味,容易诱使驾驶人超速驾驶,也易导致驾驶人进入疲劳状态,进而造成不同程度的驾驶风险[1]。因此,明确单调路侧景观对于驾驶人的驾驶疲劳影响过程,对于在半荒漠化地区高速公路景观设计中如何刺激驾驶人的行驶注意力、缓解驾驶疲劳、降低驾驶风险至关重要。
驾驶疲劳是指驾驶人在经历长时间驾驶后,生心理机能发生失调,难以对驾驶环境和状态进行正确判断致使驾驶能力下降的状态[2]。长期以来,针对驾驶人疲劳状态的评估方法一般分为主观问卷、生理指标评估等。在不借助任何仪器设备的情况下,对驾驶人收集压力问卷与量表可以快速地了解其主观疲劳感受,相关研究有:阎莹等使用KSS主观疲劳量表衡量驾驶人在单调道路环境下的疲劳状态[3];张代发对国外广泛应用的瑞典职业疲劳量表(SOFI-C)进行了修订完善,并应用于驾驶疲劳评估[4]。还有一些学者尝试采用多项生心理指标对驾驶人的疲劳状态进行量化,通过采集驾驶环境、车辆状态等多模态参数来评估驾驶人在行车过程中的疲劳程度,如:Li 等开发了一个实时主动监测驾驶人疲劳程度的系统,利用SVM方法识别基于心理特征的驾驶人疲劳状态[5];Lal等提出了一种基于脑电指标的疲劳检测方法,利用疲劳期间所有主要脑电波段的变化来判断不同疲劳程度[6];王艳玲提出了一个基于 BP 神经网络的驾驶疲劳实时识别系统,该系统利用生理数据、眼动数据和车辆运行数据来判断驾驶人疲劳状况[7]。针对单调路侧环境对驾驶人疲劳状态影响的研究主要集中在疲劳特征和疲劳发生时间分析等方面[8],如:刘建蓓等选取3个高海拔点,通过驾驶模拟方式探究了驾驶人在高原环境下的疲劳特征[9];秦伟等通过实驾试验探究了驾驶人在草原公路上驾驶时的疲劳发生时间[10];陈婷婷等通过模拟驾驶,研究了荒漠草原景观对驾驶疲劳的影响[11]
综上所述,既有成果通过主观量表与模拟驾驶评估等方法,对驾驶疲劳检测和评估方法进行了研究,也探讨了高原、草原等单调道路景观对驾驶疲劳的影响,但并未对该类型道路的景观元素进行量化表征。为了量化单调路侧景观对驾驶疲劳过程的影响,本研究选取半荒漠化地区的3条高速公路开展试验,通过设计自然驾驶试验的方式进行路侧景观、驾驶人心电指标等数据的采集,选取行车视野中占比最大的“天空”元素作为路侧环境的量化指标,通过“天空”元素比例变化量定义路侧景观刺激等级和强度;选取心率表征驾驶人在行车过程中的疲劳度,通过分析驾驶人心率随景观刺激等级和强度的变化规律,探究半荒漠化地区单调路侧景观对驾驶人驾驶疲劳的影响过程。

1 自然驾驶试验数据采集与处理

1.1 数据采集

半荒漠化地区地广人稀,用地限制较少,因此所建高速公路往往线形指标较高,以长直线和大半径曲线为主,极易诱使驾驶人产生疲劳。本研究选择我国西北半荒漠化地区具有代表性的青银、定武、黑海3条高速公路进行试验。试验路段长度分别为60.5km, 63.1km与56.5km,设计速度均为100km/h,与大多数半荒漠化地区高速公路设计速度保持一致。3条试验路段均为长直线或大半径曲线,日常车辆稀少,平均车头时距大于8s,可视为自由流状态。本研究不考虑线形、交通量及突发事件等因素对驾驶疲劳的影响。试验招募了13名驾驶人,包括9名男性、4名女性,年龄分布和性别分布与我国目前驾驶人比例一致[12](年龄跨度26~40岁,平均年龄31.1岁,标准差4.6),驾龄在3~15年不等(均值为7.3年,标准差3.9),所有被招募者都持有中华人民共和国机动车驾驶C1执照,视力或矫正视力均达到5.0。
采用3项设备进行试验及数据采集:①大众朗逸(1.6T排量,三厢自动挡小汽车)被选作试验车用于自然驾驶试验;②BIOPAC MP160生理采集仪用于收集驾驶人在驾驶任务中的心电信号;③行车记录仪被固定在与驾驶人视角平齐的车辆前挡风玻璃中央,用于记录行驶过程中驾驶员视角的路侧景观。自然驾驶试验场景如图1所示。
图1 自然驾驶试验场景
既有理论研究表明,驾驶人在单调景观道路上行驶20~40min后将进入疲劳状态[13],故本研究为了确保被试人的疲劳数据得到有效记录,选取90min作为研究时长,即单个驾驶人在单条试验路段连续完成两个上下行的行驶,单次试验总里程约为226~252km,总时长约为100~120min。单次试验过程共分为4个步骤:①试验前安装行车记录仪,绕试验车一圈,检查有无漏油、车辆指标是否正常等;②在被试人员身体指定位置安装电极片进行心电信号采集,并在正式试验前进行10min适应性驾驶;③在目标路段进行单次试验数据采集,为了保持试验数据的准确性,告知驾驶人不允许在车内交谈或出现大幅度的肢体晃动;④重点检查试验路段试验数据收集情况,取下驾驶人身上的电极片,完成单次采集。

1.2 疲劳指标选择

根据以往研究结果,常用于反映疲劳的驾驶人生心理指标以脑电波信号[14]与心电信号[15]为主。心电信号与脑电波等信号在检测疲劳时存在一定的相关性[16],由于心电信号在采集方式上较脑电波信号更为便捷,故本文选用心电指标来表征驾驶人的疲劳状态。心电信号中的心率(Heart Rate, HR)和心率变异性信号(Heart Rate Variability, HRV)会因自主神经系统活动的波动而变化,当人们处于紧张、兴奋状态时,自主神经系统相对活跃,心率提高;在疲劳状态下,神经系统活动较为低迷,心率也较低。HRV分为时域和频域指标,本试验拟提取的时域信号为相邻R-R(心电图中两个相邻R波的时间差)间隔之差的均方根RMSSD;频域信号为低频(Low Frequency, LF)、高频(High Frequency, HF)、低高频比值LF/HF。
在进行疲劳过程分析之前,为了探究各指标间是否适合进行相关性分析,首先应进行KMO(Kaiser-Meyer-Olkin)检验和Bartlett's球状检验。在数理统计分析中,KMO检验[17]用于探究变量之间的简单相关系数和偏相关系数之间的关系,其具体计算方法见式(1)。KMO取值范围对应结果见表1
K M O = i j r i j 2 i j r i j 2 + i j a i j 2
式(1)中: r i j为第 i, j个变量间的简单相关系数; a i j为第 i, j个变量间的偏相关系数。
表1 KMO取值度量标准表
KMO值 分析适用性
0.90~1.00 非常好
0.80~0.90
0.70~0.80 一般
0.60~0.70
0.50~0.60 很差
0.00~0.49 不能进行分析
Bartlett's球状检验通过判定变量的相关系数矩阵是否为单位阵来衡量指标间是否存在相关性,其零假设为相关系数矩阵是一个单位阵。当Sig.<0.05(即p值<0.05)时,拒绝零假设,表明指标间存在相关性,反之则接受零假设,指标间不存在相关性。表2为各项心电指标的Bartlett's球状检验结果,计算得出KMO值为0.824,表明分析的适用性较好,球状检验显著性水平0.000<0.05,拒绝零假设,指标间存在相关性,可以进行指标间的相关性分析。
表2 Bartlett′s球状检验和KMO检验结果
足够样本的KMO值 0.824
Bartlett's球状检验 近似卡方 315.145
df 10
Sig. 0.000
指标间的Pearson相关性分析结果见表3,表明心率HR与其他各项指标均具有较显著的相关性,故本研究选取心理信号HR作为驾驶疲劳的评价指标。
表3 心电指标相关性分析
HR RMSSD LF HF LF/HF
HR 1 -0.129* 0.326** 0.380** -0.243**
RMSSD 1 0.124 0.095 0.423**
LF 1 0.954** -0.092
HF 1 -0.216**
LF/HF 1

注:*表示在P<0.05水平上显著;**表示在P<0.01水平上显著。

1.3 基于扩张残差网络的路侧环境量化方法

为了对半荒漠化地区高速公路行车路侧景观进行量化,基于深度学习中的扩张残差网络(Dilated Residual Networks, DRN)算法对行车记录仪收集到的图像进行语义分割。DRN是一种基于ResNet进行扩张卷积的算法,可降低图像分辨率损失,最大程度地保留细节[18]。DRN模型设置了7组卷积网络,以ResNet为基础且移除了下采样层,维持了特征图的空间分辨率。另外,该模型在第4组和第5组设置了扩张卷积,较大程度地减少了图像像素细节丢失,且在网格末端加入第6组和第7组以避免产生过度膨胀。
DRN模型根据半荒漠化高速公路场景,将图像划分为道路、天空、轿车等10种元素,模型具体量化过程及图像语义分割结果如图2所示。
图2 路侧景观图像语义分割过程图
图2中语义分割结果来看,半荒漠化地形中“天空”场景在驾驶员的行驶视野中所占比例最大,故本研究将“天空比例”视作试验路段路侧环境单调性的量化指标,其量化计算过程见式(2)。
P r o p s = j = 1 n p i x e l s j i = 1 10 j = 1 n p i x e l i j
式(2)中: P r o p s为天空元素占比(%); p i x e l s j为天空元素的第 j个像素; p i x e l i j为第 i种元素的第 j个像素。

2 单调路侧环境对驾驶疲劳的影响

2.1 路侧景观刺激定义及分级

如前文所述,本文以天空比例作为路侧环境单调性的衡量指标:对于驾驶人而言,相邻时段天空比例变化越小,表明路侧景观越保持单调的变化态势,对驾驶人的感官刺激就越微弱,致使驾驶人很快进入疲劳状态。本研究以1s为时间间隔,计算路侧景观图像前后天空比例的变化量,将其作为路侧景观的刺激程度。以青银高速为例,在连续的天空比例变化量时间序列中,定义C为一次有效刺激,其筛选方法见式(3):
C = c i c i > T = a v e c + σ c
式(3)中: C为青银高速试验路段有效刺激次数集合; c i为第 i时刻与 i-1时刻天空比例的差值绝对值(%); a v e c为试验路段 c i的均值(%); σ c为标准差(%); T为天空比例变化量的刺激阈值(%)。
经计算,青银高速 a v e c=0.9%, σ c=3.7%,故其路侧天空比例变化量的刺激阈值为4.6%。图3为青银高速2050~2215s时间段的天空比例变化量与主要刺激景观分布状况。
图3 青银高速路侧景观刺激分布图
图3中,有4处明显逾越阈值线的景观变化点:跨线桥在该路段的天空比例变化量为31.4%,是整个路段影响最大的刺激类型;其次是跨线桥龙门架等组合设置,约为17.6%;较为常见的高速公路情报板和标志牌天空比例变化量为12.4%和5.6%。通过以上方式对3条试验路段的主要刺激景观进行计算筛选,结果如表4所示。
表4 试验路段刺激阈值及主要刺激景观次数统计表
试验
路段
a v e c(%) σ c
(%)
T
(%)
主要刺激景观次数/次
跨线桥 情报板 标志牌 组合设施 其他
青银高速 0.9 3.7 4.6 4 5 16 10 4 39
定武高速 0.6 2.2 2.8 6 8 19 22 8 63
黑海高速 1.0 2.8 3.8 24 4 13 36 12 89
为了分析不同类型景观刺激对驾驶人的影响程度,研究通过k-means聚类方法对采集到的3条路段共计201个主要刺激点的天空比例变化量进行聚类分级。聚类设置了3个中心,将刺激等级划分为低、中、高3级,具体划分标准和聚类结果如表5所示,其中,低刺激等级景观最多,占试验路段总刺激景观的71.14%;中刺激等级景观次之;高刺激等级景观较少。为了探究不同景观刺激等级之间有无明显差别,对聚类得到的3类景观刺激等级进行了单因素方差分析,具体结果见表6。结果表明,聚类得到的不同景观刺激等级之间存在显著差异,表明在不同天空比例变化量的影响下,景观对驾驶人的刺激程度具有统计学意义,可用于进一步疲劳分析。
表5 景观刺激等级聚类结果表
刺激等级 聚类中心(%) 标准差(%) 范围(%) 数量/个
7.03 2.65 2.8~13.92 143
20.78 4.01 14.09~27.95 38
34.76 5.12 28.18~45.33 20
表6 不同景观刺激等级单因素方差检验表
组别 F P
低&中 1 144.633 <0.001***
中&高 199.838 <0.001***
低&高 2 288.126 <0.001***

注:***表示在P<0.001水平上显著。

2.2 不同路侧景观刺激频率对驾驶疲劳的影响

心率在临床上指1min内的心跳次数,故本文以1min为时间单元进行生理指标与景观刺激状况的对齐映射。将景观刺激频率 L f定义为被试人员在每分钟驾驶过程中主要刺激景观的累计次数(次/min),计算方法见式(4):
L f = i = 1 3 g i
式(4)中: g i表示低( i=1)、中( i=2)、高( i=3)等级景观刺激出现的次数。
为了探寻驾驶过程中心率的变化状况,选取连续时间序列数据中前后单元间心率差值 d i f H R i来表征驾驶人生理信号,其计算方法见式(5):
d i f ( H R i ) = a v e ( H R i ) - a v e ( H R i - 1 )
式(5)中: d i f ( H R i )为相邻时间单元间心率差值(bpm); a v e ( H R i )为第 i时刻单元内的心率均值(bpm); a v e ( H R i - 1 )为第 i-1时刻单元内的心率均值(bpm)。
通过对3条试验道路路侧环境刺激次数与心率变化状况在单元时间尺度内对齐,统计了不同刺激频率与心率变化状况的对应情况,如表7所示。从表中可知,单位时间内景观刺激集中在每分钟0, 1, 2次3种较低的频率,共占总计时间单元的80.83%。这表明路侧景观大多数时间对于驾驶人的刺激程度很低,符合半荒漠化地区荒芜的路侧景观特性。
表7 景观刺激频率与单元间心率差值映射统计表
L f /(次·min-1 d i f ( H R i ) / b p m 时间单元数量/个
0 -0.78 1 183
1 -0.56 1 006
2 -0.21 648
3 0.18 321
4 0.64 192
5 0.55 97
6 1.26 39
7 1.78 16
8 2.46 8
为了更直观地挖掘心率变化状况和景观刺激频率的潜在联系,绘制单元间心率差值随刺激频率的变化柱状图,如图4所示。从该图可见,驾驶人的单元间心率差值随刺激频率的增大而增大。其中,路侧景观刺激频次从3次/min起,单元间心率差值由负值转化为正值,这表明3次/min的刺激频率是打破驾驶人的疲劳状态、激活驾驶意识的起点频次,且刺激频率越高,驾驶人对周围景观注意力集中的时间越长、单元间心率差值越大,从而愈发不易疲劳。
图4 单元间心率差值随路侧景观刺激频率变化柱状图

2.3 不同路侧景观刺激强度对驾驶疲劳的影响

景观刺激频率表征单位时间内对驾驶人驾驶疲劳有显著影响的刺激景观次数,然而该指标并未明确不同刺激强度的路侧景观对驾驶人的驾驶疲劳影响是否一致。为了从刺激强度的角度探究其对驾驶疲劳的影响,根据前文聚类得到的景观刺激等级划分结果,对每分钟所有景观的刺激强度进行累加得到单位时间景观刺激强度 L s,其计算公式见式(6),如青银高速第25分钟有1处高刺激等级和2处低刺激等级,则定义该单位分钟内的刺激强度为3×1+2×1=5。
L s = i = 1 3 i g i
式(6)中: L s为单位时间景观刺激强度(级/min); i=1, 2, 3分别代表景观的刺激等级为低、中、高; g i的含义同式(4)。
与刺激频率分析过程类似,对景观刺激强度与单元间心率差值进行映射统计,结果见表8。通过对统计表进行分析,发现刺激强度等级大多集中在0, 1, 2, 3这4个等级,合计占总时间单元的84.02%。
表8 景观刺激强度与单元间心率差值映射统计表
L s /(级·min-1 d i f ( H R i )/bpm 时间单元数量/个
0 -0.78 1 183
1 -0.48 742
2 -0.23 618
3 -0.08 406
4 0.23 212
5 0.58 184
6 0.79 87
7 1.24 33
8 1.76 21
9 1.72 18
10 1.81 6
绘制单元间心率差值随刺激强度的变化柱状图,如图5所示。
图5 单元间心率差值随路侧景观刺激强度变化柱状图
图5可以看出,单元间心率差值随刺激强度的增大而增大。其中,路侧景观刺激强度从4级/min起,单元间心率差值由负值转化为正值,这表明4级/min的刺激强度是将驾驶人从疲劳状态唤醒的最小等级,更高的刺激等级对应更大的单元间心率差值,表征驾驶人将投入更多的注意力在行驶上。

3 结论

为研究半荒漠化地区的路侧单调景观对驾驶人疲劳状态的影响,本文设计并实施了自然驾驶试验,提取了行车视野图像、驾驶人心电变化等指标,主要研究成果和结论如下:
(1)基于扩张残差网络模型对行车记录仪采集的图像进行语义分割,提取了天空比例随驾驶进程的时间序列数据;基于相邻时刻图像间的天空比例变化量数据进行聚类,将景观刺激等级划分为低、中、高3级;
(2)驾驶人的单元间心率差值随景观刺激频率的提升而增大,3次/min的刺激频率是打破驾驶人的疲劳状态、激活驾驶意识的最低频次,刺激频率越高,驾驶人对周围景观的注意力集中的时间越长;
(3)驾驶人的单元间心率差值随景观刺激强度的增强而增大,4级/min的刺激强度是将驾驶人从疲劳状态唤醒的阈值,越大的刺激强度表征驾驶人将投入越多的行驶注意力,越不容易产生驾驶疲劳状态。
需要说明的是,本研究为了确保实车试验的安全性,仅考虑了小客车在自由流下的实车场景,未考虑其他车型和多车交互下的场景,故仍存在一些不足和优化空间。此外,针对单调景观选取的试验路段集中在我国西北的半荒漠化地区,未来的研究中可提升试验场景的丰富性。
[1]
PIERRE T, JACQUE S. Monotony of road environment and driver fatigue: a simulator study[J]. Accident Analysis & Prevention, 2003, 35(3): 381-391.

[2]
胡嘉诚. 半荒漠化区域高速公路路侧景观对驾驶疲劳的影响研究[D]. 广州: 华南理工大学, 2020.

[3]
阎莹, 袁华智, 杨香丽, 等. 基于多源数据的单调道路环境与驾驶疲劳关系模型[J]. 中国公路学报, 2021, 34(5):156-167.

[4]
张代发. 驾驶疲劳量表的修订及应用[D]. 大连: 辽宁师范大学, 2021.

[5]
LI S W, WANG L H, YANG Z F, et al. An active driver fatigue identification technique using multiple physiological features[C]// Proceedings of the 2011 International Conference on Mechatronic Science, Electric Engineering and Computer (MEC), Jilin:IEEE, 2011.

[6]
LAL S K L, CRAIG A, BOORD P, et al. Development of an algorithm for an EEG-based driver fatigue countermeasure[J]. Journal of Safety Research, 2003, 34(3): 321-8.

[7]
王艳玲. 基于神经网络的疲劳驾驶识别系统[J]. 汽车实用技术, 2021, 46(1):89-91.

[8]
张灵聪, 王正国, 朱佩芳, 等. 汽车驾驶疲劳研究综述[J]. 人类工效学, 2003, 9(1):39-42.

[9]
刘建蓓, 马小龙, 张志伟, 等. 基于心电分析的青藏高原驾驶人疲劳特性[J]. 交通运输工程学报, 2016, 16(4):151-158.

[10]
秦伟, 朱守林, 裴志永, 等. 草原公路驾驶员时域分析指标与驾驶疲劳灰关联分析[J]. 重庆交通大学学报(自然科学版), 2014, 33(6):142-145.

[11]
陈婷婷. 荒漠草原地区公路长直线路段行车安全及保障措施研究[D]. 南京: 东南大学, 2018.

[12]
公安部. 2020年全国新注册登记机动车3328万辆新能源汽车达492万辆[EB/OL]. (2021-01-07)[2022-06-30]. https://www.mps.gov.cn/n2254098/n4904352/c7647179/content.html.

[13]
李小菊. 草原公路路域景观对驾驶员心电特性影响分析[D]. 呼和浩特: 内蒙古农业大学, 2018.

[14]
裴玉龙, 金英群, 陈贺飞. 基于脑电信号分析的不同年龄驾驶人疲劳特性[J]. 中国公路学报, 2018, 31(4):59-65,77.

[15]
姬祥, 朱海燕, 刘志钢, 等. 基于PPG的地铁司机驾驶疲劳识别研究[J]. 人类工效学, 2022, 28(3):24-28,35.

[16]
毛科俊. 道路环境单调性对驾驶疲劳的影响机理及对策研究[D]. 北京: 北京工业大学, 2011.

[17]
KAISER H F, RICE J. Little jiffy, mark IV[J]. Educational and psychological measurement, 1974, 34(1): 111-117.

[18]
秦鑫, 黄洁, 查雄, 等. 基于扩张残差网络的雷达辐射源信号识别[J]. 电子学报, 2020, 48(3):456-462.

Outlines

/