人类司机分心行为对无人车纵向速度控制的影响

闫 文 李春国 黄永明 杨绿溪

(东南大学信息科学与工程学院, 江苏南京 210096)

摘 要: 无人车通常无法探测到人类司机的分心行为,这将导致无人车延迟地采取紧急制动来避免追尾。因此,本文致力于构建无人车控制与人类司机分心监测之间的桥梁,来辅助无人车预测潜在风险并像有经验的人类司机一样避让处于分心的司机,提高无人车的智能化水平和交通系统的安全性。首先,本文提出了一种整合了司机分心监测、车对车信息交换和无人车速度控制的可行系统框架。然后,基于卷积神经网络,本文提供了一种司机分心监测实现。最后,基于模型预测控制策略,本文提出了一种考虑了司机分心行为的无人车纵向速度控制方法,并给出持续可行性分析。仿真结果验证了本文工作的有效性。

关键词:无人车;纵向速度控制;分心行为监测;卷积神经网络;模型预测控制;无人车与人类司机的交互

1 引言

智能交通系统致力于通过先进技术的使用来提升交通安全,近些年受到了学术界和工业界的广泛关注[1]。作为其中一种关键技术,无人驾驶系统被验证可以提高安全性和自主性[2]。此外,在无人车领域也开展了大量的理论研究和工程实践[3- 4]

然而,随着无人车渐渐进入交通网络,无人车和人类司机都将面临彼此共存和交互的挑战[5]。特别地,无人车的驾驶方式对于人类司机可能会显得奇怪古板[6]。另一方面,人类司机的隐性状态和行为比如分心和疲劳,通常无法有效地被无人车装载的传感器感知到,这可能引起无人车延迟地采取制动来处理紧急状况[7- 8]。因此,让无人车在驾驶中考虑人类司机的隐性状态和行为将很有意义,这会指导无人车预测潜在风险并像有经验的人类司机一样避让分心的司机。

但是这个想法也存在着几个挑战。首先,在人类司机端,人类司机的隐性行为需要被实时地感知并合理地处理,比如进行加密来保护司机的隐私。其次,在无人车端,人类司机的信息需要有效地被利用整合,来指导其驾驶。最后,需要设计一个横跨信号处理、通信、控制领域的系统框架,来支持与整合人类司机端和无人车端数据获取和处理、车对车信息交换、无人车速度控制等功能。

司机分心行为监测以及相关的辅助驾驶系统已开展了大量的相关工作。比如,研究表明,接近80%的碰撞和65%的近端碰撞都与司机的分心有关[9]。因此,司机的分心已经成为交通系统中非常大的安全隐患,并引起了广泛的关注和研究。司机分心可以被分为视觉分心、认知分心、肢体分心等三类[10]。比如,视觉分心方面,Jo等人基于司机的眼部状态进行分心的监测[11],其他监测方法也关注头部运动[12],嘴部运动[13]等。除了视觉分心,Li等人也研究了认知分心对车辆跟驰场景下操控安全性的影响[14]。此外,除了司机的生理状态,车辆的动力学状态等也被用来判断司机分心与否,比如,Tango等人提出了一种基于机器学习的非入侵式的实时图像分心监测[15]。另外,也有司机分心在交通系统中应用的研究,比如Gupta等人使用智能蚁群方法来监测司机行为,并且在司机被监测到不处于理想状态时发出警告[16]。然而,尽管各种实时的司机分心监测已经被广泛地研究,它们在交通系统的应用仍处于初级阶段,并且都没有被引入到指导无人车更加智能地驾驶中。

另一方面,无人车控制和自动驾驶系统在理论研究和工程实际应用方面长期吸引着关注。传统的控制算法包括静态反馈控制,最优控制和模型预测控制,以及人工智能技术。其中模型预测控制不仅可以处理约束问题,而且通过反馈机制的引入增强了控制系统的鲁棒性[17]。实际上,模型预测控制也已经被广泛验证可以成功运用在无人车的实时控制中[18-19]。近些年来,学术界和工业界涌现出了一些先锋的研究来将人类司机引入到无人车的驾驶指导中。比如,Tehrani等人设计算法来用电脑产生纵向和横向的轨迹,并对比分析了高速变道场景下与人类司机动作的区别,指出电脑产生的动作可以在动作平顺性方面接近甚至优于人类司机[19]。Lefèvre等人提出了一种可以从人类示范中学习的无人驾驶架构,并将它应用于一辆无人车的纵向速度控制中[20]。通过分析人类司机变道的数据,Do等人提出了一种两段的变道模型来模拟人类司机,并通过仿真验证了提出的模型可以在处理复杂变道场景下达到类似人类司机的性能[21]。然而,大部分的将人类司机引入到无人车驾驶指导的研究都停留在模拟人类司机的驾驶行为方面,而几乎没有工作考虑如何通过的辅助使得无人车更加智能、更加主动地去应对分心司机。

受以上分析的驱动,本文关注人类司机分心行为对无人车纵向速度控制的影响,来构建无人车控制与司机行为监测的桥梁。首先,提出了一种可行的系统框架来整合司机分心监测、车对车信息交换、以及无人车速度控制,如第2节所示。其次,在第3节提供了一种基于卷积神经网络的实时司机分心监测的实现。然后,基于模型预测控制策略,在第4节提出了一种考虑司机分心带来的风险的无人车纵向速度控制方法并给出持续可行性分析。最后,在第5节给出了仿真结果和分析,并在最后一节对全文进行总结。

2 系统框架

本节提出一种整合了司机分心监测、车对车信息交换、和无人车速度控制的可行的系统框架。

如图1所示,系统框架包含三个部分:在人类司机端实时的分心监测,借助车对车信息交换的分心信息传输、和无人车端的纵向速度控制。这里,考虑跟驰场景,并不失一般性地假设无人车在同一车道上跟着一辆人类驾驶的车辆。

图1 系统框架

Fig.1 System framework

实时的分心监测部分基于卷积神经网络实现。在传统的模式识别方法中,卷积神经网络是一种在图片上检测和识别物体与区域十分有效的神经网络[22-23]。它的实现细节将在第3节给出。随着辅助驾驶系统的推广,该部分可以通过司机车辆上的摄像头和处理器、或者只通过智能手机上的监测应用轻松实现[24],此外还可以通过差分隐私等加密方法对司机的隐私进行保护。

借助车对车信息交换的司机行为分类信息传输需要双方车辆搭载的通信设备及相关协议来支持[25]。为了使系统可行和有效,假设只有实时的司机行为分类结果被传输。

无人车端的纵向速度控制基于模型预测控制策略。模型预测控制是一种可以处理有约束的、复杂的动态系统的反馈控制算法。它已经被广泛地用于无人车的实时控制中。它使用优化算法基于实时的测量来决定最优的控制动作。模型预测控制的反馈机制可以使控制系统对不确定性和干扰更加鲁棒。

接下来,集中介绍系统的核心部分:司机分心监测和无人车速度控制。

3 实时司机分心监测实现

本节提出一种基于卷积神经网络的实时司机分心监测实现。首先介绍数据和一些预处理步骤,然后介绍卷积神经网络模型。

3.1 数据和预处理

为了真实地研究和刻画人类司机分心行为,采用State Farm上的数据[26]。这些数据原本用于希望通过车辆面板上的摄像头自动地检测处于分心行为的司机,来提升警报统计并更好地保障乘客安全。任务是分类每个司机的行为,比如是否在专心的驾驶、在系安全带、或者在和后排的朋友自拍。

本节使用了4000张标记图片用于训练,2000张标记图片用于测试。每张图片的大小是640×480像素。标记图片被按c0到c9分为10类,具体如表1所示,这里只有c0代表了安全驾驶,其他都表示不同的分心行为。

表1 人类司机分心行为的分类

Tab.1 Classification of human driver’s distraction behaviors

类别内容类别内容c0安全驾驶c5操作收音机c1右手发短信c6喝水c2右侧接打电话c7转身c3左手发短信c8整理头发和化妆c4左侧接打电话c9和乘客说话

需要指出的是,当直接在图片上做训练时,原始的输入是冗余的,因为相邻的像素值高度相关。因此,使用白化来减少输入的冗余。此外,为了加速处理并适应于卷积神经网络中采用的8×8维度的卷积核,将图片从640×480缩放到常用的64×64尺寸。

3.2 卷积神经网络模型用于分心监测

如图2所示,用于分心监测的卷积神经网络模型包括一个稀疏自编码器和一个包含三层的卷积神经网络:一个卷积层标注为C1,一个池化层标注为P1和一个输出层。注意,相比于传统的将卷积核和卷积层、池化层一起训练,这里先用稀疏线性编码器提取特征(如卷积核),再在余下的网络中使用训练好的卷积核。这种多阶段的训练方式可以减少训练的复杂度。此外,事先训练学习好的低层次特征可以改进卷积神经网络中学习高层次特征的有效性。

图2 司机分心监测的卷积神经网络模型

Fig.2 CNN model of driver distraction monitoring

首先,训练学习8×8维度的卷积核。详细地,每个用于训练的图片被分割成64个8×8维度的小图片,然后它们被送进稀疏线性编码器中来获得8×8维度卷积核的参数。这里,设定卷积核的数量为400,这将在C1层产生400个特征图。

然后,在C1层,每个维度的图片通过400个8×8维度的卷积核然后产生400个57×57维度的特征图片。在接下来的P1层,3×3维度的均值池化被采用。

最后,在输出层,采用softmax分类器作为多类别分类器,输出一个10维度的向量c来表示预测为每一类的概率。

在卷积神经网络训练完成后,所有的参数都将离线保存。对于实时监测,司机的图片将被实时采集并被输入到训练好的卷积神经网络中,然后处理器在可接受的延迟下返回结果。司机分心监测实时性评估将在第5节详述。此外,值得注意的是,本节的司机分心监测方法具有更广泛的适用环境,比如,可扩展为各类异常状态的监测,并通过车对车信息交换的警示信息传播来增加交通网络的安全性。

4 对无人车纵向速度控制的影响

本节分析人类司机分心行为对无人车纵向速度控制的影响。首先介绍车辆模型,然后基于获得的分类结果评估司机分心带来的风险。接下来,给出安全约束并分析持续可行性。最后,设计代价函数并使用模型预测控制策略来将这个影响构建到一个易解决的优化问题中。

4.1 车辆模型

为了刻画无人车的纵向速度控制,使用ξt=[dt,νt]来表征无人车在时刻t的状态,这里dt∈R+是无人车在沿着道路的坐标系统中的纵向位置,R+为正实数集,νt∈R+是它的纵向速度。同样地,对于人类司机驾驶的车辆,用来表征。无人车加速度的序列为at=[at,...,at+Nc-1],其中Nc=Tctc是控制器在预测轴Tc中以Δtc为采样时间的步长个数。这里加速度序列at是关注的无人车速度控制的优化变量。

使用运动学质点模型来建模无人车。它的状态更新方程为:νk+1|t=νk|t+ak|tΔtc,这里,变量νk|t指代基于时刻t的信息预测的在时刻t+k ν的值,其他变量类似。线性时不变车辆模型可以写成状态空间的形式:

ξk+1|t=Cξk|t+Dak|t

(1)

类似地,对于人类司机驾驶的车辆,可以得到:

(2)

这里,指代人类驾驶车辆在时刻t的加速度。由于人类司机的未来动作无法得知,这里出于鲁棒性的考虑,将看作分析中的扰动。它的取值范围如下:

(3)

其中是预估的人类驾驶车辆加速度的上下界。

4.2 风险评估

为了使无人车可以像有经验的人类司机一样避让分心司机,需要让无人车具有预测潜在风险的能力。假设无人车通过车对车信息交换获得了实时的司机分心分类结果ct。为了简单起见,这里忽略信息传输所需要的时间。

考虑到现实中人类司机的影响,设计如下风险:

rt=rnormctT·h

(4)

其中rnorm是归一化rt的参数,使得rt在0到1之间,并且值越大表示风险越大。(·)T表示向量的转置操作,h是针对不同分心行为的惩罚加权向量。

接下来整合风险评估到无人车的纵向速度控制中。设计代价函数如下:

Rt=(at-(ctT·h+ρ)amin)2

(5)

其中ρ<0是当前方车辆处于安全驾驶时对无人车加速的激励参数,amin是无人车的最小加速度。

代价函数的设计准则受启发于一名有经验的司机当监测到危险后会及时地适度地刹车,且刹车强度和监测到的风险成正比。当遇到人类司机处于可能引发追尾的严重分心行为时,无人车会采取接近最小的加速度来预留安全距离,降低潜在风险。所以,这样的风险评估较切合实际并符合直觉。此外,这里采用平方的代价函数设计是为了使接下来的优化求解更高效。

4.3 安全约束及持续可行性分析

本节首先给出无人车速度控制的安全约束和起始条件,然后分析约束的持续可行性。

在安全约束中,控制输入受加速器的物理限制约束如下:

aminak|tamax

(6)

其中amax是无人车的最大加速度。

速度限制为:

νk|tνmax

(7)

安全的跟驰距离应该满足:

(8)

这里dsafe是最小的安全跟驰距离。

然而,因为无法在时刻t预知人类驾驶车辆未来的加速度式(8)的安全跟驰距离约束难以处理。出于鲁棒性的考虑,通常假设最坏的情况,即干扰在预测区间[t,t+Nc-1]内采取下界显然,当人类驾驶车辆以大于的加速度驾驶时,安全跟驰距离约束也会被满足。用来表示这种最坏的情况下人类驾驶车辆的状态。那么,安全跟驰距离约束可转为:

(9)

约束式(7)和式(9)可以整合为:

(10)

同样地,式(6)可以表达为:

ga(ak|t)≤0

(11)

此外,针对评估的风险rt,为使其始终处于合理的取值范围内,设定如下取值约束:

gr(rk|t)≤0

(12)

接下来,分析安全约束的持续可行性,这在实际的无人车控制中非常重要,因为约束(10)~(12)无法闭环地被满足。通常,通过引入目标集来解决这个问题[27]。考虑到模型预测控制的反馈机制,假设人类司机的分心状态在预测的时间范围内保持不变,即rk+1|t=rk|t,则约束(12)可以闭环地被满足。针对约束(10)和(11),使用不变集的方法来计算它们的目标集。首先计算假设人类司机在预测时间范围内急刹车下的最大鲁棒控制不变集,然后递归地计算在时间范围终点时安全约束的目标集。

对于无人车的控制系统,状态为输入为at,扰动为为了计算最大鲁棒控制不变集,先假设人类司机从时刻t系统状态为开始以最小加速度刹车。假设ts个时间间隔(Δtc)后,人类驾驶车辆停止。有在时刻t+ts,预测的无人车状态的最大鲁棒控制不变集Xs如下:

(13)

可使用MATLAB中的多参数工具箱来计算Xs

接下来,使用递归策略来计算在预测时间范围终点时刻t+Nc的目标集Xf,主要依靠先驱集(一步回退可达集)来实现,其形式如下:

(14)

为了基于时刻t+ts的最大鲁棒控制不变集Xs计算时刻t+Nc的目标集Xf,使用递归策略计算ts-Nc步回退可达集。这里假设ts>Nc,否则当tsNc时,Xf=Xs足以保证模型预测控制的持续可行性。Xsts-Nc步回退可达集Xts-Nc可用如下递归策略计算得到:

Xj+1=Pre(Xj),j=0,1,...,ts-Nc-1,X0=Xs

(15)

所以,当设定Xf=Xts-Nc时,只要满足模型预测控制问题的持续可行性就可以被保证。

4.4 模型控制预测建模

本节基于以上约束采用模型预测控制策略建模优化问题。

首先,安全跟驰距离的约束通常通过对约束的越界ε施加一个大的惩罚P来转化为一个软约束,这样以保证无人车不与前车发生碰撞,如下所示:

(16)

此外,状态和输入的起始条件如下:

(17)

a-1|t=at-1

(18)

然后引入控制时间范围Nc到在线优化中,并定义代价函数如下:

(19)

这里αβ分别是惩罚加速度剧烈变化和最大速度偏离的参数。

最后,控制输入序列a通过求解如下带约束的有限时间最优控制问题得到:

(20a)

s.t.ξk+1|t=Cξk|t+Dak|t

(20b)

(20c)

(20d)

ga(ak|t)≤0

(20e)

gr(rk|t)≤0

(20f)

(20g)

(20h)

a-1|t=at-1

(20i)

注意以上优化问题(20)是一个二次规划问题,可以被实时有效地求解,增加了建模的可行性和实用性。

5 仿真

本节实现两个仿真:人类司机分心监测的实时评估和无人车的纵向速度控制,仿真设备为一台配有两个2.10 GHz Intel(R) Xeon(R) E5-2620 CPU且有64 GB RAM的服务器。

5.1 分心监测的实时评估

本节训练如第3节所述的卷积神经网络模型,然后评估模型的在线处理性能,并分析在不同仿真条件下时间代价和性能的折中。

详细地,在卷积层采用sigmoid激活函数,在均值池化层采用线性激活函数,在输出层采用softmax激活函数。参数的训练使用了在线梯度下降方法。在训练中,图片被缩放旋转,而在验证中采用了原始图片。一旦验证错误足够小(比如小于0.001)或者当学习率达到预设的最小值或迭代次数达到预设的最大值,训练阶段将停止。起始的权重从[-0.05, 0.05]的均匀随机分布中选取。

在卷积神经网络被训练好后,存储所有的参数,然后从测试集中一张接一张地输送图片到训练好的卷积神经网络中,然后计算获得分类结果所需的时间代价。此后,分析不同条件下的时间代价和性能。在matlab平台中也使用parfor循环来代替for循环,来并行化卷积和池化的过程。

如表2所示,更多的神经网络隐层可以在不过拟合的情况下带来更高的准确度,但是会花费更多的时间,这与直觉相符。尽管表中没有显示,当增大迭代次数或降低错误率时过拟合仍然会在训练中出现。池化尺寸的影响可以通过表3展现。更大的池化尺寸会带来更低的准确度,因为刻画特征更加粗糙。表4反映了当卷积和池化采用并行化之后性能相近但时间代价有了显著的提升。

表2 不同层数的对比实验

Tab.2 Contrast test on different number of layers

池化尺寸层数并行化准确度时间3×37是96.48%3.58 s3×35是95.23%1.23 s3×33是92.45%0.27 s3×31是82.26%0.16 s

表3 不同池化尺寸的对比实验

Tab.3 Contrast test on different pooling sizes

池化尺寸层数并行化准确度时间1×13是94.36%1.03 s3×33是92.45%0.27 s8×83是72.38%0.14 s

表4 并行化的对比实验

Tab.4 Contrast test on parallelization

池化尺寸层数并行化准确度时间3×33是92.45%0.27 s3×33否91.98%1.03 s

这些在不同条件下的对比实验可以对依据硬件条件调整卷积神经网络模型结构给出指导。比如,在本文的实验中,三层结构,池化尺寸采用3×3并使用并行化是合适的,因为分类准确度可以在不到0.3 s的时间内达到92.45%。

5.2 无人车速度控制

本节模拟人类司机在一段连续时间的分心状态,并分析两种情况下对无人车速度控制的影响:人类司机匀速驾驶和急刹车。

为了方便说明,假设无人车和人类司机驾驶的车辆的起始距离是10 m。两辆车的起始速度都是 5 m/s。其他在速度控制中用到的参数如表5,T代表了整个观察时间。

表5 无人车控制仿真参数

Tab.5 Control parameters of the AV

参数值参数值Δtc0.2 sTc2.6 sα4 e-3T4 sβ3 e-1amin-3 m/s2dsafe5 mamax3 m/s2P5000νmax10 m/s

两种情况的结果显示在图3和图4。为了模拟人类司机的分心行为,设定ct·h在1.2 s到2.4 s之间以二次凹函数形式先增长再下降。从图3可以看出,在这段时间内无人车适度地降低它的速度来预留更大的相对距离。然后,无人车渐渐加速。其他时刻小的正值加速度来自于ρ的激励和充足的安全距离。仔细观察图4,无人车不仅在1.2 s减速,也在1.8 s左右以最小加速度刹车来避免碰撞。这种最坏的情况来自于前方人类司机的猛烈刹车。

图3 在人类司机匀速下无人车速度控制

Fig.3 Velocity control of AV under the condition that human drives at a constant speed

图4 在人类司机以最小加速度刹车下无人车速度控制

Fig.4 Velocity control of AV under the condition that human drives at the minimum acceleration

总结得出,速度控制方法有效且能提供更多的安全措施,使得无人车变得像一个有经验的人类司机一样来避让风险。

6 结论

这篇文章关注考虑了人类司机分心行为的无人车纵向速度控制。本文提出了一种可行的整合了人类司机端和无人车端的数据获取和处理、车对车信息交换、无人车速度控制的系统框架。然后,为了实时地处理隐性的人类司机的分心行为,提供了一种基于卷积神经网络的在线司机分心监测实现。最后,为了有效地使用司机分心信息,基于模型预测控制策略提出了一种考虑了司机分心行为的纵向速度控制方法。仿真显示,基于卷积神经网络的司机分心监测实现可以达到实时,能够在小于0.3 s的时间内达到92.45%的准确度。本文的速度控制方法可以有效地指导无人车预测潜在风险并谨慎避让分心司机。未来的研究方向包括结合人类驾驶车辆的运动特征使无人车的控制决策更加准确和高效等。

参考文献

[1] Yang L, Muresan R, Al-Dweik A, et al. Image-Based Visibility Estimation Algorithm for Intelligent Transportation Systems[J]. IEEE Access, 2018, 6: 76728-76740.

[2] Zhao H, Wang C, Lin Y, et al. On-road vehicle trajectory collection and scene-based lane change analysis: Part I[J]. IEEE Transactions on Intelligent Transportation Systems, 2016, 18(1): 192-205.

[3] Fagnant D J, Kockelman K. Preparing a nation for autonomous vehicles: opportunities, barriers and policy recommendations[J]. Transportation Research Part A: Policy and Practice, 2015, 77: 167-181.

[4] Zong W, Zhang C, Wang Z, et al. Architecture design and implementation of an autonomous vehicle[J]. IEEE Access, 2018, 6: 21956-21970.

[5] Levin M W, Boyles S D. Effects of autonomous vehicle ownership on trip, mode, and route choice[J]. Transportation Research Record, 2015, 2493(1): 29-38.

[6] Jin I G, Avedisov S S, He C R, et al. Experimental validation of connected automated vehicle design among human-driven vehicles[J]. Transportation Research Part C: Emerging Technologies, 2018, 91: 335-352.

[7] Yan W, Peng S, Li C, et al. Impact to Longitude Velocity Control of Autonomous Vehicle from Human Driver’s Distraction Behavior[C]∥2017 IEEE 86th Vehicular Technology Conference (VTC-Fall). IEEE, 2017: 1-5.

[8] Gong S, Du L. Cooperative platoon control for a mixed traffic flow including human drive vehicles and connected and autonomous vehicles[J]. Transportation Research Part B: Methodological, 2018, 116: 25- 61.

[9] Dingus T A, Klauer S G, Neale V L, et al. The 100-car naturalistic driving study. Phase 2: results of the 100-car field experiment[R]. United States. Department of Transportation. National Highway Traffic Safety Administration, 2006.

[10] Kaplan S, Guvensan M A, Yavuz A G, et al. Driver behavior analysis for safe driving: A survey[J]. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(6): 3017-3032.

[11] Jo J, Lee S J, Kim J, et al. Vision-based method for detecting driver drowsiness and distraction in driver monitoring system[J]. Optical Engineering, 2011, 50(12): 127202.

[12] Gallahan S L, Golzar G F, Jain A P, et al. Detecting and mitigating driver distraction with motion capture technology: Distracted driving warning system[C]∥2013 IEEE Systems and Information Engineering Design Symposium. IEEE, 2013: 76- 81.

[13] Azman A, Meng Q, Edirisinghe E. Non intrusive physiological measurement for driver cognitive distraction detection: Eye and mouth movements[C]∥2010 3rd International Conference on Advanced Computer Theory and Engineering (ICACTE). IEEE, 2010, 3: V3-595-V3-599.

[14] 李鹏辉, 廖呈玮, 郑志晓, 等. 认知分心对车辆跟驰过程操控安全性的影响[J]. 中国公路学报, 2018, 31(5): 167-173.

Li Penghui, Liao Chengwei, Zheng Zhixiao, et al. Impact of Cognitive Distraction on Vehicle Control Safety in Car-following Situation[J]. China J. Highw. Transp, 2018, 31(5): 167-173.(in Chinese)

[15] Tango F, Botta M. Real-time detection system of driver distraction using machine learning[J]. IEEE Transactions on Intelligent Transportation Systems, 2013, 14(2): 894-905.

[16] Gupta A, Sharma V, Ruparam N K, et al. Context-awareness based intelligent driver behavior detection: Integrating Wireless Sensor networks and Vehicle ad hoc networks[C]∥2014 International Conference on Advances in Computing, Communications and Informatics (ICACCI). IEEE, 2014: 2155-2162.

[17] Mayne D Q, Rawlings J B, Rao C V, et al. Constrained model predictive control: Stability and optimality[J]. Automatica, 2000, 36(6): 789- 814.

[18] Paden B, p M, Yong S Z, et al. A survey of motion planning and control techniques for self-driving urban vehicles[J]. IEEE Transactions on Intelligent Vehicles, 2016, 1(1): 33-55.

[19] Tehrani H, Muto K, Yoneda K, et al. Evaluating human & computer for expressway lane changing[C]∥2014 IEEE Intelligent Vehicles Symposium Proceedings. IEEE, 2014: 382-387.

[20] Lefèvre S, Carvalho A, Borrelli F. A learning-based framework for velocity control in autonomous driving[J]. IEEE Transactions on Automation Science and Engineering, 2015, 13(1): 32- 42.

[21] Do Q H, Tehrani H, Mita S, et al. Human drivers based active-passive model for automated lane change[J]. IEEE Intelligent Transportation Systems Magazine, 2017, 9(1): 42-56.

[22] 钱沄涛, 胡忠闯, 陈思宇. 利用卷积神经网络的车道线检测方法[J]. 信号处理, 2019, 35(3): 435- 442.

Qian Yuntao, Hu Zhongchuang, Chen Siyu. Lane Marking Detection Using Convolutional Neural Network[J]. Journal of Signal Processing, 2019, 35(3): 435- 442.(in Chinese)

[23] 杨硕, 丁建清, 王磊, 等. 卷积神经网络在脑疲劳检测中的研究[J]. 信号处理, 2019, 35(4): 704-711.

Yang Shuo, Ding Jianqing, Wang Lei, et al. Research on Convolutional Neural Network in Mental Fatigue Recognition[J]. Journal of Signal Processing, 2019, 35(4): 704-711.(in Chinese)

[24] Bergasa L M, Almería D, Almazn J, et al. Drivesafe: An app for alerting inattentive drivers and scoring driving behaviors[C]∥2014 IEEE Intelligent Vehicles Symposium Proceedings. IEEE, 2014: 240-245.

[25] Perfecto C, Del Ser J, Bennis M, et al. Beyond WYSIWYG: Sharing contextual sensing data through mmWave V2V communications[C]∥2017 European Conference on Networks and Communications (EuCNC). IEEE, 2017: 1- 6.

[26] “State farm distracted driver detection”, https:∥www.kaggle.com/c/state-farm-distracted-driver-detection/data/.

[27] Rakovic S V, Kerrigan E C, Mayne D Q, et al. Reachability analysis of discrete-time systems with disturbances[J]. IEEE Transactions on Automatic Control, 2006, 51(4): 546-561.

Influence of Human Driver’s Distraction Behavior on Longitudinal Velocity Control of Autonomous Vehicle

Yan Wen Li Chunguo Huang Yongming Yang Luxi

(School of Information Science and Engineering, Southeast University, Nanjing,Jiangsu 210096, China)

Abstract: It’s commonly difficult for autonomous vehicles (AVs) to detect human driver distraction behaviors, which would lead to probable late preparation for AVs to take brakes in time to avoid rear-end collisions. Hence, in this paper, we aimed to build a connection between AV control and human driver distraction detection, to aid AVs to predict potential risk and avoid distracted drivers like experienced human drivers. First, a practical system framework integrating driver distraction detection, vehicle-to-vehicle communication and AV velocity control was proposed. Then, an implementation of driver distraction detection based on convolutional neural networks was put forward. Finally, a longitudinal velocity control method considering driver distraction behavior based on model predictive control was posed with persistent feasibility analysis. Simulation results validated the effectiveness of the work in this paper.

Key words autonomous vehicle; longitudinal velocity control; distraction behavior detection; convolutional neural network; model predictive control; interactions between autonomous vehicles and human drivers

中图分类号:TP13

文献标识码:A

DOI:10.16798/j.issn.1003- 0530.2020.05.001

文章编号:1003-0530(2020)05-0633-09

引用格式: 闫文, 李春国, 黄永明, 等. 人类司机分心行为对无人车纵向速度控制的影响[J]. 信号处理, 2020, 36(5): 633-641. DOI: 10.16798/j.issn.1003- 0530.2020.05.001.

Reference format: Yan Wen, Li Chunguo, Huang Yongming, et al. Influence of Human Driver’s Distraction Behavior on Longitudinal Velocity Control of Autonomous Vehicle[J]. Journal of Signal Processing, 2020, 36(5): 633-641. DOI: 10.16798/j.issn.1003- 0530.2020.05.001.

收稿日期:2019-11-21;修回日期:2020-02-22

基金项目:国家自然科学基金资助项目(U1936201, 61971128, 61671144)

作者简介

闫 文 男, 1990年生, 内蒙古包头人。东南大学博士生。主要研究方向为数据挖掘、机器学习、车辆控制。E-mail: wyan@seu.edu.cn

李春国 男, 1983年生, 山东胶州人。东南大学教授, 博士生导师, 研究方向为新一代无线通信理论与技术、基于人工智能的视频信息处理、水下无线通信。E-mail: chunguoli@seu.edu.cn

黄永明 男, 1977年生, 江苏吴江人。东南大学教授, 博士生导师, 研究方向为下一代移动通信技术、毫米波MIMO。E-mail: huangym@seu.edu.cn

杨绿溪 男, 1964年生, 安徽桐城人。东南大学教授, 博士生导师, 研究方向为下一代移动通信技术、信号与信息处理。E-mail: lxyang@seu.edu.cn