1 引言
现代社会,随着生活节奏的加快,科学技术的进步,使得越来越多的人得不到充足的休息,大脑长期处于疲劳状态,从而导致脑疲劳。这是一种由于持久进行高需求认知活动而导致人们作业机能衰退、作业能力下降的现象[1]。脑疲劳不但会导致记忆力减退,而且会使注意力分散以及反应变的迟钝。有研究发现脑疲劳会影响耐力表现[2],在车辆驾驶、航天作业、夜间系统监控等工作中,工作人员瞬间注意力的分散可能酿成严重的事故。长期处于疲劳状态可降低免疫力,增加疾病入侵的可能,甚至因大脑过度疲劳而导致死亡[3]。不仅如此,脑疲劳也会影响体育运动的表现[4],如降低足球等体育活动的传球速度、射门精度。可见,脑疲劳已然成为与各行各业人们生活息息相关的问题,如何快速、准确地监测脑疲劳,为缓解脑疲劳的措施提供有效的效果评估方法,成为脑疲劳研究的热门课题。
在脑疲劳评测指标中,脑电由于其在时间和空间上良好的分辨率、无创采集和操作方便等优点,被誉为评测疲劳的“黄金标准”[5]。近几年,杨博等[6]运用事件相关电位(Event Related Potential,ERP)中的MMN、P3a和P3b成分研究脑疲劳状态发现,被试在连续长时间的警觉任务之后,非随意注意能力被严重损坏,但其选择性注意能力没有变化。Käthner等[7]创建脑疲劳模型,对比分析被试ERP信号发现,繁重的脑力劳动后,被试的P300幅值减小。刘新阳[8]对脑疲劳数据提取ERP进行分析,发现在整个实验过程中,额叶区(FP1-FP2和F3-F4)的ERP alpha相干性明显高于中央(C3-C4),顶叶(P3-P4)和枕骨(O1-O2)区。Chai R[9]利用主成分分析和贝叶斯神经网络脑疲劳状态下自发脑电(Electroencephalography,EEG)进行分类研究,结果表明,睁眼期间,分类正确率为76%,闭眼期间,分类正确率为75.3%。传统分类方法需要手动提取特征,耗时耗力,且特征选择会引起信息丢失,对分类正确率具有一定影响。
最近几年深度学习发展迅速,在计算机视觉和语音识别领域取得了丰硕的成果,其中以卷积神经网络(Convolutional Neural Network,CNN)算法表现最为出色[10]。相比于其他算法,CNN所独有的权值共享和局部感受野的思想,使其具有较低的网络复杂度,以及较强的特征提取能力。与传统分类算法相比,CNN不需要先验知识以及手工提取特征,避免了特征提取中的信息损失问题。鉴于深度学习在分类识别方面的优越性,本文利用拥有特殊卷积核的卷积神经网络对正常态与疲劳态的脑电信号进行端到端的分类,以提高脑疲劳检测的准确率,为客观评价脑疲劳状态寻找新的思路。
2 实验原型
2.1 实验被试
选取河北某大学在校大学生14名,年龄为21.29±1.14岁。均为右利手,双耳听力正常,身体健康,无脑部疾患、心理及器质性疾病史。
实验前要求被试睡眠时间充足,不食用或饮用茶叶、酒等任何兴奋或抑制中枢作用的食物以及药物,并避免剧烈性地运动,同时保持头发干净,以免由于电极与头皮之间的接触阻抗过大而导致采集到的数据不准确。
2.2 实验设备
本实验利用美国Neuroscan的EEG采集系统同步采集了被试正常和疲劳态的64导头皮EEG信号,采样频率为1000 Hz,以双侧乳突为参考电极,电极与头皮的接触阻抗小于5 kΩ。
2.3 疲劳量表
采用卡罗林斯卡嗜睡量表(Karolinska Sleepiness Scale,KSS)进行主观疲劳问卷调查。量表KSS根据困倦程度分为10个等级,相应的分值为1～10分,分数越高,被试的主观疲劳程度越高。
2.4 实验流程与数据预处理
所有实验要求被试在安静、室温在22℃左右、隔音效果良好的实验室内一次性完成,实验时间为8:00到12:00,约4个小时。首先被试填写主观疲劳量表并采集2分钟的自发脑电信号,之后坐在椅子上阅读英文科技论文4个小时,为保证被试达到疲劳态,需要其对所阅读内容进行翻译,并对论文中的方法、结果等做出总结,完成后,被试再次填写主观疲劳量表并采集2分钟的自发脑电信号。整个实验的流程如图1所示。
图 1 脑电实验流程
Fig.1 EEG experiment process
阅读科技论文后,KSS量表平均得分从阅读科技论文前的3.50(SD=1.22)显著增加到6.29(SD=1.14),在进行完四小时的英文科技文献阅读后,均达到疲劳状态,为简单起见,将阅读科技论文前的状态称为正常态,阅读科技论文后的状态称为疲劳态。利用系统自带的软件进行DC偏移矫正、去除眼电伪迹和0.5～40 Hz带通滤波等预处理。
3 理论和方法
3.1 数据预处理
设定数据窗口大小为520,步长为100,因此每个被试正常态与疲劳态各有1194个样本。将两种状态的脑电以3∶2的比例随机分为训练集和测试集,如表1所示。
表1 脑电数据集
Tab.1 EEG dataset
样本分类Trial数训练集正常态796疲劳态796测试集正常态398疲劳态398
3.2 卷积神经网络的构建
本文将脑疲劳脑电状态检测归纳为一个二分类问题,即用算法识别出正常态与疲劳态。脑电信号是公认的一种具有时空特性的信号,卷积神经网络的层数越多,可学习到的细节信息越多,因此,本文针对性的设计了两种CNN结构来进行正常态与疲劳态脑电分类,分别为浅层卷积神经网络(CNN-1)和深层卷积神经网络(CNN-2)。CNN能够自动提取复杂模型的高级特征,利用卷积、池化、全连接等操作从原始数据中提取有用特征,并利用反向传播算法训练网络。由于脑电的特殊性,设计了有别于传统卷积核的时间域和空间域的卷积核,其中空间域卷积可以将不同导联的信号关联起来,有助于提取导联间的重要局部特征。卷积核设置为向量而不是一般图像识别中的矩阵,其原因是为了对时间域与空间域的信息分别进行卷积,避免矩阵形状的卷积核混淆脑电信号的时间域和空间域信息。
浅层卷积神经网络结构如图2所示,整个网络共有5层:第1层为输入层;第2层(卷积层)、第3层(卷积层)构成特征提取部分;第3层的输出(特征值)和第4、5层构成分类部分。
图2 浅层卷积神经网络结构
Fig.2 The structure of shallow convolutional neural networks
浅层卷积神经网络参数描述如下:
1)第1层(L1)。该层为样本输入层,每个输入的样本为64×520的矩阵,即64个导联,每个导联有520个时间采样点。
2)第2层(C2)。该层为时域卷积层(第一个隐含层),主要功能是对脑电信号在时域上特征提取,在该层使用40个卷积核,卷积核的大小设置为[1×11],每个卷积核去卷积输入矩阵就得到不同的特征的映射,即得到40个特征图,每一个特征图的大小均为(64×510)。
3)第3层(C3)。该层为空间域卷积层(第二个隐含层),主要功能是对脑电在空间上进行特征提取,该层与第二层为一一对应连接,针对C2层每个特征图使用一个卷积核,卷积核的大小设置为[64×1],因此在经过此部分卷积后,C3层共有40个特征图,此时每个特征图的大小为(1×510)。
4)第4层(P4)。该层为池化层(第三个隐含层),主要作用是减小数据维度。池化方式为平均池化。池化核大小为[1×75],步长为15,池化后每个特征图的大小为(1×30)。
5)第5输出层(O5),该层为输出层,以全连接方式与第四层相连。包含两个神经元,代表了二分类问题。(正常态和疲劳态脑电)。
深层卷积神经网络如图3所示,该网络由五部分构成。第一部分处理输入的脑电数据。紧接着三部分为标准的卷积、最大池化层,最后一部分为全连接分类层。
图3 深层卷积神经网络结构
Fig.3 The structure of deep convolutional neural networks
深层卷积神经网络参数描述如下:
1)第1部分。该部分由时域卷积层、空间域卷积层和最大池化层构成。这样设计的原因同浅层神经网络。时域卷积核大小为[1×8],空间域卷积核大小为[25×1],步长都是1。
2)第2部分。该部分为标准卷积最大池化层,与传统卷积不同的是卷积核为向量而不是矩阵。卷积核大小为[1×10]。卷积层步长为1,池化核大小为[1×3],步长为3。
3)第3第4部分与第2部分相同。最后一部分为二分类全连接输出层。
3.3 卷积神经网络的训练过程
卷积神经网络训练过程分为前向传播和反向传播,前向传播又分为卷积、池化和全连接。
卷积操作是受具有局部感受的简单细胞发展而来,通过局部连接和权值共享提取信号的初始特征。局部连接是指当前层某一个神经元与前一层部分神经元连接。权值共享是指同一层中的神经元用一样的权值与前一层连接。卷积层操作如公式(1)所示。
(1)
式中:x为输入数据;y为M×N的输出;0≤m<M,0≤n<N;ω为大小为J×I的卷积核;b为偏置;f为激活函数。
池化操作是模拟复杂细胞将对初级特征的筛选过程,目的是为了降低数据维度,合成更加高级和抽象的特征。计算公式如公式(2)所示。
(2)
式中:x为卷积处理后的输入向量。y为采样后的输出,S1和S2为降采样尺度。
全连接层是为了限制网络规模,将上层学到的特征汇聚起来构成全局特征,该层每一个神经元去前一层所有神经元相连接,全连接层的计算公式如公式(3)所示。
(3)
式中:n为前一层神经元的数量,l为当前的层数,ωji(l)为当前层神经元j与前面一层神经元i的连接强度,b(l)为该层神经元j的偏置,f为激活函数。
网络中输出层的激活函数为softmax函数,除输出层外,其他层的激活函数均采用拉伸的双曲正切函数,如公式(4)所示。
f(a)=Atanh(Sa)
(4)
式中:A设为1.7159,S设为2/3[11]。
反向传播过程主要运用的是Adam(Adaptive Moment Estimation)算法[12],Adam被设计用于处理高维参变量。这使得它适用于优化CNN的参数。Adam是一种自适应学习率的方法,它通过计算梯度的一阶矩估计和二阶矩估计实时调整各个参变量的学习率。Adam的优势在于每一次迭代学习率都有个明确的范围,可以使参数变化比较平稳。
为了防止神经元过拟合,避免神经元参数过多导致训练模型太复杂,池化层经过激活函数后引入了Dropout技术用于节点的随机失效,其中Dropout的比率设置为0.5,损失函数采用negative log-likelihood函数,如公式(5)所示。
(5)
其中t为样本的真实标签,y为预测标签,i为批处理量。
网络训练分为两个阶段,第一阶段,将训练集分为训练部分和验证部分,当验证部分的准确率在预定义的训练次数内不在增加时,记录下此时验证部分的准确率,停止第一阶段的训练。第二阶段,将训练部分和验证部分同时作为训练集训练网络,当验证集的损失函数下降到和第一次训练结束时训练集的损失函数相同的值时,网络训练结束。
4 结果与分析
4.1 CNN训练过程分析
程序运行环境为win10、64位系统,编程语言为Python,机器学习库为Pytorch库,浅层网络每个被试网络训练平均耗时2.3 s,深层网络每个被试网络训练耗时3.4 s。
使用训练集数据进行网络模型的训练,14个被试的数据经过训练均可以得到收敛的网络模型,以被试9为例,浅层卷积神经网络模型训练过程的损失函数曲线(loss)如图4所示。从图中能够发现,在第69次迭代后,检验集的损失值达到最小值。训练集损失值首先缓慢下降,然后基本保持平稳,因此可以认为在69次迭代后网络达到最佳的训练效果,最终得到的模型即为被试9的最佳分类模型。
图4 浅层卷积神经网络训练过程中的损失函数曲线
Fig.4 Loss curves in shallow convolution neural network Training
4.2 空间域卷积核可视化
空间域卷积是对不同导联的组合,通过分析空间域卷积核大小可发现卷积神经网络应用在脑电信号分析时不同导联的比重。将不同被试的空间域卷积核绝对值取均值并与导联一一对应,以脑电信息图的形式表示出来,如图5所示,红色表示所占比重较大的导联区域,蓝色表示所占比重较小的导联区域。在两种卷积神经网络中,大脑左额叶区、左颞叶区的卷积核绝对值大小较其他区域大,这是因为实验内容为阅读科技论文,而左半球主管逻辑推理和语言表达。
4.3 分类结果分析
为了对比本文算法与经典分类算法支持向量机(Support Vector Machine,SVM) [13-14]的分类效果,本课题组前期[15]利用脑网络特征[16]采用SVM对之进行了分类。
表2为疲劳态作为正类,所有被试使用不同方法在数据集的平均分类准确率、平均精确率、平均召回率和平均F1值。在与本文相同数据集上,用脑网络作为特征值,SVM作为分类器,正确率为97.619%。
图5 卷积神经网络空间域卷积核可视化
Fig.5 Convolutional neural network spatial domain convolution kernel visualization
表2 正常态与疲劳态使用不同方法的分类结果
Tab.2 Classification results using different methods for normal and fatigue states
方法平均准确率较SVM提高平均精确率平均召回率平均F1值CNN-198.868%1.249%0.9860.9890.987CNN-298.217%0.598%0.9820.9820.982SVM97.619%00.9760.9760.976
CNN-1高出SVM方法1.249%,CNN-2高出SVM方法0.598%。表明卷积神经网络在脑疲劳状态识别上的有效性。精确率、召回率和F1值越高,表明分类效果越好(CNN-1)。网络的层数越多,为了得到更优的识别效果,需要的数据量越大,由于实验采集到的数据量有限,使得本文的深层网络平均分类正确率略低于浅层网络。
5 结论
本文研究了基于两种卷积神经网络的脑疲劳分类算法,深入讨论了网络的内部结构,可视化了网络的空间域卷积核,深度学习与传统分类方法相比,有效避免传统特征提取时带来的信息损失问题,充分利用了原始数据中包含的原始信息,有利于分类准确率的提高。相比于常规方法,深度学习无需人工选取特征,简化了分类过程,提高了分类效果,具有更好的容错性,空间域卷积核的可视化能够有效揭露不同导联位置对卷积神经网络的贡献率。传统方法虽在处理速度更快,但随着硬件技术的快速发展,这种差距会越来越小,深度学习的优势会更加明显。
采用阅读英文文献实验范式,通过端到端的CNN方法自动完成脑疲劳脑电信号的特征学习和分类,并与常规分类器SVM进行对比,CNN方法分类准确率高达98.876%。研究初步认为,CNN能够明显区分正常态与疲劳态脑电,由于其单次计算量小,运算简单等特点,使得在线分析脑疲劳状态成为可能,为临床使用提供了重要的科学依据。
文中不足之处是未对错误分类的数据做更进一步分析,下一步的研究方向是深入分析没有正确分类的数据,根据可视化的空间域卷积核,选取更多被试,对算法、数据的选择进一步改进。
[1] Arnau S, Möckel T, Rinkenauer G, et al. The interconnection of mental fatigue and aging: An EEG study[J]. International Journal of Psychophysiology, 2017, 117: 17-25.
[2] Van C J, Marcora S, De P K, et al. The Effects of Mental Fatigue on Physical Performance: A Systematic Review[J]. Sports Medicine, 2017, 47(8): 1-20.
[3] 王晓路, 高翔, 许敏鹏, 等. 基于睡眠剥夺模型的脑力疲劳检测方法研究[J]. 生物医学工程学杂志, 2015, 32(3): 497-502.
Wang Xiaolu, Gao Xiang, Xu Mingpeng, et al. Research on Mental Fatigue Decting Method Based on Sleep Deprivation Models[J]. Journal of Biomedical Engineering, 2015, 32(3): 497-502.(in Chinese)
[4] Smith M R, Coutts A J, Merlini M, et al. Mental Fatigue Impairs Soccer-Specific Physical and Technical Performance[J]. Medicine & Science in Sports & Exercise, 2016, 48(2): 267.
[5] Laurent F, Valderrama M, Besserve M, et al. Multimodal information improves the rapid detection of mental fatigue[J]. Biomed Signal Process Control, 2013, 8(4): 400- 408.
[6] 杨博. 长时间持续警戒任务下脑力疲劳对前注意和注意加工能力影响的ERP研究[D]. 西安: 第四军医大学, 2013.
Yang Bo. ERP study of pre-attentive and attentive processing in mental fatigue induced by prolonged vigilance tasks[D]. Xi’an: The Fourth Military Medical University, 2013.(in Chinese)
[7] Ivo K, Selina C W, Gernot R M, et al. Effects of mental workload and fatigue on the P300, alpha and theta band power during operation of an ERP(P300) brain-computer interface[J]. Biological Psychology, 2014, 50(102): 118-129.
[8] Liu X, Liu J, Duan F, et al. Inter-hemispheric frontal alpha synchronization of event-related potentials reflects memory-induced mental fatigue[J]. Neuroscience Letters, 2017: 653.
[9] Chai R, Tran Y, Naik G R, et al. Classification of EEG based-mental fatigue using principal component analysis and Bayesian neural network[C]∥Engineering in Medicine and Biology Society. IEEE, 2016: 4654.
[10] Dong C, Chen C L, He K, et al. Image Super-Resolution Using Deep Convolutional Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016, 38(2): 295-307.
[11] Lecun Y, Bottou L, Orr G B. Neural Networks: Tricks of the Trade[J]. Canadian Journal of Anaesthesia, 2012, 41(7): 658.
[12] Kingma D P, Ba J. Adam: A Method for Stochastic Optimization[J]. arXiv preprint arXiv: 1412.6980, 2014.
[13] 薄洪健, 刘新磊, 马琳, 等. 猜拳博弈过程脑电的时频特征分析及基于优选特征的博弈决策预测[J]. 信号处理, 2017, 33(3): 273-279.
Bo Hongjian, Liu Xinlei, Ma Lin, et al. Time-frequency Analysis of EEG During Process and Decision Prediction Based on Optimized Features[J]. Journal of Signal Processing, 2017, 33(3): 273-279.(in Chinese)
[14] 张翔, 田金文, 肖晓玲, 等. 支持向量机及其在医学图像分类中的应用[J]. 信号处理, 2004, 20(2): 208-212.
Zhang Xiang, Tian Jinwen, Xiao Xiaoling, et al. Support Vertor Machine and its Application in Medical Images Classification[J]. Signal Processing, 2004, 20(2): 208-212.(in Chinese)
[15] 杨硕, 艾娜, 王磊, 等. 脑疲劳状态的脑功能网络特征分类研究[J]. 生物医学工程学杂志, 2018, 35(2): 171-175.
Yang Shuo, Ai Na, Wang Lei, et al. Research on classification of brain functional network features during mental fatigue[J]. Journal of Biomedical Engineering, 2018, 35(2): 171-175.(in Chinese)
[16] 郭磊, 王瑶, 于洪丽, 等. 基于近似熵的磁刺激穴位脑功能网络构建与分析[J]. 电工技术学报, 2015, 30(10): 31-38.
Guo Lei, Wang Yao, Yu Hongli, et al. Brain Functional Network Based on Approximate Entropy of EEG under Magnetic Stimulation at Acupunctuer Point[J]. Transactions of China Elcetrotechnical Society, 2015, 30(10): 31-38.(in Chinese)
