基于运动想象的异步在线脑-机接口系统

基于脑电(electroencephalogram,EEG)的脑-机接口(brain-computer interface,BCI)系统用于在大脑和外部设备之间建立一种信息交流的通道[1],将脑思维活动转化成机器命令,进而完成大脑对外部设备的控制[2]。现阶段BCI技术的研究主要是帮助那些肢体运动有障碍的人,这些人大脑功能健全,但却无法实现正常的身体活动。随着BCI研究的不断进步,BCI技术被越来越多的应用到生活、娱乐和军事等其他领域上。目前,大多数BCI系统主要是基于离线数据的分析和研究,为了使得BCI系统在实际生活中具有更多的实用性,就必须要实现EEG信号的在线分析和异步控制。

运动想象(motor imagery, MI)是指没有任何的肢体运动,直接通过大脑想象某一肢体(如左手和右手)动作。EEG信号在左右手想象中会产生事件相关同步与去同步(event related synchronization/desynchronization, ERD/ERS)现象,所以在BCI系统中,可以利用该现象对EEG进行特征提取,并进行MI分类[3- 4]。近年来运动想象脑-机接口(MIBCI)引起了越来越多的关注。为了实现高识别率的MIBCI系统,如何有效获取ERD/ERS相关的运动想象脑电(MIEEG)特征成为MIBCI系统实现的关键问题。为此,研究者们提出了各种运动想象特征提取算法。在这些特征提取方法中,共空间模式(common spatial pattern, CSP)算法能够构造出具有最大可区分性的空间滤波器,可用于两类运动想象EEG(如左/右手运动想象)的识别和分类[5- 6]。但是CSP滤波器的设计属于有监督设计,对训练数据的采集质量和标签的准确性要求比较高[7]。

在基于EEG的BCI系统具体实现过程中,根据任务相关EEG的生成方式,可分为同步和异步两种脑-机控制模式[8-9]。同步BCI系统要求使用者按设定EEG数据采集实验范式,在特定的时间内根据计算机提示进行某种思维作业。因此,在同步模式下使用者要一直处于“工作中”。然而在实际应用中,使用者是不可能长时间处于“工作”状态,大多数情况下他们是处于一种“空闲”状态,所以为了提高在线系统的实用性避免出现各种各样的错误,就必须要识别这种空闲状态[10]。本文利用alpha阻断现象以及闭眼alpha波幅值明显上升这一生理现象,在MIBCI在线系统设计中增加了“空闲/运动”状态监测模块,使用者可以通过闭眼/睁眼在运动和空闲两种状态下随意进行切换从而可以自由控制运动想象的开始,实现异步操作。

2 系统总体框架

异步在线MIBCI系统软件是基于Microsoft Visual C++开发,利用该语言开发的系统具有良好的跨平台性,可移植性、实用性。该系统硬件平台包括NeuroScan多导EEG采集放大器、受试者佩戴的电极帽、运行SCAN采集服务器软件和运行MIBCI系统的电脑,MIBCI系统是这套平台的核心。本文设计的在线MIBCI系统主要包括EEG信号采集和预处理模块、CSP滤波器设计模块、alpha波检测模块、运动想象分类模块和小球控制模块。系统运行的基本流程如图1所示。

2.1 EEG信号采集和预处理

本文使用的是美国NeuroScan公司的NuAmps脑电放大器实时的获取脑电信号,主要研究手部和脚部运动想象诱发的脑电信号和闭眼时产生的alpha波信号,所以要选取与这几类脑电任务相关的脑区。选用Pz电极作为alpha波的输入,选用9导联作为MIEEG的输入,该9导联电极位置为{FC3、FCz、FC4、C3、Cz、C4、Cp3、Pz、Cp4},选取A1,A2作为参考电极,GND电极作为接地电极,EEG数据的采样频率为250 Hz。CSP训练是有标签训练,所以在系统界面上设置了标签提示,每隔15 s采集一个单次试验(trial)训练数据,这15 s包括0～3 s的准备时间,3～10 s的标签图片显示以及10～15 s的休息时间,每个trial标签持续时间7 s,选取了其中6 s的数据长度即每个trial中3～9 s的想象数据段用于CSP滤波器训练。alpha波被成功检测之后开始存储了6 s的MIEEG数据,选取了其中5 s的数据长度即0.5～5.5 s的数据段作为测试数据。电极安放位置和实验范式如图2所示。

由于大脑的容积传导效应以及EEG信号采集过程中难免受到各种噪声干扰(如:肌电、眼电和工频干扰等),从而导致EEG信号的空间分辨率和信噪比均比较低。因此如何提高EEG信号的信噪比和信号处理速度,并提取出最有用的信号成分,是在线运动想象BCI系统的关键问题。NeuroScan公司的NuAmps脑电放大器内置了一些数据预处理程序,对采集信号进行50 Hz陷波和0.5～100 Hz带通滤波等基本的预处理后,将EEG信号封装成数据包发送给客户机上的MIBCI系统。根据离线MIEEG的测试结果,基本确定滤波参数,系统对MIEEG训练数据和测试数据进行去均值和10～14 Hz的滤波预处理,这一滤波参数针对大部分受试者有效,但对于个别受试者,滤波参数会调整为12～16 Hz。图3是对C3导联MIEEG数据预处理前后的时域对比图,可以看出经过10～14 Hz滤波预处理后的数据去除了部分噪声,波形图的平滑效果显著。对alpha波数据进行8～13 Hz的带通滤波预处理,这一滤波参数对于全部受试者都是统一的。

2.2 CSP滤波器的设计2.2.1 CSP算法

在BCI系统的研究中,CSP已被证明是一种有效的两类运动想象特征提取方法,它可以处理多导联脑电数据,创建一个最优空间滤波器,使得两类信号能量差异最大[11]。下面介绍CSP算法的具体实现步骤。

Step1 X1(i),i=1,…,I和X2(j), j=1,…,J分别代表两类多导联EEG的单次试验数据矩阵,I和J分别为两类样本个数,则X1(i)和X2(j)归一化协方差矩阵如下所示。

Step2 计算式(1)两类协方差矩阵的平均

和

然后对联合协方差矩阵R进行主分量分解:

Step3

i是由特征值组成的对角阵,Ui是特征向量矩阵,那么白化矩阵为:

Step4 使用白化矩阵

进行白化变换,则协方差矩阵

和

可以变换为:

Step5 对白化后的矩阵S1和S2进行主分量分解:

Step6 根据P和U求得CSP空域滤波矩阵W:

2.2.2 在线CSP空域滤波器设计

根据对CSP算法的介绍可知,CSP是一种有监督设计方法,在相应的空域滤波器设计过程中,需要利用数据的标签信息。本系统在系统界面上自动设置左手、右手、脚三类标签提示,规定了0～9标准10次标签的刺激方式和顺序,初始刺激次数设置为0,采用刺激次数对10取余的方式来选择刺激类型,刺激次数依次累加后再进行下一次刺激选择,直到达到设定的总trial个数。此系统自带标签的设置节省了过多实验设备的连接,使得系统的运行更加简洁方便。CSP滤波器训练时间和训练质量也是影响系统效率的关键因素。根据MIEEG离线测试的结果,可以基本确定训练事件个数和训练的最优导联,由于个性化差异个别受试者的最优导联可能会有所不同,本系统可以读取配置文件选取CSP训练所需的导联类别和个数。当训练数据采集完成后,经过预处理得到的EEG数据为XN×T,其中N表示通道数,T表示采样点数。利用上述CSP算法我们可以得到与左手和右手相关的空域滤波器WL和WR。CSP空域滤波器在头皮电极的投影如图4所示,左手和右手运动想象任务的相关源为:

CSP能够有效地提取左手右手两分类特征,然而本系统要识别左手、右手和脚三类运动想象任务,此时CSP基本算法并不适用。为了能有效地提取三类运动想象特征,我们使用了CSP扩展算法,常用的有联合近似对角化(joint approximate diagonalization,JAD)、一对多(one versus rest,OVR)和一对一(one versus one,OVO)。由于基于OVO算法已被研究者们证明是一种识别率相对较高的CSP扩展算法[12-13],所以本系统采用OVO-CSP模式进行左右手及脚的多分类。

OVO算法将多类运动想象拆分为两两对应类组合,本系统三类则拆分成三种组合,即左手对右手,左手对脚和右手对脚,然后利用CSP两分类的基本算法分别计算出左手对右手滤波器Wl和Wr,左手对脚滤波器Wl1和Wf,右手对脚滤波器Wr1和Wf1。然后用这六个滤波器分别对X进行滤波处理,得到六个类别的源信号S_R,S_L,S_L1,S_F,S_R1,S_F1,具体三类CSP设计流程如图5所示。

2.3 alpha波检测

alpha波为自发脑电节律的其中一种,通常alpha波出现在8～13 Hz之间的频率范围,清醒闭目时alpha波出现,睁眼、集中注意力思考问题或接受一定刺激时alpha波消失,紧接着出现一段快波,这被称为alpha波阻断现象[14-15]。一般分布在枕区的O1,O2,Oz电极是较好的alpha波采集电极,由于Pz电极紧邻Oz电极,在本文中Pz电极也能有效区分alpha波。另外,Pz电极是运动想象任务有效分类的重要电极,为了在不降低系统性能的情况下,尽量减少待处理的数据量和过多导联的使用,加快系统数据处理速度,我们选择了Pz电极作为alpha波的检测电极。图6是睁眼/闭眼时Pz和Oz电极脑电信号的幅频谱,可以看出通过分析脑电数据很容易区分出这两种状态,同时利用alpha波进行控制时,运算简单,适用于不同受试者。所以为了更好的实现受试者的自主实时控制,本系统将alpha波作为运动想象和空闲两种状态的转换开关,受试者几乎不需要过多的训练,只需要调节一个阈值参数,就能很好的实现异步控制。

alpha波检测模块是以滑动窗的形式对数据进行连续分析,设置窗长为600,由于采集系统每隔40 ms通过TCP/IP 协议发送一个数据包共10个点,所以本系统设置了步长20即每隔80 ms对窗口内的数据进行8～13 Hz的带通滤波处理,并计算这个窗口内的平均幅值平方之和,然后与预先设定的阈值相比较。alpha波阈值的选择则是在在线实验正式开始之前,进行5到10次的睁眼闭眼训练,闭眼持续4 s左右,阈值计算公式如下。

其中n为睁眼闭眼训练次数,Vopen为睁眼状态的alpha波能量,Vclose为闭眼状态的alpha波能量。

在本系统中,当alpha波信号能量连续超出阈值达到预先设定的次数时(本文默认设置为三次)判断有alpha波出现,需要进行状态切换,此时会发出 “嘟”的声音,受试者睁开眼睛进入运动想象状态,同时将存储Pz电极信号的一维矩阵进行清零操作,等待下一次数据的存储。alpha波检测算法流程图如图7所示。运动想象完成之后继续对Pz电极进行提取和分析,保持对状态的监测,直到小球运动到终点,停止状态监测,实验结束。

2.4 运动想象分类

当我们提取大脑皮层的有效特征后,要根据这些特征进行模式分类,选择一个合适的分类器可以提高分类的准确率和提高系统的运算效率。常用的机器学习分类方法有支持向量机、线性判别分析、聚类分析等[16]。但在本文中,我们采用了一种直接计算方差的简单分类标准,称为零训练分类器。该分类器与机器学习分类器在分类准确率上并无明显差距,但计算复杂度却明显降低。运动想象EEG数据X经过空域滤波器滤波后提取特征计算相关源活动,最后基于方差的比较采用投票的方式进行分类。系统运动想象分类模块流程图如图8所示。

2.5 小球控制

外部设备我们采用GUI图形化的界面来仿真外部设备,GUI界面的小球会根据发出的控制命令进行移动。该设计不仅增加了娱乐效应还能将结果及时的反馈给受试者,受试者可以根据反馈结果做出调整来寻找最佳运动想象模式。界面如图9所示,黑色小球代表控制目标,绿色方块代表规划路径,蓝色线条表示小球运动的轨迹,灰色方块代表运动的范围,红色旗帜标记表示目的地。左右手和脚诱发的运动想象分别控制小球左右下运动。受试者成功控制小球到达目的地,则游戏结束。

3 实验与结果

3.1 实验过程

我们选择了一个安静舒适的实验环境,有四位(S1,S2,S3,S4)身体健康的受试者参加了此次在线实验。他们在本次实验前,参与过运动想象的训练,已经熟悉BCI系统,积累了很多经验。实验开始前会先做一些准备工作,受试者头戴电极帽,安静平稳地坐在椅子上。服务端是Scan采集软件,客户端是在线MIBCI系统,我们既可以选择把客户端和服务端放在一台电脑上运行，考虑运行内存不足问题，又可以将两台电脑进行互连，“Ping” 通后在两台电脑上分别运行客户端和服务端。受试者准备好后,先启动服务端,再启动客户端,启动客户端之前,需要对实验的一些参数进行手动设置,因此,在系统面板上设计了一些参数设置选项,如CSP训练事件个数,alpha波阈值等,在本次试验中每个受试者实验时CSP训练事件个数均设置为25,因为个性化差异,每个受试者的alpha波阈值的设置会有所不同,系统面板如图10所示。

系统相关设备连接调试好之后,首先进入CSP设计阶段,读取在线数据进行CSP滤波器训练,也可以读取离线CSP滤波器,CSP训练完成之后进入状态监测模块,对受试者工作/空闲两种状态进行实时监测。在空闲状态下检测出alpha波后开启MIEEG处理和模式分类模块,然后将分类结果作为控制命令控制GUI上的目标按规划路径或者按照受试者自己设计的路径运动。受试者通过实时的分类结果及时调整运动想象模式来控制目标继续下一步的运动方向,最终运动到目标地点。

3.2 实验结果与分析

每个受试者做了四次在线测试。在实验设计时,我们更倾向于受试者自己去规划路径,但为了展示和评价BCI系统的有效性,在GUI中添加了预先设定的规划路径,四位受试者的所有实验结果如图11所示,每一列代表一位受试者的四次实验结果。从图中可以看出,受试者均可以通过运动想象控制目标运行到终点并且每位受试者的alpha波控制转换都能够被正确识别,当BCI系统出现分类识别错误时,运动路径与规划路径会不匹配,此时受试者会尽力返回到规划路径,由于本系统在线分类只有三类,只能发送三种控制指令控制小球左、右和下方向的移动,所以当受试者偏离轨迹时,有时不能马上返回规划路径,此时受试者会尽力沿着规划路径或者选择最短路径运动到终点。从图中看出,S1和S2都是按照规划路径来运动,结果比较稳定,路径匹配程度较高。而S3和S4偏离路径太多不能返回规划路径,就会自己规划路径进行运动,但是也是按照规划路径作为标准进行运动的。总体来说,S1和S2的路径匹配程度优于S3和S4,这可能与受试者运动想象经验有关。

时间可以反应一个系统的效率,我们统计了每个小球运动到终点所需要的时间,由于每个受试者到达终点所需的路径长度不一致,所以我们用响应时间来表示总时间与运动想象实验次数的比率,统计结果如表1所示。准确率可以反应本系统所用算法的有效性,所以统计了受试者每次实验的识别率,实验结果如下表2所示。

为了能清楚地看到三类运动想象的整体识别率的差距,我们绘制了四位受试者的三类运动想象的平均识别率折线图,结果如图12所示。

从实验完成效果来看,每个人完成一次在线实验时间需要6～14 min,每个人时间响应比为2～6 trial/min差距比较大,部分原因与路径长度有关,实验中受试者可能会因为想象错误而出现路径偏移,导致运动想象次数增加或减少,对应的完成路径所需时间也会增加或减少。值得注意的是,受试者两次运动想象时间间隔并没有硬性要求,而是根据受试者自身意愿进行调整,所以每次实验时间会有所差距。对比四位受试者的实验结果,可以看出S1的实验效果最好,时间比较稳定,响应时间最大,效率比较高。S2时间比较长,时间也相对稳定,不得不提的是实验过程中S2的alpha波不稳定造成开启运动想象所用时间相对较长,所以增加了部分实验时间。从表2中可以看出,受试者平均识别正确率在74%～95%之间,单次在线实验最高可达100%。从图12可以看出左手和脚识别率相对较高,右手识别率相对较低,分析原因可能与右手测试trial个数比较多。且大部分出错都在最后一段较长的右手trial测试,这可能与受试者实验最后比较劳累注意力不集中有关,但尽管如此,本系统也取得了很好的识别效果。最后从整体上分析,从受试者的实验时间和准确率结果来看,识别准确率和小球控制实验所需时间没有必然的对应关系。不过根据上图表所展示的数据可以看出所有受试者都能控制小球运动到终点,虽然个体存在差异,但是整体效果不错,平均总识别率为83.5%,证明了本系统算法的选择和异步控制策略的可行性。

4 讨论

异步控制是最具实用性的BCI控制形式,也是BCI技术走向实用化产品的一个技术难点。在异步MIBCI系统中,受试者自主支配发送控制命令的时间,无需外界干预。目前异步BCI系统不仅需要提高正确率还要考虑算法速度,降低误动作率等问题。本文是借助alpha波来实现异步操作,数据采集时选择靠近运动想象区域的电极,提高了运算速度和分类精度,受试者在运动和空闲两种状态下可以自由切换。需要说明的是本文通过检测alpha波进入运动想象状态,而不是实时检测连续的运动想象EEG数据,因此不能称作为完全的异步控制,这也会是接下来的研究内容之一。CSP和独立分量分析(independent component analysis,ICA)是两种典型的空域滤波方法,在MIBCI中具有很高的应用价值,现阶段CSP算法被更多的运用到MIBCI系统的实现中,这可能与CSP自身的特点有关。CSP空域滤波器包含了最具辨别力的信息,并且设计过程简单,使用方便。尽管如此,CSP算法也有其固有的不足,它对EEG中的噪声和伪迹干扰非常敏感,在设计过程中不依赖于物理模型,容易出现“过拟合”现象[17]。ICA作为一种无监督的空间滤波器,训练数据少,由于ICA是以“源”的独立性最大化为目标,因此设计出的混合模型往往具有明确的物理意义[18]。在本文的相关研究中,也尝试将本实验室自己设计的ICA方法运用到MIBCI系统中[19],并且选取了两位受试者进行了简单的实验对比,运动路径对比图如图13所示,从图中可看出ICA方法在在线实验中也能像CSP算法一样取得较优的实验效果,在实验过程中ICA训练时间远小于CSP的训练时间,效率比较高。研究发现ICA的迁移性能明显优于CSP[18],这在未来具有很大的应用潜力。不过ICA空域滤波器设计过程比较复杂,对算法的参数设置要求比较严格。基于以上两种空域滤波方法的优缺点,可以开展CSP-ICA融合性研究并且运用到在线系统中。

5 结论

本文设计了一种基于运动想象并结合alpha波异步控制的在线BCI系统。根据alpha波闭眼特征使用能量阈值法检测出空闲状态和运动想象状态,克服了单模态BCI系统不能完全自主控制的缺点。再通过CSP算法对左手、右手、脚三种运动想象任务进行特征提取,根据特征采用零训练分类器进行分类取得了较高的识别率。本系统自动设置标签提示进行在线CSP训练减少了过多设备的连接,使得系统操作简洁方便。从整体上看,本系统较好地验证了alpha波异步控制和OVO-CSP算法用于在线MIBCI系统的可行性,但仍有一些问题需要解决,低质量的训练数据会对CSP空域滤波器的性能产生严重的影响,如何在线剔除低质量的训练数据样本,提高CSP性能也是我们需要关注的问题,其次本系统运动想象只能发送三类控制命令,为了提高本系统控制的灵活性和自由度,多模态研究将是下一步研究的重点。

[1] Mullerputz G R, Pfurtscheller G. Control of an Electrical Prosthesis With an SSVEP-Based BCI[J]. IEEE Transactions on Biomedical Engineering, 2007, 55(1): 361-364.

[2] Feng D, Lin D, Li W, et al. Design of a Multimodal EEG-based Hybrid BCI System with Visual Servo Module[J]. IEEE Transactions on Autonomous Mental Development, 2017, 7(4): 332-341.

[3] Jin Z, Yan C, Gong X. Subject dependent feature extraction method for motor imagery based BCI using multivariate empirical mode decomposition[C]∥IEEE International Conference on Signal Processing, 2017.

[4] Sun Y, Ning Y, Jie Y. An asynchronous MI-BCI system based on masterslave features[C]∥International Congress on Image & Signal Processing, 2017.

[5] Li X, Guan C, Zhang H, et al. Adaptation of motor imagery EEG classification model based on tensor decomposition[J]. Journal of Neural Engineering, 2014, 11(5): 056020- 056020.

[6] Zhang S, Zheng Y, Wang D, et al. Application of a common spatial pattern-based algorithm for an fNIRS-based motor imagery brain-computer interface[J]. Neuroscience Letters, 2017, 655: 35- 40.

[7] 刘锦, 吴小培, 周蚌艳, 等. 单次样本对的CSP滤波器设计及其在脑电训练样本优化中的应用[J]. 信号处理, 2017,33(7): 993-1001.

Liu Jin, Wu Xiaopei, Zhou Bangyan, et al. CSP Filter Calculation of Single Training Pairs and Its Application in EEG Training Set Optimization[J]. Journal of Signal Processing, 2017,33(7): 993-1001.(in Chinese)

[8] Lei C, Bin X, Oladazimi M, et al. A Synchronous Motor Imagery Based Neural Physiological Paradigm for Brain Computer Interface Speller[J]. Frontiers in Human Neuroscience, 2017, 11: 274-274.

[9] Krumpe T, Walter C, Rosenstiel W, et al. Asynchronous P300 classification in a reactive brain-computer interface during an outlier detection task[J]. Journal of Neural Engineering, 2016, 13(4): 046015- 046015.

[10]王磊, 王江, 刘丽芳, 等. 基于脑电alpha波及运动想象的在线脑机接口系统设计[J]. 中国组织工程研究, 2011, 15(17): 3152-3155.

Wang Lei, Wang Jiang, Liu Lifang, et al. On-line brain-computer interface system design based on alpha wave and motor imagery[J]. China Tissue Engineering Research, 2011, 15(17): 3152-3155.(in Chinese)

[11]Huang G, Liu G, Meng J, et al. Model based generalization analysis of common spatial pattern in brain computer interfaces[J]. Cognitive Neurodynamics, 2010, 4(3): 217-223.

[12]刘冲, 王宏, 赵海滨, 等. 基于多类运动想象任务的脑电信号分类研究[J]. 生物医学工程学杂志, 2012(6): 1027-1031.

Liu Chong, Wang Hong, Zhao Haibin, et al. Study on EEG Classification Based on Multi-task Motor Imagery[J]. Biomedical Engineering Journal, 2012(6): 1027-1031.(in Chinese)

[13]刘广权, 黄淦, 朱向阳. 共空域模式方法在多类别分类中的应用[J]. 中国生物医学工程学报, 2009, 28(6): 935-938.

Liu Guangquan, Huang Gan, Zhu Xiangyang. Application of CSP Method in Multi-class Classification[J]. Chinese Journal of Biomedical Engineering, 2009, 28(6): 935-938.(in Chinese)

[14]Dong M, Lan F, Long C, et al. Electric wheelchair control system using brain-computer interface based on alpha-wave blocking[J]. Transactions of Tianjin University, 2014, 20(5): 358-363.

[15]刘光达, 王灿, 李明佳, 等. 基于多特征和BP神经网络的脑-机接口研究[J]. 电子技术应用, 2017, 43(9): 72-75.

Liu Guangda, Wang Can, Li Mingjia, et al. Research of brain-computer interface based on multi-feature integration and BP neural network[J]. Electronic Technology Application, 2017, 43(9): 72-75.(in Chinese)

[16]Mostafa M M, Billor N. Recognition of Western style musical genres using machine learning techniques[J]. Expert Systems with Applications, 2009, 36(8): 11378-11389.

[17]Tomida N, Tanaka T, Ono S, et al. Active Data Selection for Motor Imagery EEG Classification[J]. IEEE Transactions on Biomedical Engineering, 2015, 62(2): 458- 467.

[18]吴小培, 周蚌艳, 张磊, 等. 脑-机接口中空域滤波技术现状与进展[J]. 安徽大学学报: 自科版, 2017, 41(2): 14-31.

Wu Xiaopei, Zhou Bangyan, Zhang Lei, et al. Recent progress and future development of spatial filtering technique in brain-computer interface[J]. Journal of Anhui University: Self Edition, 2017, 41(2): 14-31.(in Chinese)

[19]Liu J, Wu X, Zhang L, et al. A Hybrid Brain-Computer Interface System Based on Motor Imageries and Eye-Blinking[C]∥International Conference on Brain Inspired Cognitive Systems. Springer, Cham, 2018.