脑机接口(Brain Computer Interface, BCI)可以实现大脑与外界设备之间的交流控制,将使用者的脑电信号(electroencephalography,EEG)转换为计算机指令,从而实现对外界设备的控制,是一种全新的信息交流和控制方式[1-2]。在现有脑信号成分中,稳态视觉诱发电位(SSVEP)凭借较高的信噪比和较短的响应时间,同时受试者不需要接受任何训练,深受相关研究学者的重视,成为BCI的一个关键分支[3]。
目前,典型相关分析普遍被用在SSVEP信号分类中。2009年,清华大学高小榕团队用CCA方法处理数据,提取左右视野区与刺激对应的频率成分,四名被试者的离线正确率均超过85%[4]。2013年,美国加利福尼亚大学测试在具有挑战性(例如行走)记录条件下的移动脑电图系统获取的稳态视觉诱发电位的信号质量,证明了CCA对SSVEP检测的运动伪影的鲁棒性。该演示大大提高了移动和无线BCI系统的实际应用的实用性,以适应积极行为并与其环境交互的用户[5]。2016年德国慕尼黑工业大学提出了一种新的检测方法是具有自回归谱分析的典型变量(canonical variates with autoregressive spectral analysis,CVARS),它结合了典型变量的功率和自回归谱分析的功率来估计信号和噪声功率水平,用于高信噪比的信号分析[6]。 2017年,南京邮电大学设计了一套采用CCA算法的SSVEP-BCI智能家居服务系统,准确率最高可达87%[7]。显然,CCA已经受到广大业界朋友的肯定,但是CCA对于多分类的频率识别,正确率还有一定的提升空间。
多变量同步指数(MSI)是由电子科技大学的张杨松于2013年提出的[8],并且用来对SSVEP信号进行分类。2015年,巴西的圣埃斯皮里托联邦大学运用MSI算法完成了基于SSVEP-BCI的机器人轮椅的设计,其频率分析正确率达到88%[9]。2017年,张扬松提出一种改进的MSI算法(the extension algorithm to MSI,EMSI),利用时间延迟嵌入的方法,进一步提高了基于SSVEP的BCI系统的性能[10]。
目前,稳态视觉诱发电位脑机接口的方法主要有:功率谱密度分析、典型相关分析以及多变量同步指数。不过,功率谱密度分析方法对SSVEP信号分类的准确率偏低,受噪声影响波动大且不稳定。因此,本文利用MSI方法与CCA方法分别对SSVEP信号分类,分别探讨了EEG数据长度、导联的位置与数量、参考正余弦信号的谐波数量对MSI和CCA算法频率识别正确率的影响,并且分析得出两种方法最大发挥作用的最优实验设置。
典型相关分析(canonical correlation analysis,CCA)是通过计算多通道脑电(electroencephalography,EEG)信号与构造的参考正余弦信号之间的相关系数,求两个信号的最大相关性[11]。
用CCA算法对EEG信号分析时,假设有k个频率刺激时,X为测得的EEG信号,Y为模拟刺激频率的参考信号,如式(1):
(1)
其中,Nh是谐波数量, fk是刺激频率,FS是采样率,M是信号样本数。对两个多维信号X,Y来说,CCA方法试图找到一组矢量WX,WY,这一组矢量可以使向量x,y之间的相关系数达到最大,其中x=XTWX,y=YTWY。
(2)
在式(2)中对WX,WY,求得相关系数ρ的最大值,分别计算不同的fk下ρ,即最大的ρ对应的频率为SSVEP的响应频率。
多变量同步指数(multivariate synchronization index,MSI)是通过估计EEG信号与构造的正余弦参考信号之间的同步指数来进行刺激频率的识别[8]。矩阵X设为一组维度为N×M的脑电信号,矩阵Y设为一组维度为2Nh×M的模拟刺激频率的参考正余弦信号。N是通道数,M是数据长度,Nh是参考信号谐波数[12]。它们的相关矩阵C为[8]:
(3)
式(3)中:
(4)
(5)
(6)
(7)
为了减少X和Y自相关的影响,去除C中的自相关矩阵,进行如下[9]:
(8)
则经过变换后的新的相关矩阵R为:
(9)
设φ1,φ2,φ3,…,φp是R的特征值,将其标准化为:
(10)
其中p=N+2Nh。
X与Y之间的同步指数S可以表示为:
(11)
根据式(11),当两组信号完全不相关,则C12=C21=0,R就是一个简单的对角矩阵,容易得到当两组信号完全相关,则其他标准化特征值都为0,S=1;当其他情况时,S在0到1之间变化。
参考信号Y的构造跟CCA类似,不做赘述。通过计算得到EEG信号与每个参考正余弦信号Y之间的同步指数,然后获得k个模拟刺激频率参考信号对应的k个相关指数(S1,S2,...,Sk)。其中,最大的指数Smax对应的参考信号的频率就是所看频闪刺激的频率[8]。
本文采集EEG数据所用的视觉刺激器采用液晶显示器,刷新频率为60帧/秒,基于MATLAB的Psychtoolbox (PTB)工具箱编程实现[13]。本文采用8 Hz、12 Hz、10 Hz、13 Hz作为刺激频率,如图1所示。 EEG信号采集设备使用博睿康科技有限公司(Neuracle)的无线EEG采集系统,采样频率设为250 Hz, 32个通道位置符合国际10-20系统标准如图2。
图1 视觉刺激器
Fig.1 Visual stimulator
图2 通道位置
Fig.2 Channel location
本文选取7名年龄19~28周岁的被试者,视力均正常。本文的实验在噪声较少,光线较暗的环境中进行,受试者眼睛距离视觉刺激约0.5 m。实验前,受试者均不需要接受SSVEP的脑机接口的训练,液晶显示屏的频闪刺激依次闪烁,每个频闪闪烁时间5 s,休息3 s,循环80次,由脑电信号采集设备记录数据,并且采集到的EEG数据不做任何预处理。
实验分别对6名受试者的SSVEP信号分类,其中,参考正余弦信号的谐波数量为2,通道数量为1(O2通道),数据长度分别为300、550、800、1050和1250(点数),对应截取时间分别为0~1.2 s,0~2.2 s,0~3.2 s,0~4.2 s,0~5 s。图3是MSI和CCA的平均正确率随EEG数据长度而变化的折线图。显然,平均正确率随数据长度的增加而逐步增大,且趋向稳定。数据长度在300到800之间时,MSI正确率明显高于CCA。但是随着数据长度的增加,CCA的正确率逐渐接近MSI。上述结果说明,CCA算法对数据长度更加敏感,因此在数据长度较小的情况下,MSI算法的性能较CCA算法要好。
图3 EEG数据长度与平均正确率的关系
Fig.3 The relationship between the length of EEG data and the average correct rate
SSVEP是人脑枕叶区皮层受到固定频率的视觉刺激而产生的电压变化[14-15]。图4是人脑对视觉刺激的脑地形图。地形图利用颜色代表强弱,把复杂的脑电反应变得更加直观易懂。由图可得,枕叶区颜色最深,说明大脑的枕叶区是对固定闪烁的刺激最为敏感的区域[16]。人脑地形图可以很清楚的表现出人脑不同位置对固定视觉刺激的敏感情况。人脑枕叶区对应图2通道位置为P3、P4、PO3、PO4、O1、O2、PZ、OZ、T5、T6,所以本文主要采用枕叶区的相关通道,其中,通道数量分别采用1导(O2),2导(O1、O2),3导(O1,O2,OZ),4导(PO4、O1、O2、PZ),6导(P3、P4、O1、O2、PZ、OZ),8导(P3、P4、PO3、PO4、O1、O2、PZ、OZ)和10导(P3、P4、PO3、PO4、O1、O2、PZ、OZ、T5、T6)。
图4 脑地形图
Fig.4 Human brain topographic map
本文采用不同通道数量进行实验,在参考正余弦信号的谐波数量为2,数据长度为1000(点数)的情况下,分别采用1导、2导、3导、4导、6导、8导和10导利用MSI算法和CCA算法进行频率识别的准确率如表1与表2。图5描绘出平均正确率与通道数的之间的关系,可以看出,仅使用O2导联时,两种方法的识别正确率都是最高的,分别为91.04%(MSI)和88.96%(CCA),其次是使用10个导联,两个导联时(O1、O2)正确率最低。上述结果说明,对SSVEP信号来说,导联数量不是越多越好,而是位置越准确,其准确率就越高。
表1 不同通道数下MSI算法进行频率识别的正确率
Tab.1 The accuracy of MSI for frequency identification under different channel numbers %
被试1导2导3导4导6导8导10导A88.7575.0076.2578.7582.5073.7586.25B93.7571.2581.2585.0083.7585.0091.25C88.7570.0083.7576.2578.7583.7590.00D91.2580.0085.0077.5083.7586.2588.75E92.5073.7578.7576.2576.2580.0087.50F91.2576.2582.5083.7580.0088.7590.00Average91.04±1.8374.38±3.2881.25±2.9879.58±3.5180.83±2.7682.92±4.8888.96±1.68
表2 不同通道数下CCA算法进行频率识别的正确率
Tab.2 The accuracy of CCA for frequency identification under different channel numbers %
被试1导2导3导4导6导8导10导A87.5073.7571.2580.0082.5071.2586.25B91.2575.0075.0085.0080.0081.2588.00C88.5076.2581.2573.7571.2585.0089.25D90.0082.5082.5077.5076.2581.2587.50E86.2573.7576.2573.7573.7582.5083.75F88.7577.5080.0083.7580.0086.2587.50Average88.71±1.6276.46±3.0177.71±3.9178.96±4.4177.29±3.9181.25±4.8487.04±1.72
图5 通道数对平均正确率的影响
Fig.5 The effect of the number of channels on the average accuracy
在运用MSI与CCA算法进行分析时,都要构造参考信号。为了检测参考信号数量对算法识别率的影响,本文在1导(O2),取EEG信号数据长度为1000(点数),使用不同参考信号数量分别进行MSI与CCA的SSVEP信号分类实验。图6是正确率随参考信号数量变化的折线图,当参考数量由1增加到2时,两种方法的识别正确率均得到大幅度提升,而参考数量为2、3、4、5时,识别正确率波动较小。由此可以得到结论,最佳的参考信号数量为2,继续增加参考信号数量对正确率提升不大。同时,在其他相同的实验设置下,MSI方法的准确率普遍高于CCA方法。
图6 谐波数对平均正确率的影响
Fig.6 Effect of harmonic number on average accuracy
以上实验对比研究了影响MSI与CCA正确率的三个因素:EEG数据长度、导联位置与数量及参考正余弦信号的谐波数。实验结果显示:
(1)MSI与CCA频率识别的正确率均随数据长度的增加而增加,而在数据长度较小的情况下,MSI算法的对SSVEP信号分类的结果优于CCA算法。
(2)对SSVEP信号来说,导联位置对分析结果的影响要远远大于导联数量,其中O2导联是对SSVEP信号贡献最大的导联信号。
(3)参考信号的数量为2时两种方法的识别率达到最佳。随着参考信号的增加,MSI与CCA对SSVEP信号分类的准确率没有显著改善。
(4)在其他相同的实验设置下,MSI算法对SSVEP信号分类的准确率普遍高于CCA算法,尤其是在时间窗较小、数据量较小的情况下,这种特性表现得更为明显。
SSVEP是大脑皮层受到频闪刺激而在产生的特定反应。目前,对SSVEP信号分类的方法也层出不穷,其中典型相关分析(CCA)和多变量同步指数(MSI)是两个被普遍用来频率识别的方法。本文利用MATLAB对比分析了影响MSI与CCA方法对SSVEP信号分类正确率的三个主要因素,实验结果说明,在时间窗较小、数据长度较短的情况下,与CCA方法相比,MSI方法具有较好的识别正确率。而对SSVEP信号来说,导联位置对识别正确率的影响要远远大于导联数量的影响,而O2导联是包含SSVEP信号信息量最大的导联。对两种方法而言,两个参考谐波就能满足响应频率提取的要求。上述实验结果及分析为BCI系统应用者在方法选择上提供了较为系统的理论及实验参考,同时为两种方法后续的性能提高提供了理论及实验基础,具有较好的参考价值。
[1] 杨俊宇. 基于SSVEP的脑机接口系统研究与设计[D].南京:南京邮电大学,2015.
Yang Junyu. Research and design of brain computer interface system based on steady state visual evoked potential[D]. Nanjing: Nanjing University of Posts and Telecommunications,2015. (in Chinese)
[2] 笪铖璐, 陈志阳, 黄丽亚. 基于CCA的SSVEP性能研究[J]. 计算机技术与发展, 2015,25(5):52-55.
Da Chenglu, Chen Zhiyang, Huang Liya. Study on performance of SSVEP based on CCA[J]. Computer Technology and Development,2015,25(5):52-55. (in Chinese)
[3] Perlstein W M, Cole M A, Larson M, et al. Steady state visualevoked potentials reveal frontally-mediated working memory activity in humans[J].Neuroscience Letters,2003,342(3) :191-195.
[4] 闫铮, 宾光宇, 高小榕. 基于左右视野双频率刺激的SSVEP脑-机接口[J]. 清华大学学报:自然科学版, 2009,46(12):2013-2016.
Yan Zheng, Bin Guangyu, Gao Xiaorong. Right-and-left field stimulation with two frequencies for a SSVEP-based brain-computer interface[J]. Journal of Tsinghua University: Natural Science Edition,2009, 46(12):2013-2016. (in Chinese)
[5] Lin Y P, Wang Y, Jung T P. A mobile SSVEP-based brain-computer interface for freely moving humans: The robustness of canonical correlation analysis to motion artifacts[C]∥International Conference of the IEEE Engineering in Medicine and Biology Society. IEEE, 2013:1350-1353.
[6] Abu-Alqumsan M, Peer A. Advancing the detection of steady-state visual evoked potentials in brain-computer interfaces[J]. Journal of Neural Engineering, 2016, 13(3):036005.
[7] Zhao Ruijie, Qiao Yang, Zhu Ying, et al. A SSVEP intelligent home service system based on CCA[C]∥Control Science and Systems Engineering (ICCSSE), 2017 3rd IEEE International Conference on. IEEE, 2017: 495- 499.
[8] 张杨松. 基于稳态视觉诱发电位的脑机制及脑-机接口研究[D].成都:电子科技大学, 2013.
Zhang Yangsong. Research on steady-state visual evoked potential of its brain mechanisms and applications in brain-computer interface[D]. Chengdu:University of Electronic Science and Technology of China, 2013. (in Chinese)
[9] Tello R G, Valadao C, MUller S, et al. Performance improvements for navigation of a robotic wheelchair based on SSVEP-BCI[C]∥Xii Sbai-Simpósio Brasileiro De Automação Inteligente, 2015.
[10] Zhang Yangsong, Guo Daqing, Yao Dezhong, et al. The extension of multivariate synchronization index method for ssvep-based bci[J]. Neurocomputing, 2017,269:226-231.
[11] 吴俊平. 脑—机接口中的SSVEP信号处理方法研究[D]. 广州:华南理工大学,2015.
Wu Junping. Research on signal processing methods of SSVEP in brain computer interface[D]. Guangzhou:South China University of Technology,2015. (in Chinese)
[12] Tello R M G, Muller S M T, Bastos-Filho T, et al. A comparison of techniques and technologies for SSVEP classification[C]∥Biosignals and Biorobotics Conference. IEEE,2014:1- 6.
[13] 伏云发, 郭衍龙, 李松,等. 基于SSVEP直接脑控机器人方向和速度研究[J]. 自动化学报,2016, 42(11):1630-1640.
Fu Yunfa, Guo Yanlong, Li Song, et al. Direct-brain-controlled robot direction and speed based on SSVEP brain computer interaction[J]. Automation Journal, 2016, 42(11):1630-1640. (in Chinese)
[14] 潘洁, 高小榕, 高上凯. 稳态视觉诱发电位频率与相位特性的脑电研究[J]. 清华大学学报:自然科学版, 2011,51(2):250-254.
Pan Jie, Gao Xiaorong, Gao Shangkai. EEG study of the spectral and phase properties of steady-state visual evoked potentials[J]. Journal of Tsinghua University:Science and Technology,2011,51(2):250-254. (in Chinese)
[15] Hughes J R.临床实用脑电图学[M].马仁飞,译.第2版.北京: 人民卫生出版社,1997.
Hughes J R. EEG in clinical practice[M]. Ma Renfei, translated. Version 2. Beijing: People's Medical Publishing House,1997. (in Chinese)
[16] 李健芃. 基于稳态视觉诱发电位的脑机接口系统的设计与实现[D].兰州:兰州大学,2017.
Li Jianpeng. Design and implementation of a brain computer interface system based on steady state visual evoked potentials[D]. Lanzhou:Lanzhou University, 2017. (in Chinese)
高 诺 女,1974年生,山东济南人。山东建筑大学信息与电气工程学院副教授,工学博士,主要研究方向为生物电信号检测与处理、脑机接口、康复机器人。
E-mail:gaonuo@sdjzu.edu.cn
翟文文 女,1993年生,山东济宁人。山东建筑大学信息与电气工程学院在读研究生,主要研究方向为生物电信号检测与处理、脑机接口、康复机器人。
E-mai:578137523@qq.com
杨玉娜 女,1994年生,山东邹平人。山东建筑大学信息与电气工程学院在读研究生,主要研究方向为生物电信号检测与处理、脑机接口、康复机器人。
E-mail:280135706@qq.com