基于PCA的EEG-fNIRS特征融合.pdf

现代电子技术Modern Electronics Technique2023年10月1日第46卷第19期Oct.2023Vol.46 No.190 引 言脑机接口（BrainComputer Interface,BCI）是脑计算机接口的简称，是一个新的人和计算机进行交流的方式，可以对采集到的大脑皮层神经元电活动进行分析处理，并转化为控制信号输送给其他辅助设备1。BCI在很多领域都有着广泛的应用，比如在医学、航天、游戏开发等领域。在医学领域中，BCI可以通过控制康复机器人的方法，辅助肢体障碍患者进行运动功能重建和生活自理；在航天中可以帮助宇航员监控远程设备。通过设计BCI神经反馈系统，在游戏中加入反馈场景可以提升人们的游戏体验，增加游戏的趣味性2。BCI 系 统 常 用 的 脑 成 像 方 式 包 括 脑 电 图（Electronencephalogram,EEG）3、脑磁图、功能磁共振成像 和 功 能 近 红 外 光 谱（Functional Near infrared Spectroscopy,fNIRS）4。由于每种神经成像方式都有其基于PCA的EEGfNIRS特征融合刘化东，许博俊，李梦琪（昆明理工大学 信息工程与自动化学院，云南 昆明 650500）摘 要：运动想象脑机接口（MIBCI）可解码用户运动意图，它无需任何外部刺激就能产生指令，可以为无法自主运动患者提供一种额外交流通道，辅助或改善其生活方式，但目前还没有一个比较好的方法能对MIBCI进行高效解码。脑电图（EEG）和功能近红外光谱（fNIRS）是目前一种无创的功能神经成像技术。在单个模式上，EEG的空间分辨率较差，而时间分辨率较高，相比之下，fNIRS提供了更好的空间分辨率，所以文中采用双模态的方式对MI信号进行解码。由于EEG和fNIRS是两种不同类型的信号，如何对两种信号进行融合是目前研究的重点和难点，文中首先对特征提取后的两种信号进行归一化处理，然后采用主成分分析（PCA）算法进行信号融合。实验招募了12名被试做抬左右腿的运动想象。结果表明单独使用EEG 和 fNIRS 进行信号解码精度最高为 73.8%，使用 PCA 对 EEGfNIRS 的特征进行融合后分类精度实现了 81.2%，提高了7.4%。实验结果证明提出的方法可以为未来的多模态在线BCI系统提供新的思路。关键词：双模态融合；脑电图；功能近红外光谱；运动想象；支持向量机；共空间模式；信号解码；主成分分析中图分类号：TN911.734；TP319 文献标识码：A 文章编号：1004373X（2023）19002905EEGfNIRS feature fusion based on PCALIU Huadong,XU Bojun,LI Mengqi(Faculty of Information Engineering and Automation,Kunming University of Science and Technology,Kunming 650500,China)Abstract：The motor imagery braincomputer interface(MIBCI)can decode the users motion intention.It can generate instructions without any external stimulation,and can provide an additional communication channel for patients who cant move autonomously,so as to assist or improve their lifestyle.However,there is no relatively good method to decode MIBCI efficiently.Electroencephalogram(EEG)and functional near infrared spectroscopy(fNIRS)are non invasive functional neuroimaging techniques at present.In a single mode,the spatial resolution of EEG is poor,while its temporal resolution is high.In contrast,fNIRS provides better spatial resolution,so the means of dualmode is adopted to decode MI signals.Since EEG and fNIRS are two different types of signals,how to fuse the two is the focus and difficulty of the current research.In this paper,the two signals are normalized after feature extraction is completed,and then the principal component analysis(PCA)algorithm is used to fuse the signals.In the experiment,12 subjects were recruited to imagine the movement of lifting their left and right legs.The results show that the highest decoding accuracy is 73.8%by using EEG and fNIRS respectively,and the classification accuracy is 81.2%by using PCA to fuse the features of EEGfNIRS,which is improved by 7.4%.The experimental results show that the proposed method can provide a new idea for the future multimodal online BCI system.Keywords：bimodal fusion;EEG;fNIRS;MI;support vector machine;common space mode;signal decoding;PCADOI：10.16652/j.issn.1004373x.2023.19.006引用格式：刘化东，许博俊，李梦琪.基于PCA的EEGfNIRS特征融合J.现代电子技术，2023，46（19）：2933.收稿日期：20230225 修回日期：202303162929现代电子技术2023年第46卷优缺点，结合其互补特征可以提高 BCI 系统的整体性能。EEG是一种利用电生理指标记录大脑活动的方法。它通过记录大脑活动过程中电波的变化来反映大脑皮层或头皮表面的脑神经细胞的电生理活动。虽然 EEG是目前BCI领域最常用的技术之一，但仍存在一些局限性，如易受运动伪影和电噪声的影响，空间分辨率低5。fNIRS是一种新兴的光学脑成像技术，近年来引起了脑机接口领域的广泛关注。它利用血液主要成分对 600900 nm 近红外光的良好散射，获得了大脑活动过程中氧 血 红 蛋 白（Oxyhemoglobin,HbO）和 脱 氧 血 红 蛋 白（Deoxygenated hemoglobin,HbR）的变化。与EEG相比，fNIRS对运动伪影和电噪声的敏感性较低，具有较高的空间分辨率，但时间分辨率较低6。所以利用 EEG 和fNIRS信号的多样性和互补信息，可以最大限度地发挥各模态各自的优势，提升分类精度。为了更好地利用两种模态的信息，需要选择合适的信号融合方法，本文提出对两种信号进行特征提取后进行 归 一 化 处 理，然 后 采 用 主 成 分 分 析（Principal Components Analysis,PCA）进行信号融合。实验结果表明，对 EEGfNIRS 的特征进行融合后分类精度实现了81.2%，比单独使用 EEG 和 fNIRS 进行信号解码精度分别提高了7.4%和8.9%。1 材料和方法1.1 被试、实验范式和数据采集1.1.1 被 试本研究招募了 12 名右利手被试参与实验（男性9名、女性 3名，年龄在 2228岁），所有的被试均了解运动想象过程，视力正常或已矫正至正常。实验过程中，被试坐在电脑屏幕前专心地看屏幕提醒进行抬左右腿的动作想象；周围的环境保持安静，避免影响被试的注意力。所有被试都签署了实验知情同意书。本研究的想象任务为抬左右腿。1.1.2 实验范式实验中每个环节包括前 60 s 的休息阶段、20 次重复的任务过程和后 60 s的休息阶段。每个任务过程以2 s的视觉指令（一个指向左边、右边的黑色箭头会在屏幕中央出现）开始，当屏幕出现黑色十字时，执行10 s的想象任务，之后是 15 s的休息时间。在实验开始前，训练受试者提前进行几组运动想象实验。实验范式流程如图1所示。1.1.3 数据采集本实验采用双模态的方法，所以要保证数据采集的同步性，由于EEG信号采集和fNIRS信号采集设备的原理是不同的，要想实现同步采集，首先需要对电极帽的布局进行调整，保证既可以进行相关区域中的脑电信号采集又可以布局近红外探头。电极根据国际 1020 系统7标准布置，双模态实验中 EEG采用 9通道，fNIRS采用 12通道，由 6个光源发射器和 6个探测器构成，自制脑电帽如图 2 所示。实验中，被试坐在密闭的实验室中，以最大程度降低外界环境对实验的干扰。图1 实验范式流程图图2 双模态实验脑电帽1.2 方 法1.2.1 EEG信号处理1）预处理EEG 主要包括 波、波、波、波以及 波，并且每种频率的 EEG节律都与大脑特定的生理现象密切相关。在运动想象分类任务相关研究中，文献8发现波（813 Hz）具有最高的分类性能，其次是波（1430 Hz）。因此首先对原始运动想象 EEG 数据选择 830 Hz带通滤波器进行滤波处理。2）特征提取对两个类别的协方差矩阵进行对角化，然后寻找到一个空间滤波器，使得投影进来的数据特征区分度最高是CSP算法的主要工作。用X1和X2代表两种类型的运动想象信号，为了计算方便，一般选择忽略信号采集中噪声的影响。X1和X2分别表示为：Xi=OiOm*SiSm,i=1,2（1）式中：S1和S2分别代表两个不同类别的源活动；O1和O2是由S1和S2相关的共空间模式组成；Sm表示两种不同类别下所共有的源信号；Om表示与Sm相应共有的空间模式。CSP算法的本质是通过协方差矩阵同时对角化，30第19期找到与这两个想象任务匹配的空间模式，通过该空间滤波器提取这两个类别中的有效成分S1和S2，使得经过预处理后的 EEG信号经过该滤波器投影后得到两种类别最高区分度的特征向量。接下来进行共空间模式方法的数学描述。用Via表示实验i的原始脑电数据，条件a表示N T的矩阵，N表示脑电数据的通道数，T表示时间上的样本数。因此，在给定时间点的采集可以表示为N维欧氏空间中的点，而且一个EEG可以看作是T个这样的点的分布。一般基于 MI的脑电数据特征提取之前都会进行 830 Hz的带通滤波，预处理后该分布的平均值为零，所以首先要计算脑电信号的协方差矩阵。标准化的空间协方差表示为：Ria=ViaVi+atrace(ViaVi+a)（2）设Rib表示条件b的实验所对应的标准化协方差矩阵，进行归一化是为了消除矩阵间绝对值的变化。接下来平均归一化协方差矩阵：Ra=trialsRb=trials（3）接下来对复合协方差矩阵进行对角化分解：Rc=Ra+RbRc=BcB+c（4）Rc是复合协方差矩阵，Bc是N N的归一化特征向量，是对角矩阵对应的特征值。白化转化矩阵：W=-12B+c（5）对平均协方差矩阵Ra和Rb变形：Sa=wRaw+Sb=wRbw+（6）Sa+Sb=wRcw+=1N N（7）由式（7）可知Sa和Sb是公用相同的特征向量，Sa和Sb如下式所示：Sa=UaU+Sb=UbU+a+b=I（8）在U上投影白化的时间点将提供在最小二乘意义上区分两种运动想像目标的最佳特征向量。投影矩阵表示如下：P+=U+W（9）每次实验的分解：Zi=P+Vi（10）同样，特征分量计算可以转换为：Vi=P+-1Zi（11）新的时间序列Zi作为扩展系数，因此CSP可以被视为源分布矩阵，而Zi则是相应的源波形矩阵。1.2.2 fNIRS信号处理1）预处理为了纠正运动伪影，使用0.01,0.2 Hz带通滤波器进行滤波，以去除心脏信号和低频振荡。利用修正的比尔朗伯定律9，将滤波后的光强数据转换为HbO。对于每一次实验，得到数据然后通过从原始数据中减去基线进行基线校正10。基线被认为是刺激开始前1 s的信号的平均值。2）特征提取对 fNIRS信号进行预处理后，从时域信号中提取特征：最常用的是提取信号的平均值和斜率。一般提取到的 HbO 信号平均值可以反映出此区域的大脑活动程度，脑活动程度的变化用采集到的 HbO 信号的斜率进行检测11。HbO信号平均值的计算方法为：Average=X1+X2+XNN （12）式中：X为采样数；XN表示HbO数据。方差的计算方法如下：var(X)=(X-)2N（13）式中：var为方差；为X的平均值。峰值计算如下：kurt(X)=E ()X-4（14）式中：E是X的期望值；是X的标准差。信号斜率用Matlab中的多拟合函数计算。1.2.3 EEGfNIRS特征融合与分类1）特征融合EEG信号和 fNIRS信号是不同类型的两种脑信号，对其进行融合前需要进行归一化处理。Fnorm=()X(i)-min(X)max(X)-min(X)-0.5 2 （15）归一化后的数据需要进行主成分分析（PCA）12，PCA 可以降低数据的特征维度，提取出主要的特征向量，对数据进行压缩，以减少计算复杂度，整体流程如图 3所示。PCA的主要思想是通过线性变换，将数据从n维线性空间映射到k维（k n），并尽可能最大化地保留信息。主要变换步骤如下：对数据进行均值化：x(i)=x(i)-1ni=1nx(i)（16）计算数据的协方差矩阵C；求出协方差矩阵C的特征值和特征向量；对求出的特征值进行大小顺序排列，取前k个特刘化东，等：基于PCA的EEGfNIRS特征融合31现代电子技术2023年第46卷征向量组成向量矩阵P；将数据在矩阵P上进行投影，计算Y=X*P，得出降维后的数据。图3 EEGfNIRS双模态信号处理流程2）分类器SVM 是一种使用比较多的分类器，它把传送进来的信号通过一个核函数映射到高维空间中。之后在高维空间中构造一个可以使每一个类别的数据区分度较高的超平面，以提高分类的泛化能力和置信度。最优超平面T x+b=0可以通过非线性映射产生。一般，样本集线性可分时，优化问题可以表示为：min,b(,b)=122。当样本集不可分时，SVM将会采用非线性映射将数据样本映射到高维空间进行分类，之后选用核函数g对高维空间出现的问题进行解决13。2 结果与讨论2.1 结 果通过上述方法对EEG信号采用CSP进行特征提取，采用 SVM 进行分类，得到了 73.8%的分类精度。对于fNIRS信号，分别使用平均值、斜率、峰值和标准差的方法进行特征提取和 SVM算法分类。分类结果中提取平均值达到了 72.3%的最高分类准确率，fNIRS提取不同特征的分类结果如表1所示。表1 fNIRS信号不同特征的分类准确率%分类方法fNIRS平均值fNIRS斜率fNIRS峰值fNIRS标准差分类准确率72.368.964.663.5对于EEGfNIRS信号的协同分类，本文提出首先对两种信号进行归一化，然后使用 PCA 进行信号的融合降维。表2显示了本文提出的方法分类结果，可以看出本文提到的采用 PCA 进行两种信号融合实现了 81.2%的分类准确率，对比单模态分别提升了 7.4%和 8.9%。实验结果证明本文提出的方法可以有效地对双模态特征进行融合，提升分类精度。表2 双模态信号的分类准确率%融合特征EEGfNIRS(平均值)EEGfNIRS(斜率)EEGfNIRS(峰值）EEGfNIRS(标准差)分类准确率81.274.56567.2每位被试的 EEG信号、fNIRS信号的平均值和两种模态融合分类准确率如表3所示。表3 对比三种模式的分类准确率%被试S1S2S3S4S5S6S7S8S9S10S11S12平均准确率EEG76687082747680688470687073.8fNIRS72667874786472748266647872.3EEGfNIRS84768088687884869276788481.22.2 讨 论在本文的研究中，提出对两种信号特征进行归一化后使用 PCA 进行降维融合的方法，分类精度比单模态EEG信号和 fNIRS信号分别提升了 7.4%和 8.9%。本研究招募了 12名被试，表 1显示的是 fNIRS不同特征的分类 结 果，可 以 看 出 平 均 值 的 分 类 精 度 最 高 达 到 了72.3%。表2中双模态融合分类中同样是对平均值特征融合分类精度最高，达到 81.2%。对比每一个被试，从表3可以看出，不同被试的分类精度差异较大，被试5的分类精度为 68%，而被试 9 的分类精度达到 92%，原因主要是因为不同被试个体之间也会存在差异。对比32第19期三种模式的结果，个别被试使用双模态的分类准确度低于单模态，原因可能是在利用 PCA进行降维处理后，会丢掉一些有效的信息，使得个别被试的分类精度下降，但总体而言，平均分类精度有所提升。文献14设计了同步采集方法，使用脑网络对两种信号进行提取融合，采用 SVM 分类器最终实验得到了72.7%的分类精度，相对于单模态提升了 5%；文献15在分类过程中采用深度神经网络（DNN）进行分类，通过把两种信号的特征作为全连接前馈结构的DNN网络的输入，最终得到 83%的分类精度，比 EEG 高 10%，比fNIRS高11%。以上研究使用不同方法实现对双模态的数据融合，都有了一定程度的提升。但目前来看，如何在保证不丢失有效信息的前提下，更好地实现双模态信号融合是未来的研究重点。总体来看，本文提出的方法与其他方法相比，计算量减少，分类精度也得到了大幅度提高，可以为未来的多模态在线BCI系统提供框架。3 结 论本次研究提出使用 PCA 的方法对 EEGfNIRS信号的特征进行融合，使用 SVM 分类器进行分类。通过实验对该方法进行验证，得到了 81.2%的分类精度，相对于单模态，分类精度分别提升了 7.4%和 8.9%。实验结果表明，本文所提的融合方法可以最大限度地保留单个模态的信息，提高了运动任务的分类精度，证明了两种模态的融合可以提升信号解码能力。本研究可以为多模态的信号融合提供参考。注：本文通讯作者为刘化东。参考文献1 SINGH A,HUSSAIN A A,LAL S,et al.A comprehensive review on critical issues and possible solutions of motor imagery based electroencephalography braincomputer interface J.Sensors,2021,21(6):2173.2 VARSEHI H,FIROOZABADI S M P.An EEG channel selection method for motor imagery based braincomputer interface and neurofeedback using Granger causality J.Neural networks,2021,133:193206.3 黄靓，杨玲玲，易婵，等.脑电图在阿尔茨海默病防治中的研究进展J.中国医学工程，2022，30（8）：5053.4 李梦琪，龚安民，南文雅，等.基于功能近红外光谱成像的神经反馈技术及应用J.生物医学工程学杂志，2022，39（5）：10411049.5 BURLE B,SPIESER L,ROGER C,et al.Spatial and temporal resolutions of EEG:Is it really black and white?A scalp current density view J.International journal of psychophysiology,2015,97(3):210220.6 MCCORMICK P,STEWART M,GOETTING M,et al.Regional cerebrovascular oxygen saturation measured by optical spectroscopy in humans J.Stroke,1991,22(5):596602.7 OKAMOTO M,DAN H,SAKAMOTO K,et al.Threedimensional probabilistic anatomical cranio cerebral correlation via the international 1020 system oriented for transcranial functional brain mapping J.Neuroimage,2004,21(1):99111.8 李洁.多模态脑电信号分析及脑机接口应用D.上海：上海交通大学，2009.9 KOCSIS L,HERMAN P,EKE A.The modified BeerLambert law revisited J.Physics in medicine&biology,2006,51(5):9198.10 XU C,BRAY S,REISS A L.Functional near infrared spectroscopy(NIRS)signal improvement based on negative correlation between oxygenated and deoxygenated hemoglobin dynamics J.Neuroimage,2010,49(4):30393046.11 王金甲，周丽娜.基于 PCA和 LDA数据降维的脑磁图脑机接口研究J.生物医学工程学杂志，2011，28（6）：10691074.12 GONI M R,RAHMAN T.Predictive modeling on MEG signal to classify hand and wrist movement using UNEQ and KNN C/2020 IEEE Region 10 Symposium(TENSYMP).New York:IEEE,2020:815818.13 BUCCINO A P,ONUR KELES H O,OMURTAG A,et al.Hybrid EEG fNIRS asynchronous brain computer interface for multiple motor tasks J.Plos one,2016,11(1):e0146610.14 GE S,WANG P,LIU H,et al.Neural activity and decoding of action observation using combined EEG and fNIRS measurement J.Frontiers in human neuroscience,2019,13:00357.15 MARIA A N,PIERPAOLO C,ARCANGELO M,et al.Deep learning for hybrid EEGfNIRS braincomputer interface:application to motor imagery classification J.Journal of neural engineering,2018,15(3):112.作者简介：刘化东（1997），男，山东人，硕士研究生，主要研究方向为基于fNIRS与EEG的双模态脑机接口。许博俊（1998），男，湖南人，硕士研究生，主要研究方向为基于fNIRS的情感脑机接口。李梦琪（1995），男，江苏人，硕士研究生，主要研究方向为基于fNIRS的脑机接口和神经反馈。刘化东，等：基于PCA的EEGfNIRS特征融合33