基于时空特征学习Transformer的运动想象脑电解码方法.pdf

DOI:10.1322023.02.014CNATURASCIENCEMar.,20232023年3月JOURNALCOHNANNNIVERSITYVol.59,No.2第59 卷第2 期南京大学学报（自然科学）基于时空特征学习Transformer的运动想象脑电解码方法宋耀莲，殷喜喆，杨俊*（昆明理工大学信息工程与自动化学院，昆明，6 50 50 0）摘要：脑电图（Electroencephalography，EEG)可记录来自大脑皮层的电信息，反映了脑活动中神经细胞放电产生的电场变化情况.EEG的空间信息和时间信息对于运动想象脑电（MotorImageryElectroencephalogram，M I-EEG）解码分类模型学习判别特征至关重要，但过度依赖预处理和手工特征提取，导致对EEG数据进行信号分类较为困难。尽管深度学习已经在很多领域实现了自动特征提取，但脑电图的深度学习尚未完成.提出基于FBCSP（Fi l t e r Ba n k Co m m o n Sp a t i a lPatterns）和Transformer模型的时空特征学习的运动想象脑电解码方法，针对FBCSP滤波的脑电信号，依次通过空间维度和时间维度上的注意力转换来获取空间和时间特征，然后通过Softmax函数对不同类别的EEG数据进行分类：实验结果表明，在BCI竞赛数据集IV-2a上，该方法的分类准确率可达8 4.16%，为MI脑电信号分类提供了新思路.关键词：运动想象，脑电图（EEG），注意力，Transformer模型中图分类号：TP391.41文献标志码：ATransformer based on temporal-spatial feature learning formotor imagery electroencephalogram signal decodingSong Yaolian,Yin Xizhe,Yang Jun(School of Information Engineering and Automation,Kunming University of Science and Technology,Kunming,650500,China)Abstract:Electroencephalography(EEG)is used to record electrical information from the cerebral cortex,which reflectschanges in the electric field producced by the firing of nerve cells during brain activity.The spatial and temporal information ofthe EEG is crucial for the Motor Imagery Electroencephalogram(MI-EEG)decoding and classification model to learndiscriminative features.Researchers over-reliance on preprocessing and manual feature extraction makes it difficult to classifysignals from EEG data.Although automatic feature extraction has been achieved in several other fields using deep learning,deep learning for EEG is not yet completed.In this paper,a motor imagery EEG decoding method based on FBCSP(FilterBank Common Spatial Patterns)and Transformer model for temporal-spatial features learning is proposed.For the EEGsignals filtered by FBCSP,the spatial and temporal features are obtained through attention transformation in the spatialdimension and the temporal dimension in turn.Then,different categories of EEG data are classified by Softmax function.Experimental results show that the classification accuracy of the proposed method reaches 84.16%on the BCI competitionIV-2a dataset,which provides a new idea for MI-EEG classification.Key words:motor imagery,Electroencephalogram(EEG),attention,Transformer model基金项目：昆明理工大学人才科研启动基金（KKSY20190328)收稿日期：2 0 2 3-0 1-30*通讯联系人，E-mail:314第59 卷南京大学学报（自然科学）基于脑电的脑机接口（BrainComputerInterface,BCI)可以为大脑和外界提供独立的信息交换和控制通道，增强人脑与环境通信和交互的能力 1.BCI研究可以帮助残疾或者瘫痪的人实现对外部设备的控制，提高生活的质量，近年来已成为人们高度关注的研究领域。运动想象脑电图（MotorImageryElectroen-cephalogram，M I-EEG)是一种无须外部刺激且能自我调节的脑电图，可以通过电极检测，但如何从大脑活动中解释运动意图是BCI的主要难点.在之前的研究中发现，高效的神经解码算法可以显著提高解码精度，从而提高BCI的性能，而脑电信号的低信噪比是导致其分类精度较低的主要原因.因此，从预处理的脑电信号中提取特征来区分不同动作的脑电信号是BCI技术中最重要的部分，即脑电信号的特征提取与分类 2 .已经证明，传统的机器学习方法在脑电信号分类中效果良好，如共空间模式（Common SpatialPatterns，CSP）、滤波器组共空间模式（FilterBankCom-monSpatialPatterns，FBCSP）和支持向量机 3等.但是，MI-EEG信号具有低信噪比、时变和个体差异大的特点，传统的机器学习方法有一定的局限性，而且在特征提取上很大程度依赖人工设计的特征，需要大量的先验知识.为了克服传统方法的缺点，许多基于深度学习的分类方法 4 被提出，现在BCI范式已拥有各种不同构架的深度学习网络模型 5,如卷积神经网络(Convolutional Neural Networks,CNN)6)、循环神经网络(Recurrent Neural Network,RNN)7)长短期记忆(Long Short-Term Memory,LSTM)8)或它们的组合方法然而，上述方法仍然存在一些限制,阻碍了高性能BCI的构建.如CNN的性能依赖每一层卷积核的选择，大的卷积核会阻碍深层CNN的利用率，而小的卷积核则限制了CNN的感受野 9 ,如果没有足够深的结构，很难感知信号内部广泛的关系，会产生大量的计算。Socheretal10提出基于RNN的EEG信号分析方法，取得了优越的效果，LSTM也被用来进行EEG信号分析 11.但这些方法不足以处理更多的扩展数据，如RNN只作用于先前的记忆和当前的状态，LSTM虽然能捕获长距离依赖信息，但无法并行计算，CNN虽然能并行计算，但无法捕获长距离依赖信息，需要通过层叠或者扩张卷积核来增大感受野.Vaswanietal12提出Transformer网络,在NLP（Na t u r a l La n g u a g e Pr o c e s s i n g)的序列建模能力上引起飞跃，已被引人翻译、图像生成等领域.与CNN,RNN和LSTM相比，Trans-former模型中的注意力机制不仅在长序列特征相关性计算和模型可视化与可解释性方面优于其他模型，而且在处理长期依赖关系方面表现了更优越的性能.最近，基于Transformer的模型也被应用于不同的EEG任务.Sun etal13将Transformer与CNN相结合来提高MI-EGG的分类准确性.Pedoeem etal14构建了卷积层、全连接层和用于癫痫检测的Transformer的混合架构.Guo et al15提出一种具有深度卷积和Transformer编码器的新型神经网络模型，它探索情绪识别对每个EEG通道的依赖性，通过可视化获取的特征来进行基于EEG的情绪识别.长期依赖关系是时间序列的重要特征，所以Transformer模型是一个很好的序列数据识别模型，但目前MI-EEG的研究中仍然缺乏Trans-former的应用.基于上述分析，提出基于FBCSP的时空特征学习的Transformer运动想象脑电解码方法，实现对原始EEG信号的时空特征抽取和识别.首先，根据运动想象EEG信号的特性，利用FBCSP构成的空间滤波器对原始运动想象EEG信号进行滤波处理，然后依次进行空间维度和时间维度上的注意力转换，最后通过Softmax函数对EEG数据进行分类.实验结果表明，该方法可有效提高对MI脑电信号分类的准确率1数据集与预处理1.1数据集使用BCI竞赛IV-2aMI-EEG数据集，该数据集由奥地利格拉茨工业大学提供 16 ,，一共记录了九名受试者左手、右手、双脚和舌头四种不同的运动想象任务的EEG信号，每个受试者的实验数据分为两组，即训练集和测试集.每个任务包含2 8 8 次试验，每种类型的MI-EEG信号试验7 2 次，按图1所示的计时方案来进行记录.实验采集装置有2 5个通道，其中EEG电极有22个，眼电（EOG)电极有3个.主电极分布如图2315第2 期宋耀莲等：基于时空特征学习er的运动想象脑电解码方法所示，符合国际10-2 0 标准，采样率为2 50 Hz.数据通过50 Hz的陷波滤波器过滤以消除工频干扰，然后通过0.5 10 0 Hz的带通滤波器保留人脑电波频率的主要成分.BeepCueFixation crossMotorimageryBreak012345678t(s)图1数据采集的计时方案Fig.1Data acquisition timing schemeFz4689111213C3CzC414151617Ref.18GND1920图2EEG电极位置的示意图Fig.2Schematicdiagramof EEG electrodes1.2FBCSP空间滤波器为消除工频干扰，原始EEG数据通过50 Hz的陷波滤波器滤波.与运动想象相关的信息在频谱上是局部化的，大多数脑电信息出现在(812Hz)和(1232Hz)波段，而眼电噪声频率范围主要存在于较低频。为了进一步提高脑电信号的信噪比，将数据带通滤波至 4,40 Hz,并去除基线漂移、眼动、头动等伪迹干扰.因此，为了定位该鉴别信息，使用滤波器组共空间模式（FBCSP)来构建空间滤波器，通过CSP算法来改善原始信号的空间差异并保持时间信息。CSP算法是常用的对EEG信号进行空间滤波的方法，在EEG信号的分类识别中应用广泛17 .CSP算法的主要目的是设计空间滤波器，将原始多维数据投影到低维空间，使滤波处理后两类数据之间的方差最大化18 .FBCSP算法是CSP算法的进一步扩展，能有效提取不同频带的特征.由于传统的FBCSP只适用于二分类，本文使用一对多(OneVsRest,OVR)的分类策略来处理多分类的任务，将多类任务中的每一类都分别与其他类区分.基于FBCSP的空间滤波过程如下.首先，FBCSP使用由ChebyshevI型滤波器构成的滤波器组将其分解成6(16 9)个频带的信号.例如，以带宽为4Hz在 4,40 Hz将MI-EEG信号分解为4 8,8 12,12 16，36 40Hz共九个频带上的信号，得到九组不同频带范围的MI-EEG信号.第6(16 9)个带通滤波器得到的MI-EEG用E，表示，然后分别对每个频带成分计算“二分类 CSP投影矩阵W，,得到滤波器Z.=WTE，每类MI任务包含n（n=7 2）个实验数据.具体过程如下：（1)首先，计算第6 个滤波器的“两类 MI-EEG中每个实验的协方差矩阵：E,ETC,=-(1)trace(E,Et)其中，trace(X)代表矩阵X的对角线元素之和，T为转置运算符.（2)通过一类和“剩余类的平均协方差ZCo.和Z.Com,得到所有实验的混合空间协方差Cbe：Chs=Er-,Co.+Z,Cor:(2)其中，Cb。为其中一类的协方差矩阵，Cr为“剩余”类的协方差矩阵，N为“剩余类别的实验数据，（3）对混合空间协方差矩阵进行特征值分解：Cbe=UbeAbUl(3)其中，Ub为特征向量矩阵，Abc为特征值对角矩阵.（4)构造白化矩阵P,和空间系数矩阵Sb：1P,=AUT(4)So=P.CoPT(5)Sbr=P,CorPT(6)其中,Sb。为其中一类的空间系数矩阵,Sbr为“剩余 类的空间系数矩阵。(5)利用Sb。和Sbr具有的相同的特征向量构成矩阵B，对其进行分解：Sbo=B,AboBT(7)316南京大学学报（自然科学）第59 卷Sr=B,AbrBT(8)其中，A6。和Abr为特征值对角阵。（6)计算投影矩阵Wb，得到经过空间滤波后的脑电信号Z：W,=(BTP,)T(9)Z.=WTE.(10)2模型结构如图3所示，模型的总体框架包括四部分，分别是数据预处理、空间模块、时间模块和分类.首先对原始数据进行空间滤波处理，然后，空间模块利用点积注意力机制对特征通道进行加权，时间模块采用多头注意力机制（MultiheadAttention，MHA)进行时间变换，从不同的角度感知脑电信号的全局时间依赖关系，最后使用Softmax函数进行分类 12 2.1空空间模块该模块使用缩放的点积注意力机制对特征通道进行加权.先将输入数据分别与三个不同的权重矩阵相乘得到查询（Query）向量Q、键（Key)向量K和值（Value）向量V,三个矩阵大小相同，按式（11)计算加权值.Q与K点乘的结果除以缩放因子d,进行归一化，通过Soft-max函数，对应的就是各个通道之间的相互关联程度，然后乘上对应的矩阵V,得到最后的加权结果，即通道加权的表示.矩阵Q代表将用于匹配的每个通道，矩阵K代表使用点积的所有其他通道QKTAttention(Q,K,V)=SoftmarV(11)2.2时间模块EEG信号的时间信息对于提高运动想象脑电解码的性能至关重要.该模块采用多头注意力机制，可以从不同的角度感知脑电信号的全局时间依赖关系，为了降低计算的复杂度，对经过空间模块压缩的数据进行切片，然后分成h个更小的部分，即头部.将各部分的输出线性变换并进行串联连接，最后将得到的注意力向量作为输出，具体如下：MutiHead(Q,K,V)=(12)Concat(headi,.,head,.)wohead,=Attention(QW,KWK,VWy)(13)其中，Concat是矩阵拼接函数，head,是第i个head的输出结果，h是head的个数，W是最终输出的线性变换，W&,WK,WY分别为Q,K,V在第i个head上的线性变换.全连接前馈神经网络是对多头注意力层的输出结果进行两次线性变换和一次Gelu（G a u s s i a nErrorLinearUnits）激活操作，MHA和前向反馈子层都包含一个残差链接结构，然后再做一个规Results11RF1LT1二1Dot ProductMulti-Head1RawEEGsignalAttention1SoftmaxAdd&NormScalingFactor川FeedForwardDot ProductAdd&NormKT11SpatialFilter川Global AveragePooling1Position Embedding11111Input11ProcessingSpaceModuleTimeModuleClassificationModule图3模型结构Fig.3The architecture of ourmodelL317第2 期宋耀莲等：基于时空特征学r的运动想象脑电解码方法范化操作作为子层的最终输出.该模型的MHA和全连接前馈模块重复三次，以获得更好的效果，为了让模型利用脑电采样之间的序列关系，即位置信息，在压缩和切片之前，利用卷积层对脑电采样之间的序列进行编码，卷积层的内核大小设为51,步长设为1.2.3分类输出模块快采用全局平均池化层(Global AveragePooling,GAP）来代替卷积神经网络中传统的全连接层.GAP层通过平均池化操作将时间模块输出的每个特征向量的平均值映射到一个类别标签或输出节点，连接到一个完全连接层，最后使用Softmax函数获得预测概率，2.4训练过程及策略为了保证模型的稳定性，使用五折交叉验证的方法进行训练.在有限的数据集下，将每个受试者的训练集和测试集随机打乱放到一起，每个受试者有57 6 个样本.将它们随机分为五个相等的部分，选择其中四份作为训练集，剩下的一份作为测试集对模型进行测试，得到分类准确率。最后,将得到的五个准确率取平均值作为模型的分类结果。在Transformer的多头注意力机制中，多头数目设置为5.同时，使用Adam优化器 4,它是常用的优化器之一，实现简单，计算效率高，占用的内存少，经过偏置矫正后，优化器的每次迭代学习率都保持在一定范围内，使参数更稳定.选择的损失函数为交叉摘损失函数，该损失函数适用于多分类网络 19 ,如式(14)所示.交叉熵可以衡量同一随机变量中两种不同概率分布的差异，在机器学习中表现为真实概率分布与预测概率分布的差异Loss=-p()lgq(),i=1,2,n(14)其中,p()表示第i个目标概率分布，q()表示第i个预测概率分布.交叉摘损失值越小，模型的预测效果越好，设置训练批次为10 0 0 次，每批次训练数据大小为6 4.为了得到更好的训练结果，两个模块均使用0.5的Dropout技术以防止网络过拟合和梯度爆炸，并使用GeLU函数作为激活函数，如式(15)所示:2f()=0.5a(1+tanh(+0.0447152)(15)元2.5评价指标采用准确率（Accuracy,Acc）、精确率(Precision,P)、召回率(Recall,R）、F-s c o r e 和Kappa系数(Pk)等指标来评价模型性能.准确率指通过训练集训练得到的分类模型在测试集上进行预测时，能够被正确分类的样本数与总的样本数的比值，如式（16)所示：TP+TNAcc=(16)TP+TN+FP+FN其中，TP=truepositives，表示将正类预测为正类；TN=truenegatives，表示将负类预测为负类；FP=falsepositives，表示将负类预测为正类；FN=false negatives，表示将正类预测为负类。精确率是分类为真实正类样本数与分类为正类样本数之比，召回率是分类为真实正类样本数与所有真实正类样本数之比.计算式分别为：TPTPP=(17)TP+FPiRTP+FNF-score是识别率的延伸，结合了精确率和召回率,如式(18)所示：2XRF-score=(18)P+RKappa系数用于一致性检验，也用于衡量分类精度，如式（19)所示：Acc-P。P:(19)1-P。其中,P。代表随机正确率3实验结果3.1其他方法与结果对比为了评估该模型在运动想象的四种分类任务上的性能，在BCI竞赛IV-2a公开数据集上进行对比实验，选用一些经典或前沿的基于深度学习的方法.如经典的基于深度可分离卷积构建的EEGNet网络 2 0 ，它设计了一种紧凑实用的具有深度和可分离卷积的CNN网络；一些前沿的网络模型包括Sakhavietal21的C2CM，引人CSP的时态表示并利用CNN体系结构进行分类；Chenetal22提出滤波器组时空卷积网络FBSF-TSCNN，FBSF提供了仍有时间表示的中间脑电信号，并利用TSCNN对中间318第59 卷南京大学学报（自然科学）EEG信号进行解码；Songetal?1提出基于时空微型的Transformer（S3T）模型，是依靠注意力机制感知脑电信号的空间和时间特征的脑电解码方法.表1给出了本文方法与这些方法的对比实验结果，这些方法的参数和实验结果均来自文献。为了进一步分析本文方法对MI脑电信号的分类性能，图4给出了受试者A03,A07,A08,A09分类结果的混淆矩阵，横轴代表所用方法预测的MI类别，纵轴代表实际的MI类别，最右边颜色条的深浅程度代表分类正确率的大小，主对角线和非主对角线分别表示每个类别的正确分类和错分类到其他类别的概率，四种类别的精确率、召回率和F-score如图5所示.由图4可以看出，本文方法的整体性能是可信的，对于不同类别具有良表1本文方法与其他方法测试不同受试者的正确率与Kappa系数Table1Accuracy and Kappa coefficient of our method and other methods for different subjectsC2CM(21S3T2EEGNet20FBSF-TSCNN22OurmethodSubjectAccPAccPkAccPAccPAccPkA0187.50%91.67%79.20%0.84481.00%0.85894.50%0.930A0266.28%71.67%33.50%0.50146.80%0.60179.76%0.836A0390.28%95.00%84.10%0.88183.80%0.87893.70%0.913A0466.67%78.33%50.90%0.63152.30%0.64284.39%0.788A0562.50%61.67%54.30%0.65731.60%0.48658.67%0.692A0645.49%66.67%47.00%0.60242.60%0.56970.80%0.772A0789.85%96.67%82.20%0.86677.30%0.83094.14%0.920A0883.33%93.33%73.20%0.79975.50%0.81690.88%0.880A0979.51%88.33%77.00%0.82773.60%0.80290.67%0.873Average74.46%82.59%64.60%0.73462.70%0.72084.16%0.844Subject A03SubjectA07left+0.950.000.000.050.8left0.890.000.000.110.8right0.000.950.020.030.6right0.000.930.070.000.60.4feet0.040.040.910.02feet0.000.040.960.000.40.20.2tongue0.060.000.000.94tongue0.020.000.000.980.00.0leftrightfeettongueleftrightfeettonguePredictedLabelPredictedLabelSubject A08Subject Aogleft0.940.010.000.050.8left0.950.000.02 0.030.8right0.020.880.000.100.6right0.000.940.030.030.60.40.4feet0.030.000.950.02feet0.060.050.850.040.20.2tongue0.030.080.020.87tongue0.010.050.060.880.00.0leftrightfeettongueleftrightfeettonguePredicted LabelPredictedLabel图4受试者A03，A 0 7,A 0 8,A 0 9 四种类型的MI(左手、右手、双脚、舌头）在测试集上的分类精度混淆矩阵Fig.4 Confusion matrix of classification accuracy of subjects A03,A07,A08 and A09 on the test set offour types of MI(left,right,feet and tongue)319第2 期宋耀莲等：基于时空特征学习er的运动想象脑电解码方法BCl_2a100%III工80%60%40%20%0PRF-scoreleftrightfeettongue图5BCI竞赛IV-2a数据集上四种类型的MI(左手、右手、双脚、舌头）在测试集上的分类精度柱状图Fig.5Histogram of classification accuracy of fourtypes of MI(left,right,feet and tongue)on test set ofBCIcompetitionIV-2adataset好的分类能力，并且没有太多的偏差.图6 展示了本文方法对四个受试者（A03，A07,A08,A09)的训练损失和准确率，训练epoch的数量为10 0 0.由图可见，在训练损失下降的同时精度提高，大约在前50 个训练epoch中准确率快速提高，训练50 0 个epoch左右训练损失基本稳定，证明本文方法可以很好地用于MI分类任务。3.2分类性能分析利用t-SNE对不同层提取的脑电特征进行降维并可视化 2 3.图7 展示了受试者A03在不同模块上的可视化结果.图7 a是原始脑电信号的数据分布，图7 b为空间变换后的数据分布，图7 c为第一层时间变换后的数据分布，图7 d为第二层时间变换后的数据分布，图7 e为第三层时间变换后的数据分布.由图可见，随着网络层的不断深入，模型的分类效果越来越明显通过第三层时间变换后，由图7 e可以看出，四个类别的区分非常清晰。SubjectA03SubjectA071.01.41.60.90.91.41.20.80.81.00.71.20.70.61.00.60.80.50.5,0.80.60.40.40.60.30.40.30.40.20.20.20.20200400600800100002004006008001000epochepochSubjectA08SubjectA091.41.60.90.91.20.81.40.81.20.71.00.70.61.00.60.80.50.80.50.60.40.60.40.40.30.30.40200400600800100002004006008001000epochepoch图6受试者A03，A 0 7，A 0 8，A 0 9 的训练损失和准确率Fig.6Training loss and accuracy of subjects A03,A07,A08 and A094结论本文利用注意力机制构建了一种基于FBC-SP的时空特征学习的Transformer的运动想象脑电解码方法，可以学习数据量较少的MI-EEG的特征，并取得了良好的分类精度.使用FBSCP空间滤波器对脑电信号进来滤波处理，采用缩放的点积注意力机制对通道特征进行加权，以获取信号的空间特征，并利用多头注意力机制从不同的320第59 卷南京大学学报（自然科学）adeleftrightfeettongue图7针对受试者A03提取的脑电特征经t-SNE降维后的二维分量的分布情况Fig.7Distribution of two-dimensional components of EEG features extracted by subject A03afterdimensionreductionbyt-SNE角度感知脑电信号的全局时间依赖关系.实验表明，与其他主流网络相比，本文提出的网络性能更优但该网络模型的泛化能力不足，后期将从迁移学习的角度来改进网络模型以提升模型的泛能力.参考文献1Emami Z,Chau T.Investigating the effects of visualdistractors on the performance of a motor imagerybrain-computer interface.Clinical Neurophysiology,2018,129(6):1268-1275.2Song Y H,Jia X Y,Yang L,et al.Transformer-based spatial-temporal feature learning for EEGdecoding.2021,arXiv:2106.11170.3李婷婷，姬东鸿，基于SVM和CRF多特征组合的微博情感分析.计算机应用研究，2 0 15,32(4)：9 7 8 一981.(Li T T,Ji D H.Sentiment analysis of micro-blog based on SVM and CRF using various combina-tions of features.Application Research of Compu-ters,2015,32(4):978981.)4Zhao X F,Liu D,Ma L,et al.Deep CNN modelbased on serial-parallel structure optimization for four-class motor imagery EEG classification.BiomedicalSignal Processing and Control,2022,72:103338.5Li H L,Ding M,Zhang R H,et al.Motor imageryEEG classification algorithm based on CNN-STMfeature fusion network.Biomedical Signal Processingand Control,2022(72):103342.6Tang Z C,Li C,Sun S Q.Single-trial EEG classifi-cation of motor imagery using deep convolutionalneural networks.Optik,2017(130):11-18.7Guler N F,Ubeyli E D,Guler i.Recurrent neuralnetworks employing Lyapunov exponents for EEGsignalsclassification.ExperttSystemswithApplications,2005,29(3):506-514.8Alhagry S,Fahmy AA,El-Khoribi RA.Emotionrecognition based on EEG using LSTM recurrentneural network.International Journal of AdvancedComputer Science and Applications,2017,8(10):355-358.9He J,Zhao L N,Yang H W,et al.HSI-BERT:Hyperspectralimageclassificationusingthebidirectionalencoderrepresentationfromtransformers.IEEE Transactions on Geoscience andRemote Sensing,2020,58(1):165-178.1o Socher R,Pennington J,Huang E H,et al.Semi-supervisedrecursive autoencoders for predictingsentimentdistributions/ProceedingsoftheConferenceonEmpirical Methods in NaturalLanguage Processing.Edinburgh,UK:ACL,20ll:151-161.1l Xin W,Liu Y C,Sun C J,et al.Predicting polaritiesof tweets by composing word embeddings with longshort-term memory/Proceedings of the 53r AnnualMeeting of the Association for ComputationalLinguistics and the 7h International Joint Conferenceon Natural Language Processing(Volume 1:Long杨可盛（责任编辑321第2 期宋耀莲等：基于时空特征学习TIer的运动想象脑电解码方法ranstoPapers).Beijing,China:ACL,2015:1343-1353.12 Vaswani A,Shazeer N,Parmar N,et al.Attention isall you need/Proceedings of the 31st InternationalConference on Neural Information ProcessingSystems.Long Beach,CA,USA:Curran AssociatesInc.,2017:6000-6010.13 Sun J Y,Xie J,Zhou H H.EEG classification withtransformer-based models/2021 IEEE 3rd GlobalConference on Life Sciences and Technologies.Nara,Japan:IEEE,2021:92-93.14 Pedoeem J,Abittan S,Yosef G B,et al.TABS:Transformer based seizure detection/2020 IEEESignalProcessinggin MedicineandBiologySymposium.Philadelphia,PA,USA,2020:1-6.15 Guo J Y,Cai Q,An J P,et al.A transformer basedneural network for emotion recognition andvisualizations of crucial EEG channels.Physica A:Statistical Mechanics and its Applications,2022(603):127700.16 Tangermann M,Muller K,Aertsen A R,et al.Review of the BCI competition IV.Frontiers inNeuroscience,2012(6):55.17 Blankertz B,Muller K R,Krusienski D J,et al.TheBCIcompetitionII:ValidatingalternativeapproachestoactualBCIproblems.IEEE