统一全局空间表达的脑电信号跨被试情感识别_张晶.pdf

第 5 期2023 年5 月电子学报ACTA ELECTRONICA SINICAVol.51 No.5May 2023统一全局空间表达的脑电信号跨被试情感识别张晶，王翌歆，任永功（辽宁师范大学计算机与信息技术学院，辽宁大连 116081）摘要：脑电信号（ElectroEncephaloGram，EEG）的跨被试情感识别，充分利用EEG信号库中大规模信息，并避免单被试模型训练对被试数据过度依赖产生的模型失效等问题，进一步推广了脑电识别的广泛应用.然而，不同被试生理与心理等客观差异加剧了模型建立难度.基于此，本文提出统一全局空间表达（Unified Global Spatial Representation，UGSR）的跨被试识别模型.本文构建自适应在线自编码网络，通过对时序数据增量学习，提取EEG信号潜在统一特征，实现生理偏差校正.进一步，本文利用格拉姆角场（Gramian Angular Fields，GAF）转换局部时序特征为全局连续空间表达，避免相同环境下因被试心理差异产生反应信号时序不一致等问题，并建立全局注意力机制的深度卷积神经网络，获得更具判别性的非线性样本表达，提升识别精度.本文模型被验证在流行的脑电信号数据集上，并获得了更好的跨被试识别精度与泛化性.关键词：脑电信号；情感识别；跨被试识别；自编码网络；卷积神经网络；注意力机制基金项目：国家自然科学基金项目（No.61902165，No.61976109）；辽宁省科技厅重点研发项目（No.2022JH2/101300271）；辽宁省教育厅高校基本科研项目（No.LJKMZ20221425）中图分类号：TP391.4文献标识码：A文章编号：0372-2112(2023)05-1396-09电子学报URL:http:/DOI:10.12263/DZXB.20230016Unified Global Spatial Representation for EEG Subject-Independent Emotion RecognitionZHANG Jing,WANG Yi-xin,REN Yong-gong（School of Computer and Information Technology，Liaoning Normal University，Dalian，Liaoning 116081，China）Abstract:Electroencephalogram(EEG)subject-independent emotion recognition fully utilizes the built database of EEG,and avoids models of depending so heavily on training subjects.However,subject-independent emotion recognition suffers from the fairly low accuracy and generalization due to subjects born with individual difference in physical and psychological.To address above challenges,this paper proposes the unified global spatial representation model(UGSR).This paper presents self-adaption incremental auto-encoder network to obtain the latent unified features of all subjects without ground-truth to correct errors originating from physiological difference.Furthermore,this paper utilizes the gramian angular fields(GAF)to transfer from local time-features to global spatial-features dealing with the semantic invalidation,moreover,exploits attention-CNN(Convolutional Neural Network)with the non-linear representation ability to extract the discriminate representation.The proposed model is verified in popular datasets,and achieves better performances than state-of-the-art methods.Key words:electroencephalogram;emotion recognition;subject-independent recognition;auto-encoder network;convolution neural network;attention mechanismFoundation Item(s):National Natural Science Foundation of China(No.61902165,No.61976109);Liaoning Provincial Department of Science and Technology(No.2022JH2/101300271);Liaoning Provincial Department of Education(No.LJKMZ20221425)1引言智能化情感识别模型，通过采集各类人体信号，利用机器学习等技术，实现自动情感检测、分析、预测，成为自动驾驶、环境感知、疾病诊断等应用的有力工收稿日期：2023-01-03；修回日期：2023-03-15；责任编辑：覃怀银第 5 期张晶:统一全局空间表达的脑电信号跨被试情感识别具1，2.情感数据通常表现为行为与生理信号，行为信号易受环境变化影响并具有一定主观性.生理信号由特定设备采集，更客观、准确，其中脑电信号（Electro Encephalo Gram，EEG）作为一种无创、快速、廉价的非入侵性信号，成为研究情感刺激反应的首选信号.根据识别目标数据域不同，建模过程可分为单被试与跨被试实验.单被试实验中训练与测试样本采集自同一被试，该类研究一般集中在样本的特征提取与优化上38.跨被试实验旨在利用已有数据构建高泛化性通用识别模型，有效避免单被试实验中对训练数据的使用限制.LI等9利用双半球域对抗神经网络（Bi-hemispheres Domain Adversarial Neural Network，BiDANN），最小化源和目标域之间人脑各个半球域差异模型，缩小个体之间物理差距.然而，该方法需采集大量符合先验正态分布数据，不适合小样本环境.针对此问题，ZHANG等10提出卷积递归注意力模型（Convolutional Recurrent Attention Model，CRAM），有效概括不同受试者脑电模型，但其仅关注最具辨别力的时间片段，未考虑相同环境下不同被试反应提前或滞后产生的局部语义失效问题.SONG等11提出嵌入图卷积神经网络（Graph Embedded Convolutional Neural Network，GECNN），将局部卷积网络特征与全局特征结合提供互补信息，并利用长短期记忆网络（Long-Term Memory，LSTM）实现模型更新.然而，该方法忽略数据采集误差，并存在相同环境下被试反应差异问题.基于上述分析，构建EEG信号跨被试情感识别模型挑战主要包含以下两个方面：（1）如何获得无偏EEG信号，避免采集过程由于被试生理各异性产生的数据误差与噪声；（2）如何避免相同环境刺激下，不同被试心理差异产生反应信号提前或滞后等局部时序语义特征失效问题.针对上述挑战，本文提出统一全局空间表达（Unified Global Spatial Representation，UGSR）的EEG信号跨被试情感识别方法.2相关工作2.1自编码神经网络BOURLARD 等12提 出 自 编 码 器（Auto-Encoder，AE），以最大化还原输入数据为优化目标，挖掘数据非线性、潜在特征表达.单隐层AE中，编码器g()接收d维样本集XRNd，为实现批量计算，本文将样本集表达为矩阵X构建映射g：RNdRNm，得到隐层输出矩阵ZNm，如式（1）所示：Z=(WTX+b)（1）其中，W为线性投影矩阵，b为偏置向量，()为非线性激活函数.解码器f()接受Z，将其解码为样本表达X，构建映射f：RNmRNd，如式（2）所示：X=f(g(X)（2）此处，构建平方误差函数最小化样本重构误差求解网络.原始样本X与重构样本X建立误差损失，如式（3）所示：L=12i=1N|xi-xi|22（3）2.2空间特征转化及特征提取WANG等13，将时间戳作为半径和缩放值的反余弦生成极坐标，并通过极坐标系代替笛卡尔坐标系，重新表示时间序列数据，保留时间序列依赖性与相关性，并避免时序信号在处理过程中由于模型遗忘出现的特征信息丢失问题.深度卷积神经网络通过抽取样本非线性高维特征，提升二维图像样本识别精度.模型由卷积层、池化层和全连接层交叉堆叠而成，在结构上具有局部连接、权值共享和汇聚优点.网络扫描样本输入，如式（4）所示：Xlj=q(k=1K(Mlkj)TXl-1k+Blj)（4）其中，Xl-1k为第l层神经元k的输入，Xlj为第l层输出，Blj为第l层卷积偏置，Wlkj为用于该层卷积操作的卷积核，q()为非线性激活函数.池化层可降低特征图维数，保持特征尺度不变性，如式（5）所示：Xlj=q(ljdown(Xl-1j)+Blj)（5）其中，down()为下采样函数，lj为线性权重表达.全连接层将特征图展开为一维特征向量并作为全连接层输入.建立特征与类别映射关系，可利用softmax函数实现数据分类，如式（6）所示：y=softmax(lxl-1+bl)（6）其中，y为全连接层的输出的类别指示向量.卷积神经网络（Convolutional Neural Network，CNN）模型针对图像处理具有一定平移、缩放以及旋转不变性.3本文模型针对跨被试情感识别中被试各异性产生的数据采集偏差及信号反应不一致等问题，提出统一全局空间表达的跨被试情感识别模型，框架如图1所示.3.1无监督在线跨被试特征矫正为提升已采集EEG信号库利用率，保证情感识别精度，本文构建自适应在线跨被试特征矫正方法，挖掘具有时序适应性，且无偏的潜在统一特征.构建N个被试t=12T时刻，依据d个电极采集1397电子学报2023 年的待矫正样本矩阵X()t.本文中利用AE拟合任一时刻EEG数据，并获得统一潜在特征，结合式（1），获得时刻t潜在表达Z()tN=g(X()tN).由EEG数据采集方式可知，自编码网络隐层神经元个数为采集电极个数，存在Nd.为避免单隐层神经网络求解过程易陷入局部极小值，HUANG等14提出并证明极限学习机针对单隐层神经网络求解问题的可行性.本文借助其高效求解过程，随机指定输入层权值矩阵，得到隐层输出矩阵Z，结合输出层解码器f()，计算输出矩阵X，并将迭代求解过程转换为线性方程组求解过程，提升计算效率，经对称的线性解码过程QTZ，得到重构数据，如式（7）所示：Q=(ZTZ)-1ZTX（7）本文受SCARDAPANE等15提出的在线学习模型求解过程启发，提出跨被试自适应的统一特征在线学习模型保证模型精度条件下提升学习效率.针对当前t时刻EEG信号样本XN，其中包含所有训练样本及待识别被试样本，不借助标签信息，实现所有样本统一矫正，避免传统监督方法对标签信息过度依赖.根据式（7），求解单隐层自编码网络中解码器权值矩阵，如式（8）所示：QN=(ZTNZN)-1ZNXN（8）t+1时刻终端采集样本矩阵XDN，保证新知识更新且不遗忘旧知识，得到更新隐层输出矩阵QN+DN=qTN+1qTN+2qTN+DNT.同时，解码器输出层样本矩阵为XN+DN=xN+1xN+2xN+DNT，结合当前时刻新增样本，可以得到累积样本输出层模型，如式（9）所示：QN+DN=(ZTN+DNZN+DN)-1ZTN+DNXN+DN（9）并有表达，如式（10）所示：ZTN+DNZN+DN=ZTNZN+ZTDNZDN（10）将式（10）代入到式（9）中可得到更新后输出层模型，如式（11）所示：QN+DN=(ZTNZN+ZTDNZDN)-1(ZTNXN+ZTDNXDN)（11）此时，设辅助矩阵MN+DN=(ZTN+DNZN+DN)-1.结合上一时刻数据，可得式（12）：M-1N+DN=M-1N+ZTDNZDN（12）因此，可得数据更新后表达，如式（13）所示：MN+DN=MN-MNZTDN(IDN+ZTDNMNZDN)-1ZDNMN（13）将式（13）带入式（11）中可得到t+1时刻更新后的输出层模型，如式（14）所示：QN+DN=MN+DN()ZTNXN+ZTDNXDN=QN+MN+DNZTDN()XDN-ZDNQN（14）利用式（14）仅学习当前时刻采集数据，实现模型高效知识积累.本文中引入自适应遗忘因子削弱上一时刻信息对当前模型构建产生的影响，得到最终的更新模型，如式（15）所示：图1UGSR模型框架1398第 5 期张晶:统一全局空间表达的脑电信号跨被试情感识别QN+DN=(1N)vQN+MN+DNZTDN(XDN-ZDN(1N)vQN)（15）其中，v为整型数据，用于控制模型对前序数据遗忘速度.针对时序EEG信号，每一时刻信息更新的同时保留已有知识，即本文利用式（15）得到当前时刻的矫正模型作为编码器，实现当前时刻数据矫正，获得无偏的潜在数据表达，如式（16）所示：X=QTN+DNXDN（16）3.2全局空间特征表达生物特征差异使被试受外部环境刺激时，难以全程产生显著情感活动信号，造成不同被试间时序语义局部差异化.针对该问题，本文进一步提出全局空间特征表达模型.首先，借助心理学情感持续理论16与GAF（Gramian Angular Fields）方法将时间连续的EEG信号转化为空间连续的二维图像表达，获取更鲁棒的全局特征.通过式（17）将任一时刻的所有被试样本，即X=x1x2xN，投影至-11，得到任一样本xi，如式（17）所示：xi=xi-max()X+xi-min()Xmax()X-min()X（17）为避免时序信号在处理过程中出现信息丢失，利用式（18）将笛卡尔坐标下的每一时序值转换为极坐标中成对余弦值，即将xi编码成余弦表达：=arccosxi -1xi1r=tiT tiT（18）其中，r为时间戳编码为半径，t为时间戳，T为正则化极坐标系统空间的常数因子.同时，通过余弦函数的格拉姆角场图（Gramian Angular Summation Field，GASF）将极坐标中成对时序值相加，表达为二维连续空间特征，如式（19）所示：GGASF=cos(1+1)cos(1+n)cos(n+1)cos(n+n)=XTX-I-(X2)TI-(X2)（19）其中，像素点从左上角变化到右下角随时序递增排列，保留了原始信号的时序相关性与依赖性.其次，本文将每一传感器采集的一维时序数据转化为二维全局空间数据，如图2所示.将原始电极按水平和垂直划分映射到二维空间，其他位置采用空白填充，构建大小为99的二维图像，得到所有被试的EEG全局连续空间特征表达.最后，为获得更具判别性的非线性特征，本文构建7层卷积，4层池化的多神经元CNN网络，通过逐层卷积，提取图像高维度，非线性的潜在特征表达.由于不同情感类别，不同传感器的反应信号强弱在全局空间表达上有所不同，本文借助注意力机制突出全空间图像的局部语义特征.本文模型通过在CNN网络特征输出层嵌入卷积注意力模块（Convolution Block Attention Module，CBAM）17，强化可判别特征，弱化不相关特征.具体如图1所示，特征层输出Xl经通道注意力模块中平均池化avgPool()及最大池化maxPool()操作Xl=Mc(Xl)Xl，并考虑模型监督求解中反向传播过程的全局响应特征及最大响应特征.结合式（4）（6）得到如式（20）所示：Mc(Xl)=sigmod(MLP(avgPool(Xl)+MLP(maxPool(Xl)（20）其中，MLP()为多层感知机模型，通过求解非线性加权实现通道注意力机制并降低计算参数量.同时，借助空间注意力机制进一步在特征空间上强化判别特征，提升后续识别效果，如式（21）所示：Xl=Ms(Xl)Xl（21）其中，Ms()Xl=sigmod(q77(avgPool(Xl)；maxPool(Xl)4实验结果与分析本文在 3个公开，流行 EEG信号数据集上验证所提出方法正确性，并与经典且有效的SVM（Support Vector Machine），DBN（Deep Belief Network），DGCNN（Dynamic Graph CNN），STRNN（Spatial-Temporal Recurrent Neural Network）等模型对比，进一步说明该模型在解决跨被试EEG情感识别问题上的优越性.实验中采用准确率（accuracy）评价算法性能.本文模型在处理器Intel Core i7-11700.5 GHz，16核，显卡 NVIDIA GTX 3070，显存 8 GB 的 PC 上部署，并PyCharm2020.3.5开发平台，开源框架Tensorflow2下实现.P P7 7T T3 3F F7 7C CP P5 5F FC C5 5P P3 3C C3 3F F3 3A AF F3 3O O1 1P P0 03 3C CP P1 1F FC C1 1F Fp p1 1O Oz zP Pz zC Cz zF Fz zO O2 2P PO O4 4C CP P2 2F FC C2 2F Fp p2 2P P4 4C C4 4F F4 4A AF F4 4C CP P6 6F FC C6 6P P8 8T T4 4f f8 8DEAP数据集中被试EEG信号采集电极位置分布局部空间连续图全局空间连续图图2构建二维全局图像表达1399电子学报2023 年4.1实验设置及数据预处理EEG数据主要包含4类特征，即时域特征、频域特征、时频特征及空域特征，其中，频域特征为通用特征，其将EEG分解为（14 Hz），（48 Hz），（814 Hz），（1431 Hz）和（3150 Hz）共5个频段，本文中all为全频段数据.提取频域特征中微分熵（Differential Entropy，DE）和 功 率 谱 密 度（Power Spectrum Density，PSD）的各频段特征作为模型构建输入特征.PSD利用傅里叶变换计算信号频段功率谱密度，如式（22）所示：PSD=i=0N-1|x2i|=1Nk=0N-1|x2k（22）其中，xk是信号序列xi的傅里叶变换系数，N为固定长度时间窗口.DE表达如式（23）所示：DE=-122ie(xi-)222ilog(122ie(xi-)222i)dxi=12log(2e2i)（23）本文中构建CNN深度神经网络，包括7个卷积层与4个池化层，参数设置如表1所示.4.2实验结果与分析本文在三个流行的EEG情感识别数据集，包括：上海交大情感脑电数据集（SJTU Emotion EEG Dataset，SEED）、脑电、生理和视频信号情感分析数据集（Dataset for Emotion Analysis using EEG，Physiological and video signals，DEAP）、EEG和ECG信号情感识别数据集（Dataset Record EEG And ECG Multi-modal Emotion Recognition，DREAMER）验证、对比及分析了所提出模型有效性.（1）SEED数据集该数据集是由上海交通大学BCM实验室采集的单模态多被试EEG情感数据集（https：/ 15名受试者组成，包含：中性、消极、积极三类情感.本文从官网下载降采样后的 EEG数据集，所有数据均经带通滤波器（0.350 Hz）处理，并在采集过程中去除大部分眼部伪影包括：眨眼、眼球运动、心脏干扰等噪声信息.为验证模型在跨被试情感识别中的有效性，留取未经训练过的任一受试者数据作为测试被试，其余14名受试者数据用于训练模型.利用交叉测试的方式统计14个被试测试的平均结果.实验统计结果如表2所示.所提出模型在所有频率下识别精度均高于其他对比方法，其中，SVM、TCA（Transfer Component Analysis）、TKL（Transfer Kernel Learning）、SA（Subspace Alignment）、GFKD（Graph-Free Knowledge Distillation）未考虑数据特征对分类结果产生的影响.基于图神经网络的DGCNN模型，将多通道EEG信号建模成图数据，能够更好地捕捉特征关联，取得了较好的效果.STRNN 模型利用 RNN（Recurrent Neural Network）针对时序数据的增量学习能力表达EEG信号连续特征.GECNN模型利用局部特征与全局特征相结合，获得互补的情感信息.然而，上述模型均未解决跨被试情感识别中不同被试各异性数据及噪声数据对模型构造产生的影响，相比于本文提出模型，在跨被试识别应用中未能获得更好的效果.（2）DEAP数据集该数据集为多被试多模态情感状态数据集（http：/www.eecs.qmul.ac.uk/mmv/datasets/deap/index.html），收集了32名受试者EEG信号和其他外周生理信号，在EEG信号采集过程中，使用Biosemi-ActiveTwo系统32个电极采样表1卷积网络参数网络类型卷积层1卷积层2卷积层3池化层1卷积层4卷积层5池化层2卷积层6池化层3卷积层7池化层4卷积核尺寸,数量5,643,643,6423,1283,12823,25623,5122输出维度3003006430030064300300641501506415015012815015012875751287575256373725637375121818512表2SEED数据集跨被试情感识别准确率对比 单位：%特征DEPSD模型SVMTCATKLSAGFKDGCNNSTRNNGECNNUGSRSVMTCATKLSAGFKDGCNNSTRNNGECNNUGSR43.0644.1048.3653.2352.7349.7956.5462.1177.5642.7646.5652.5851.7551.9750.3655.3958.2477.7840.0741.2652.6050.6054.0746.3656.3563.6077.7940.9144.3955.8147.3453.3248.8545.8563.7177.5643.9742.9352.8955.0654.9848.2959.1561.7975.5635.7637.3553.5947.3952.7943.3939.1856.1373.3348.6343.9355.4756.7259.2956.1567.4575.2882.2239.4461.2056.3849.0751.9056.3952.7770.8380.0051.5948.4359.8164.4766.9254.8768.3775.4186.6742.3346.3058.0952.7553.1551.8162.7373.5484.44all56.7363.6463.5469.0071.3179.9569.0582.4684.4439.4744.3254.6755.5947.6059.7955.2161.5877.781400第 5 期张晶:统一全局空间表达的脑电信号跨被试情感识别至128 Hz.根据愉悦度（valence）和唤醒度（arousal）来度量两种类别的情感状态.本文从官网下载预处理后数据，并仅在四个频带上提取DE和PSD特征，即（48 Hz），（812 Hz），（1230 Hz）和（30 Hz），与SEED数据集一致，为统计跨被试识别准确率，采用留一法交叉验证构建训练与测试数据集.表3中统计了该数据集对比方法在跨被试实验设置中的识别结果.本文模型排除跨被试识别中由于被试各异性带来的噪声等问题，充分避免局部情感特征时延等问题，在DE与PSD特征中均达到最高识别率.DBN由多个玻尔兹曼机构成神经网络模型，通过集成判别结果提升模型识别精度，但未考虑EEG信号特征对模型构造产生的影响.该模型多用于单被试情感识别问题，跨被试识别问题泛化性较弱.SparseD改进稀疏DGCNN模型，通过对加权图施加稀疏优化，虽在解决情感辨别问题上取得了一定进步，但受不同被试数据各异性影响，在跨被试识别中未能取得更好的效果.数据集在监督学习过程中，本文框架利用全局注意力机制获得当前类别下更具判别性的特征表达.为说明该过程的有效性，图3中对比了未添加与添加全局注意力机制后两类情感下的对比结果.图3（a）与3（c）分别为未利用全局注意力机制的不同被试全局特征可视化结果，图3（b）与3（d）分别为监督求解，得到注意力表达矩阵后，作用于当前全局特征的对应被试表达结果，从图中可见，该操作能够获得更具区分度的全局表达.（3）DREAMER数据集该数据集为多模态、多被试的情感数据集，收集了23名受试者（14名男性和9名女性，年龄平均值为26.6）的EEG和心电图数据，试者在每次刺激后对情感状态自我评估，包括受试者所能感知的愉悦度、唤醒度等.本文采用文献 18 提出的特征提取预处理模型去除EEG数据中的伪影，保留每个片段最后60 s特征，其中步进窗口设置为2 s，并降采样至128 Hz.该数据集与DEAP数据集一致，包含四个频带.针对每个频带，计算PSD特征和DE特征.为保证实验公平性，统计跨被试识别准确率，本文采用留一法交叉验证策略构建训练与测试数据集.实验对比结果如表4所示，本文所提出模型相较于其他方法，在跨被试实验中仍取得了更好的识别精度，在该数据集的DE与PSD特征下两种情感中均达到最高识别准确率.由于跨被试特征矫正获取不同被试间潜在统一特征，有效的减小了被试之间个体差异性，提升跨被试 EEG情感模型识别性能.GELM（Generalized Extreme Learning Machine）模型构建单结点样本图结构，并对图施加正则化，强制来自同类样本输出更相似，虽对比SVM模型取得更好的准确率，但其难以描述不同被试的 EEG通道关联特性，相较于 UGSR在跨被试中依然未能取得更好的性能.4.3消融实验为进一步讨论影响EEG信号跨被试情感识别精度的关键问题及所提出模型的合理性与有效性.本文在SEED数据集上统计消融实验结果，如图4所示：（1）未经处理的原始EEG数据集（no-adjust），直接测试，结果如图4紫色柱状图所示.由于个体物理差异导致数据采集偏差等问题，针对其他未矫正被试数据得到模型，不能很好地识别测试被试样本；（2）仅利用自适应动态自编码网络矫正生理误差（no-GAF），结果如图4黄色柱状图所示.根据本文模型矫正后得到的潜在统一特征，避免了不同被试生理各异化影响，提升了识别精度；（3）在上述（2）设置基础上增加GAF全局空间转表3DEAP数据集跨被试情感识别准确率对比 单位：%特征DEPSD模型SVMDBNGELMDGCNNSparseDUGSRSVMDBNGELMDGCNNSparseDUGSRvalence56.5655.3455.7157.2259.4462.5056.5655.5656.5156.6959.5862.5856.5654.7355.3057.4059.4660.7556.5655.8452.0157.0960.0961.6956.5654.9255.6357.6260.2563.5056.5656.3055.8457.2161.9762.3456.5756.0654.1758.1761.2164.2656.5754.4255.6458.8463.5162.19all48.5851.6454.1258.4660.2562.4548.5752.8256.3359.1361.8063.57arousal58.9158.9058.9961.2764.9368.6958.9157.6556.8261.8565.1069.5058.8758.9458.4561.1664.5771.2058.8757.8657.4961.0664.9467.5558.9156.6758.8762.6565.1170.0858.9155.5558.2761.5465.8168.5058.9155.6254.8862.7865.8267.5458.9155.4358.0260.9366.6567.50all50.7556.6858.6461.6565.3967.8350.7556.1058.8262.9165.7472.501401电子学报2023 年(a)正类别下不同被试无全局注意力机制(b)正类别下不同被试全局注意力机制(c)负类别下不同被试无全局注意力机制(d)负类别下不同被试全局注意力机制图3DEAP数据集不同类别下全局注意力机制影响表4DREAMER数据集跨被试情感识别准确率对比 单位：%特征DEPSD模型SVMDBNGELMDGCNNSparseDUGSRSVMDBNGELMDGCNNSparseDUGSRvalence60.6356.2760.6460.8165.1056.6760.6360.3660.2964.4367.5469.8060.6356.2960.5660.6366.0072.2260.6360.8861.0764.0568.1870.7860.6347.1560.5760.6364.8773.3660.6347.3960.5660.6362.9971.5060.6352.2760.6160.8266.1872.8960.6350.7960.7162.1065.3268.66all59.0458.9859.1260.6564.2677.7860.6357.3860.8460.6464.0674.54arousal56.2756.2754.6857.1565.0972.6756.0253.9354.6856.3764.5868.8056.2956.2956.2557.4562.0768.6756.2755.5356.2558.9463.6870.5256.2852.1455.8559.2767.1271.2456.2950.7756.2658.2266.3570.6656.2953.1556.4359.4766.7070.6756.2853.3856.3256.6565.6568.50all52.5650.3054.3459.2763.8577.6452.6648.3856.0360.3566.9669.641402第 5 期张晶:统一全局空间表达的脑电信号跨被试情感识别换并利用 CNN 获得非线性特征（no-attention），结果如图4橙色柱状图所示.本文中利用空间特征转化的方式，构建全局连续空间特征，避免反应差异问题，为说明全局空间特征对该问题的有效性；（4）在上述（3）设置基础上增加UGSR的全局注意力机制，结果如图4蓝色柱状图所示.通过学习注意力权值矩阵可得到更具判别性的全局特征表达，达到最高的测试精度.基于实验结果，可验证影响跨被试识别精度的主要挑战来自于不同被试的各异性问题.本文所提出的模型，较为有效的解决了上述问题.本文同时在 DEAP和 DREAMER 数据集上验证了增加特征矫正与全局空间表达的有效性，实验结果如图5、图6所示，由于避免了被试生理及心理各异性产生的数据误差，在所有频段均获得了更好的识别效果.5结论目前较为流行的高精度EEG情感识别模型受限于单被试模型构建中需获取大量该受试者EEG数据，此类方法极大浪费EEG数据库信息资源，同时，限制模型应用环境.针对上述问题，本文提出UGSR模型，根据EEG时序特征构建在线自编码网络模型获得被试潜在统一增量特征表达，充分利用已有数据集信息并避免由被试引起的特征差异.同时，通过GAF模型转化矫正后时序特征为全局空间特征，缩小被试各异性产生的局部语义差异，并利用全局注意力机制的深度CNN网络模型提升识别精度.EEG信号数据采集点间存在一定结构关系，可排除噪声数据对模型构造产生的影响，本文后续将针对该问题展开深入研究.参考文献1 张学军,景鹏,何涛,等.基于变分模态分解的癫痫脑电信号分类方法J.电子学报,2020,48(12):2469-2475.ZHANG Xue-jun,JING Peng,HE Tao,et al.An epileptic electroencephalogram signal classification method based on variational mode decompositionJ.Acta Electronica Sinica,2020,48(12):2469-2475.(in Chinese)2 CHEN G,JIAHUI L,YUNYUN N.Intracranial epileptic seizures detection based on an optimized neural network classifierJ.Chinese Journal of Electronics,2021,30(3):419-425.(a)valence情感实验结果(b)arousal情感实验结果图5DEAP数据集模型消融实验结果图4SEED数据集模型消融实验结果(a)valence情感实验结果(b)arousal情感实验结果图6DREAMER数据集模型消融实验结果1403电子学报2023 年3 WANG X,NIE D,LU B.Emotional state classification from EEG data using machine learning approachJ.Neurocomputing,2014,129:94-106.4 杨豪,张俊然,蒋小梅,等.基于深度信念网络脑电信号表征情绪状态的识别研究J.生物医学工程学杂志,2018,35(2):182-190.YANG Hao,ZHANG Jun-ran,JIANG Xiao-mei,et al.Research on recognition of emotional state represented by EEG signals based on deep belief networkJ Journal of Biomedical Engineering,2018,35(2):182-190.(in Chinese)5 SONG T,ZHENG W,SONG P,et al.EEG emotion recognition using dynamical graph convolutional neural networksJ.IEEE Transactions on Affective Computing,2020,11(3):532-541.6 ZHANG G,YU M,LIU Y,et al.Sparse DGCNN:Recognizing emotion from multichannel EEG signalsJ.IEEE Transactions on Affective Com