联合双映射域适应与图半监督标签估计的脑电情感识别方法.pdf

Chinese Journal of Biomedical Engineering2023年10 月October2023中医生国程Vol.42报学学物42卷5期No.5联合双映射域适应与图半监督标签估计的脑电情感识别方法李文政王文娟彭勇1,2#*孔万增1.2（杭州电子科技大学计算机学院，杭州310018)2（浙江省脑机协同智能重点实验室，杭州310018)摘要：源自中枢神经系统活动的脑电信号具有不易伪装性而被广泛应用于情感识别领域，但非稳态及微弱等特性导致其存在个体差异性。为适应不同被试之间的数据分布差异，迁移学习被引人脑电情感识别领域。但现有方法一方面未实现域适应与标记估计的有效协同，另一方面仅关注识别精度与数据分布忽略了共享子空间的属性发掘。针对上述问题，本研究提出一种联合双映射域适应与图半监督标签估计的脑电情感状态识别方法。通过在SEED-IV情感数据集进行跨被试情感识别效果验证。该数据集为15名受试者在3个不同时段（Sessionl，Session2，Se s s i o n 3）播放具有明显情感倾向的影片进行脑电数据采集。结果显示，所提出的方法对SEED-IV中3个时段数据的平均识别精度（7 7.7%、7 8.5%、7 9.6%）均优于现有多种迁移模型，较经典的联合域适应（JDA）方法的平均识别精度有大幅提升（Session2:53.7%vs78.5%）；较新近提出的模型也有最低8.9%（Session2vsMEKT）的精度提升。此外，通过特征重要性的角度对共享子空间蕴含的脑电情感激活模式进行发掘，并结合频段权重平均结果显示，相较于其他4个频段频段具有较高的重要性，并通过单向方差分析验证了与其余4个频段的显著性差异（P0.05）；脑地形图呈现的结果发现，（中央）顶叶脑区权重高于其他脑区。所进行的研究对于脑电情感激活模式的学习分析提供了参考。关键词：脑电；域适应；图半监督学习；情感识别中图分类号：R318文献标志码：A文章编号：0 2 58-8 0 2 1（2 0 2 3）0 5-0 52 9-13Joint Bi-Projection Domain Adaptation and Graph-Based Semi-Supervised LabelEstimation for EEG Emotion RecognitionLi WenzhengWangWenjuanPeng Yong1,2#来Kong Wanzeng1.2(School of Computer Science,Hangzhou Dianzi University,Hangzhou,Hangzhou 310018,China)2(Key Laboratory of Brain Machine Collaborative Intelligence of Zhejiang Province,Hangzhou 310018,China)Abstract:Electroencephalogram(EEC)has been widely used for objective emotion recognition because it isgenerated from the neural activities of central nervous system and is hard to camouflage.An obvious limitation isthat the weak and non-stationary properties of EEG can cause the individual differences in emotion recognition.To this end,transfer learning models have been introduced to deal with this dilemma.However,the existingmodels are not able to couple the feature adaptation process with the target label estimation process,and on theother hand,they focused only on the recognition accuracy and have no sufficient investigation to the learnedshared subspace.To solve these problems,this paper proposed a joint bi-projection domain adaptation andgraph-based semi-supervised label estimation model for EEG emotion recognition(termed RACE).Weevaluated the effectiveness of the proposed RACE model on the benchmark SEED-IV emotional data set,thedata set was collected by playing films with obvious emotional tendencies for 15 subjects at three differentSessions.Results showed that the average recognition accuracies of the three sessions(77.7%、7 8.5%、79.6%)were much better than many of the existing transfer learning models.Specifically,compared with thedoi:10.3969/j.issn.0258-8021.2023.05.003收稿日期：2 0 2 2-0 3-0 8，录用日期：2 0 2 2-0 9-2 1基金项目：国家自然科学基金（6 197 117 3）；浙江省自然科学基金（LY21F030005）；浙江省属高校基本科研业务费（CK209907299001-008）#中国生物医学工程学会高级会员（SeniorMember，Ch i n e s e So c i e t y o f Bi o me d i c a l En g i n e e r i n g）*通信作者（Correspondingauthor），E-ma i l：y o n g p e n g h d u.e d u.c n530中生42.卷国医报学程学物classical joint domain adaptation(JDA)method,the average recognition accuracy has been greatly improved(Session2:53.7%vs.78.5%).In comparison with the four recently proposed models,RAGE obtained aminimum accuracy improvement of 8.90%(Session2 vs MEKT,manifold embedded knowledge transfer).Byinvestigating the learned common subspace from the feature importance perspective,we achieved more insightsto the occurrence of affective effects.That is,the average result showed that the importance of was greater thanthe other four bands,and the significant differences with the other four frequency bands were verified by one-way ANOVA(P0.05);the brain topographic map showed that the(central)parietal lobe brain region had ahigher weight than the other brain regions.Simultaneously,a study was conducted on single class emotionalEEG activation patterns using label specific feature learning algorithms.In summary,this research provided areference for the study and analysis of EEG emotion activation mode.Key words:electroencephalogram(EEG);domain adaptation;graph-based semi-supervised learning;emotion recognition引言情感是一种综合了人的感觉、思想和行为的状态，它不仅包括人对外界或自身刺激的心理反应，还包括伴随这种心理反应的生理反应。同时，源自中枢神经系统活动的脑电信号具有不可伪装性而被广泛应用于客观情感识别领域，并已成为该领域的研究热点2 。早在1990 年，Salovey和Mayer就首次提出了情感智能的概念，并认为除了逻辑智能，情感智能也是人工智能的重要组成部分3。近年来，随着计算机技术、生物科学、电子信息、通信、现代信息学、神经科学等领域的不断突破，脑机接口技术取得了突飞猛进的发展4，其中，适用于人类情感状态识别的情感脑机接口系统（affectivebrain-computer interface system，a BCIs）越发受到学术界及工业界的关注。一个典型的aBCIs包括如下步骤：信号采集、信号处理、特征变换与选择、情感状态识别5；本研究对应于后两个步骤。目前，越来越多的机器学习模型被提出用于脑电的情感状态识别，Murugappan等6 将被试高兴、害怕、厌恶和惊诉等4种不同情感的样本混合在一起，利用模糊C均值聚类的方法，通过寻找类别本身的固有特征，找出特征相似的样本，从而划分出情感的4种类别；Li等7 采用支持向量机结合“留一法”进行跨被试的情感状态识别，其实验结果验证了在跨被试情感识别中探索鲁棒EEG特征的可能性；Zheng等8 引人深度信念网络构建基于EEG的积极、中性和消极等3种情感识别模型并对脑电情感识别的关键频段和关键导联进行了研究；在之后的研究中基本上均发现频段是情感识别中最重要的一个频段 。但是传统机器学习泛化性得以保证的前提是训练与测试数据满足独立同分布，然而这种假设在跨被试（跨时段）脑电情感识别任务中并不总是满足的。脑电是一种弱信号、非稳态信号，极易因被试不同、时段不同、采集环境不同等原因产生分布差异，使得传统的机器学习方法在跨被试（跨时段）脑电情感识别中性能不能得到保证。针对这一问题，近年来迁移学习被广泛用于脑电数据分布对齐与情感状态识别。迁移学习的基本思路是使用辅助域的知识来促进目标域的识别任务，一般地基于特征变换的迁移学习关键在寻找源域和目标域之间存在的相似性进行迁移以减小域差异。Gong等10 为了降低负迁移的风险，提出了一种可转移注意神经网络，通过局部和全局注意机制突出可转移脑区数据和样本，学习情感鉴别信息。Wang等提出了一种域自适应对称和正定矩阵网络（domainadaptationsymmetric and positive definite matrix network,daSPDnet），以捕捉不同受试者共享的内在情感表征，dsSPDnet联合利用了具有分布混淆的EEG特征自适应和具有质心对齐的样本自适应。Bahador等12 提出通过预训练网络从收集的10 通道EEG数据中提取频谱特征，以量化通道之间的直接影响。EEG数据的频谱相位信息被编码为二维图，该图通过表征从一个通道到另一个通道的传播模式来进一步用于执行知识迁移。尽管迁移学习13-14已广泛应用于减少跨被试（跨时段）脑电信号数据之间的差异，以提高aBCIs的普适性。现有的大多数基于迁移学习的脑电信号情感状态识别方法主要通过将源域数据和目标域数据共同映射到一个共享子空间中学习域不变特征，然后直接进行情感状态识别；较少关注目标域标签信息的联合估计，5315期李文政，等：联合双映射域适应与图半监督标签估计的脑电情感识别方法同时对学习的共享子空间在情感表达中的特性也没有进行充分研究15-1 O针对上述不足，本研究提出一种联合双映射域适应与图半监督标签估计的脑电情感状态识别方法。与现有的研究相比，本研究主要贡献为1)实现了脑电数据分布对齐、结构化图学习及目标域情感标记在统一的框架下联合优化，其内在协同机制为：脑电特征迁移实现了更好的数据分布对齐，逐步对齐的数据便于更好的构造结构化图以刻画脑电数据样本之间的关联，进一步促进了基于图的目标域脑电情感状态估计；反之，目标域的情感状态估计，有效地提升了条件分布对齐的精准性及数据分布对齐的效果。因此，模型涉及的3个模块实现了有机融合。2）从脑电特征重要性的角度，对学习到的迁移共享子空间进行脑电情感激活模式发掘。从迁移学习的角度理解共享子空间具有“存同排异”的功能，即保留源与目标域中共性的成分、抑制源与目标域中非共性的成分。对应到特征的层面，对诱导出共享子空间的映射矩阵以及通过标签特定特征学习算法学习到的样本-标签映射矩阵使用归一化二范数来度量每一维度脑电特征的重要性；并基于频域脑电特征维度与频段（导联）之间存在的耦合对应关系，量化得到脑电情感识别的重要频段以及重要脑区（导联）。1材料与方法1.1模型的提出为解决脑电信号的个体差异性，迁移学习作为一种新的方式被广泛应用于跨被试脑电情感状态识别。在基于特征变换的迁移学习方法中，多数研究更为关注域适应过程，并顺序执行域适应和情感状态识别两个阶段，容易导致最终的结果的次优性。在最近的研究中,Ding等18 提出将域适应与目标域标记联合优化，但其用于标记估计的图构造自未对齐的数据并且在算法迭代过程中不进行更新，因而并不能很好地刻画数据之间的本质关联性。本研究提出一种新的联合域适应与图半监督标签估计的脑电情感识别方法（jointbi-projection domainadaptation and graph-baseddsemi-supervisedlabelestimation model for EEGemotionrecognition,JBCE）。下面分别对模型的目标函数及优化方法进行详细介绍。给定已标记源域脑电数据，数据记为X，样本标签为Y，(X=R*-,Y、R*I(xi,J），（x n Jn）；目标域的脑电信号是未标记的,X,e R(,x/。定义n=n,+n为总样本个数，式中，d是特征的维度，c是情感状态的类别数，n/分别是源域和目标域的样本个数，yi,I-1=R是one-hot形式的标签向量，式中yi,.=1表示第i（i=1,2,n）个样本归属于第k（h=1,2，,c）类情感。图1给出了JBGE模型的整体框架，由域适应、半监督图的构造以及半监督标签传播三部分构成。假设存在一个共享子空间使得源域和目标域的数据分布差异最小化。源域数据以及目标域数据分别通过投影变换矩阵P。Rd P和P.RdxP映射到共享子空间中，式（1）中，p0.Z-=1表示第i.个目标域样本归属于第个情感状态类别的概率，且每个样本对应的所有概率之和为1；n，n.分别表示源域和目标域中归属于第个情感状态类别的样本个数，通过计算=Z，估计目标域中每一类样本的个数；N，N,是第h个对角元素分别为1/nk，1/n，的对角矩阵。综合考虑边缘分布及条件分布，得到模型的域适应部分目标函数为D(P/,F,)=IIPX,Y,N-PIX,F,N,IIPS.t.PXHXP=I,(3)式中,H/=1-1/n/.ER/为中心化矩阵，I是n维的单位矩阵，Y、=1n，YER.x(c+1)F,=1n,F,ERix(c+1)N二diag(1/n,N.)e R(c+1)对目标域标签F，采用图上的半监督标签传播方式进行估计2 0 ，即minTr(FLF)s.t.F,O,F,1.=1,(4)式中,F=Y;FER,L=D-Se R 是图拉普拉斯矩阵；D是一个对角元素为d=Z，的对角矩阵（i为行序号，j为列序号）。S是度量源域数据和目标域数据共同构成的样本空间中每个样本之间的关联的图邻接矩阵采用基于规则的方法（例如HeatKernel函数）对图邻接矩阵S进行初始化2 1，但由于初始的源域和目标域之间存在明显的分布差异，得出的S并不能很好地描述两域样本之间的关联。为了使估计F，的方法更有效，基于源域数据和目标域数据在共享子空间中的表示自适应地学习最优图表示。根据结构化图学习理论2-2 31，一个良好的图关联矩阵S应满足非负性、行规范化及相应的秩约束，可以通过最小化如下的目标函数来实现n(llPm,-Pm,llss+si)minSs.t.V.jsy 0,Zsu=1,rank(L,)=n-c(5)式中,m,ER2dxI是是M=X,0dxn;0d,XER2的第j列向量，m，=RIx 2 是M的第i行，P=P;PR2 d*,s,是S的第i行第j列元素。非负性约束以及行约束分别对应于约束条件中的第一项和第二项；秩约束是期望得到的图邻接矩阵S具有个连通子图分别对应于c类情感状态；体现在数学上，即邻接矩阵S的连通子图个数等于拉普拉斯矩阵L，的零特征值的个数，因此约束条件的第三项对应邻接矩阵的秩约束。但在优化过程中，秩约束的优化是非凸以及NP难的，需要对其进行简化。假设（L）0 是L、的第个最小的奇异值，如果把Z-,（L）做为一个正则化因子代人式（5）中，并给一个足够大的正则化参数，根据KyFan定理2 4 可以得到:(L,)=minTr(FTL,F)(6)FERIxc,FTF=I基于上述分析，通过联合式（3）一（5），得到JBCE模型的目标函数为minlPX,Y,N,-PTX,F,N,Il?+P,F,.S入Tr(FTLF)+ZZ(ullPm,-Pm,llss+msi=PTTX,H/XL,P=I,s.t.(7)F,0,F1,=1,S0,S1,=1式中，入，是模型的参数。1.2模型的优化式（7)中有4个变量F,P，P,S，分别对应目ER2dX+1）0X,H,XT,Odxn.;Odxn.,X,H,XSA代的方法。合迭5335期李文政，等：联合双映射域适应与图半监督标签估计的脑电情感识别方法标域标签、源域映射矩阵、目标域映射矩阵、图邻接矩阵；采用更新一个变量，固定其他变量的方式进行选代优化。首先,更新映射矩阵P=P；P,，其目标函数为minllPTX,Y,N,-PTX,F,N,I?+P2Z(lPm,-Pmlls)nnS.t.PT,XH/X,P=I,(8)在映射矩阵迭代优化的过程中，采用Ps，P,联R2dx,式中,0 dOdxn是维度为dns的全零矩阵。那么目标函数（8）可以表示为minlPTAI?+2uTr(PMLMP)Ps.t.PToP=21,(9)上式对应的拉格朗日函数为L(P)=Tr(PTAATP)+2uTr(PMLMP)+Tr(2I,-pTOP)(10)式中，为拉格朗日乘子。将式（10）对映射矩阵P求导并赋值为0，可以得到(AAT+2uMLM)P=OP(11)可以发现，式（11)是一个广义特征值分解的问题，映射矩阵P通过对O-（A A T+2 u M LM ）进行特征值分解并取前p个最小特征值对应的特征向量组成得到。再对P进行拆解就可以得到源域映射矩阵P和目标域映射矩阵P.。然后，更新图邻接矩阵S，其对应的目标函数为nZZ(lPTm/-Pm,lls+msi)+nminS入Tr(FTLF)s.t.S0,S1,=1,(12)将第三项迹的形式进行拆分，可以得到nminS入JT-j,s)2s.t.Vie(l,n),s,0,s,l,=1(13)式中,feR是标签矩阵F的第i行，f，ERx 1是矩阵FT的第j列，sT是图邻接矩阵S的第i行。为简化式（13)，定义dp,=lpTm-Pm,l/2,df,=-,2及维度为1n，第i个元素为dpf=udp+一df，的行向量dpf。采用按行求解入2的方式对S进行更新，第i行向量的目标函数为nsTs,+dpf,s;minS？O.sT11mindpf(14)+S0,sTI,=12m式（14）定义了单纯形约束上的欧氏距离计算问题，通过结合KKT（K a r u s h-K u h n-T u c k e r）条件的拉格朗日乘子法及牛顿迭代法对该式进行求解绍2 5最后，更新目标域标签F，相应目标函数为min I PX,Y,N,-PTX,F,N II?+ATr(FLF)s.t.F0,F1.=1,(15)通过将相应的矩阵进行拆分，得到LL.D-SD-S.StL=(16)LLLuD.-StsD.-S.以及F=Y,;F,Y,=In,Y,F,=In,F,N/=1/ns/t,01xe;0ex1,N,(17)将式（16）与（17）代入式（15）中进行化简可得minTr(F,NFTz)+2Tr(F,B)+Tr(FL,F,)Fs.t.F,0,F,1=1(18)式中,N=N,NTER,Z=X,PPTX,ER和B=AYL-N,N,YXP,PX,Rx。对式(18),同样采用逐行求解的方式；令f，ERIx 是目标域标签F，的第i行向量，那么fI就是F的第i列向量并且两者元素相同。对于，有min入d.ff.T-2f.gfi.f.=112ming(19)入d2式中,g=入ZJsu一Nf,Tzf-2bi,d是D的第i个对角元素，su是S.的第i行第j列的元素，z是的第i行第j列的元素，b，是B的第个列向量。式（19）与式（14)具有相同的形式，可以通过相同的方法进行求解综上所述，将JBCE模型目标函数的优化过程总结如下：输人有标记的源域样本数据，无标记的目标域样本数据，正则化参数，共享子空间的维度；初始化目标域预测标签矩阵；通过无秩约束的式（5）初始534中庄国42卷医报学程学物化图邻接矩阵，并计算图拉普拉斯矩阵；当目标式（7）尚未收敛时，循环执行：1）通过对式（11)进行特征值分解更新源域映射矩阵以及目标域映射矩阵；2）通过牛顿迭代法对式（14）进行求解以更新图邻接矩阵，随之更新图拉普拉斯矩阵；3）通过牛顿迭代法对公式（19）进行求解以更新目标域预测标签1.3脑电情感激活模式分析方法从迁移学习的角度，共享子空间应该具有“存同排异”的属性，即保留源域与目标域之间的公共成分而抑制两者之间的私有成分；公共成分对应了情感的不因被试变化而变化的本征成分、私有成分对应不同被试特有的外在成分。从特征的角度，可以理解为对应公共成分的特征具有较大的权重而对应私有成分的特征具有较小的权重。如果能够量化得到各个脑电特征维度的重要性，并依据脑电特征维度与频段（导联）之间的对应关系2 6 ，即可以对脑电情感效应的公共激活模式进行发掘。假定8 分别为源域及目标域第i维特征的重要性度量因子，基于L21混合范数特征选择理论12 7 1，8 分别可以通过计算源域以及目标域的映射矩阵的第i行归一化二范数得到8/(20)d式中,PER对应于P的第i行。在SEED-S/IV数据集中，脑电数据通过6 2 导联采集，并分别在5个频段进行微分嫡特征提取，因此可以建立特征重要性度量8 与不同频段（导联）之间的对应关系，并通过式（2 1）定量计算第个频段以及第1个导联的重要性，有w()=E(a-1)*62+1+E(a1)*62+2+Ea*62山(I)=E/+E/+62+E/+124+E/186+E/+248(21)式中，=1,2,3,4,5分别代表8 0,，等5个频段，1=1,2，,6 2 分别表示6 2 个导联：FP1，FPZ,.,CB2。更进一步，基于子空间数据结合有监督标签特定特征学习算法（learning label specific features，LLSF）【2 8 计算样本-标签映射矩阵W，对每一类跨被试脑电情感状态的激活模式进行了发掘，图2 给出了该激活模式的框架图。首先对共享子空间中的对齐数据执行LLSF算法2 8 该算法基于标签特定特征具有的判别性与稀疏性假设每一个类标签均与一个特征子集相关联，分别通过线性回归与1范数对其建模，同时对标签LLSF:MW-YIE+号Tr(RWTW)+BIW2PW的第二列M=XPAB481121W21W2211WW24231W32131iW333W341！W3102W3103W310.17310.4FPIFP2CB2图2基于LLSF的单类情感激活模式分析框架Fig.2Framework diagram of single category emotionactivation mode analysis based on LLSF之间的相关性加以考量，通过对源域数据及目标域数据进行有监督的学习测试，最终学习到一个样本-标签映射矩阵WeR,p对应样本特征维度，c为样本标签类别数。基于矩阵PWeR发掘单类脑电情感效应的激活模式。假定8 1.为第1类情感对应第i维特征的重要性度量因子，可以通过对矩阵PW的第1列进行归一化二范数得到：P(22)8PW22式中，PW，Rd I对应于矩阵PW的第1列，PWa为第i行的元素其余3类情感对应特征重要性度量因子同理计算。类似于式（2 1），可以定量计算每个频段及导联对于每类情感的重要性1.4数据集与实验设置SEED-IV29是由上海交通大学仿脑计算与机器智能中心提供的视频诱发情感脑电数据集。SEED-IV采用了7 2 个电影片段对15个被试分3个时段（Session）进行高兴、悲伤、恐惧以及中性4个情感状态的诱发，每一个Session包含2 4次实验，每次实验播放一个电影片段，每6 个电影片段对应一种情感状态。在观看电影片段的同时使用6 2 导联的ESINeuroScanSystem对被试者的脑电信号进行采集，以2 0 0 Hz的频率进行采样，使用1 50 Hz的带通滤波器进行处理。在实验中使用来自5个频段8(14Hz),0(48Hz),(814 Hz),(1431Hz），（31 50 H z）的微分熵特征，其定义如下h(X)=-p(x)ln(p(x)dx(23)X式中，X是随机变量，p（x）是其概率密度函数。假设采集到的脑电信号服从高斯分布N（，），那么5期535李文政，等：联食双映射域适应与图半监督标签估计的脑电情感识别方法微分熵特征就可以通过下式计算(x一）2h(X)=-Je()(-ln(2 mg)22021Var(X)ln(2Tg)+一In(2Teg)202222(24)提取的脑电信号特征维度为310 维（导联数6 2乘以频段数5）。由于影片片段的剪辑时间不同，每一个session大约包含有8 30 个脑电信号样本。将提出的JBCE模型与几个常用的迁移学习模型进行比较，包括联合分布适应（jointdomainadaptation，JD A）30），图适应知识迁移（graphadaptive knowledge transfer，G A K T)18 、最大独立域适应（maximum independence domain adaptation，MIDA)31、基于特征选择的迁移子空间学习(feature selection based transfer subspace learning,FSTSL)32、流形嵌人知识迁移（manifold embeddingknowledge transfer，M EK T）3 及潜在表征相似性学习模型15（latent representation similarity，LRS）。其中JDA是迁移领域的经典方法，同时考虑边缘分布与条件分布的对齐；GAKT将分布自适应与标签传播进行结合，但其用于标签传播的半监督图并未随数据的更新而变化；MIDA是一种过滤迁移模型，通过最大化希尔伯特-施密特独立准则来寻找投影样本；FSTSL在学习子空间的同时采用投影矩阵上的L21范数进行特征选择；MEKT中采用多源域数据，首先在黎曼流形中对齐EEG的协方差矩阵，提取切线空间中的特征，然后通过最小化源域和目标域之间的联合概率分布偏移来执行域自适应；LRS是一种深度迁移方法，在神经网络的浅层和深层分别对数据的边缘分布与条件分布进行适应，形成一种近似联合分布的形式。对于JDA，使用线性核函数，参数范围均在110,10-,10中进行调节；对于GAKT，子空间维度p在10,2 0，,10 0 范围内进行调节，参数入，均在（10*3,10-,10范围中进行调节；对于MIDA,使用线性核函数，正则化参数及和函数参数均在（10-3,10-,10）范围中进行调节；对于FSTSL,参数,均在（10 3,10-,10范围进行调节。在RSBG中，参数,入,n均在10,10-,103范围进行调节，子空间维度p在10,2 0,10 0 范围进行调节。在SEED-IV情感脑电数据集上分别对上述7个模型进行跨被试情感状态识别任务的评估。SEED-IV数据集中，脑电信号分3个时段进行实验采集，为了避免时域因素的干扰，分别针对3个session进行多对一实验范式的跨被试任务，在每一个session中,对每一个被试，选择其余14名被试中的8 名形成源域。正如一些现有研究所指出的，更多的源被试并不总是获得更高的准确性，但会导致更多的计算负担。类似于Cui等提出的方法34，采用域可迁移性估计（domaintransferabilityestimation，D T E）方法选择不同数量的源受试者（该方法首先计算源域与目标域之间的散射矩阵，再基于散射矩阵计算两域之间辨辩别力与差异的比值作为评判标准），然后对被试1进行实验33，结果显示，8 可能是选择源被试的合适数量3。在表2中，提供了每一个目标被试对应的详细源被试的选择结果，同时，为了进一步减少计算负担，选择了这8个源被试的一半样本，因此，在3个session中,分别有340 4、332 8、32 8 8 个样本作为源域数据用于多对一迁移实验范式。我们将从识别精度、数据分布两方面对实验结果进行展示分析，同时通过1.3节所述方法对脑电情感激活模式进行分析。2结果2.1识别结果通过在SEED-IV公开情感脑电数据集上对JBCE模型性能评估，一方面验证将域适应、结构化图学习及目标域情感状态估计联合优化的必要性，另一方面探索基于共享子空间的脑电情感激活模式。表2 每一组实验中被选择的源域被试Tab.2The selected source subjects in each set of experimentsSessionlSession2Session3subl9,6,2,3,4,15,12,58,4,9,3,10,2,15,1412,8,2,10,4,6,15,7sub29,10,15,7,4,12,3,56,8,7,3,4,9,10,1514,10,8,13,15,4,7,6sub39,14,15,4,7,12,2,58,7,14,4,10,9,2,158,13,10,15,4,7,2,6sub47,1,9,3,2,15,12,511,3,8,7,10,2,15,910,13,5,2,8,6,7,15sub57,9,1,2,3,4,15,126,7,8,4,10,9,2,1510,2,15,13,6,7,8,4sub69,3,1,15,4,2,12,53,8,7,4,9,15,10,214,8,4,10,13,2,15,7sub714,15,9,4,12,2,3,53,11,8,10,4,2,15,91,13,8,2,4,10,15,6sub89,7,15,3,2,4,12,53,7,11,10,4,5,15,910,5,15,2,13,4,6,7sub910,7,3,15,12,2,4,53,11,7,10,8,2,15,410,13,8,15,4,7,2,6sub106,15,9,3,4,12,2,53,7,6,8,4,9,2,1514,13,8,4,15,2,6,7subll10,3,15,9,4,12,2,53,7,10,2,4,8,15,913,8,10,15,4,7,2,6sub129,6,3,2,1,15,4,58,3,10,4,9,14,2,158,10,1,2,6,4,15,7sub1315,9,7,12,4,3,2,58,6,7,10,4,9,15,25,10,15,2,4,7,8,6sub149,15,4,12,7,2,3,58,4,3,10,9,2,15,110,13,8,4,2,15,7,6sub156,9,1,3,2,4,12,57,8,3,4,10,14,9,214,13,10,8,2,4,7,653642卷中生报学程医国学物情感识别的结果如表3-5所示，表中，sub1表示第1个被试作为无标记目标域数据，以此类推表3Sessionl识别精度对比(%)Tab.3Comparison of recognition accuracy of Sessionl(%)JDACAKTMIDAFSTSLLRSMEKTJBCEsub153.848.267.971.963.673.177.3sub253.864.656.963.680.558.187.5sub358.663.068.370.653.579.482.7sub456.547.661.659.874.971.774.3sub551.449.167.371.369.142.383.5sub641.255.346.560.645.461.570.3sub750.361.581.176.775.067.876.6suh849.860.869.265.769.663.985.9subg61.664.768.958.968.977.471.1sub1049.261.571.965.962.662.977.3sub1148.354.260.575.861.362.075.4sub1256.156.243.068.035.768.471.2sub1342.260.268.461.663.275.777.8sub1454.4.65.568.255.952.367.873.0sub1555.757.957.654.536.852.180.9Avg.52.258.063.865.460.865.677.7S.D.5.415.869.466.6913.19.545.24注表中加粗字体表示每一组实验中的最优精度；Avg.表示识别结果的平均值，S.D.表示识别结果的标准差。Note The bold font in the table represents the optimal accuracy foreach group of experiments;Avg.represents the average of the recognitionresults,and S.D.represents the standard deviation of the recognition results.表4Session2识别精度对比(%)Tab.4Comparison of recognition accuracy of Session2(%)JDAGAKTMIDAFSTSLLRSMEKTJBCEsubl55.360.663.570.379.084.183.2sub243.470.687.973.369.560.687.1sub351.767.471.571.561.879.177.8sub462.062.462.