基于卷积神经网络和领域泛化的跨操作员认知负荷识别.pdf

基于卷积神经网络和领域泛化的跨操作员认知负荷识别周月莹公沛良王澎湃温旭云张道强*(南京航空航天大学计算机科学与技术学院南京211106)(南京航空航天大学模式分析与机器智能工信部重点实验室南京211106)(南京航空航天大学脑机智能技术教育部重点实验室南京211106)摘要：基于脑电信号(EEG)的操作员认知负荷识别(CWR)在人机交互系统和被动式脑机接口中有重要价值，然而EEG的非稳态性和被试差异性极大阻碍了跨操作员CWR这一现实场景的快速应用。该文针对跨操作员CWR精度低等问题，提出一种基于卷积神经网络(CNN)和领域泛化(DG)的联合共享特征优化方法(CNN_DG)。该方法通过使用已有操作员(源域)的数据提高未知操作员(目标域)的CWR性能，其主要包括3个模块：深度特征提取器、标签分类器和领域泛化器。深度特征提取器学习可迁移的源域之间的共享知识表征；标签分类器进一步学习深层表征并预测负荷级别；领域泛化器通过与特征提取器进行对抗训练来减少源域间的数据分布差异，从而保证学习特征的共享性。该文在多属性任务组(MATBII)模拟飞行任务竞赛数据集1和2上进行两个三分类的跨操作员CWR实验，并采用留一被试交叉验证策略验证模型识别性能。实验结果表明所提CNN_DG方法显著优于比较方法，验证了其在跨操作员CWR领域的有效性和泛化性。关键词：人机交互；认知负荷；跨操作员；卷积神经网络；领域泛化中图分类号：TN911.7;TP391文献标识码：A文章编号：1009-5896(2023)08-2796-10DOI:10.11999/JEIT221491Cross-operator Cognitive Workload Recognition Based on ConvolutionalNeural Network and Domain GeneralizationZHOUYueyingGONGPeiliangWANGPengpaiWENXuyunZHANGDaoqiang(College of Computer Science and Technology,Nanjing University of Aeronautics and Astronautics,Nanjing211106,China)(MIIT Key Laboratory of Pattern Analysis and Machine Intelligence,Nanjing University ofAeronautics and Astronautics,Nanjing 211106,China)(Key Laboratory of Brain-Machine Intelligence Technology,Ministry of Education,Nanjing University of Aeronautics and Astronautics,Nanjing 211106,China)Abstract:ElectroEncephaloGraphy(EEG)-basedCognitiveWorkloadRecognition(CWR)isvaluableforhuman-robotinteractionsystemsandpassivebrain-computerinterfaces.However,thenone-stationaryofEEGandthedifferencebetweensubjectshindertherapidapplicationofcross-operatorCWR,arealisticscenario.Todealwiththeaboveproblem,ajointlysharedfeatureoptimizationmethodbasedontheConvolutionalNeuralNetwork(CNN)andDomainGeneralization(DG)isproposed,denotedasCNN_DG.Thedataofexistingoperators(sourcedomains)isusedtoimprovetheCWRperformanceofunknownoperators(targetdomain).Itincludesthreemodules:EEGfeatureextractor,labelclassifier,anddomaingeneralizer.TheEEGfeatureextractorlearnsthetransferablesharedknowledgerepresentationbetweensourcedomains.Thelabelclassifierlearnsfurtherthedeeprepresentationandpredictedtheworkloadlevels.Byadversarialtrainingwiththe收稿日期：2022-11-30；改回日期：2023-05-23；网络出版：2023-05-30*通信作者：张道强基金项目：国家自然科学基金(62136004,61876082,61732006)，国家重点研发计划(2018YFC2001600,2018YFC2001602)，中央高校基本科研业务费专项资金(NP2022451)FoundationItems:TheNationalNaturalScienceFoundationofChina(62136004,61876082,61732006),TheNationalKeyR&DProgramofChina(2018YFC2001600,2018YFC2001602),TheFundamentalResearchFundsfortheCentralUniversities(NP2022451)第45卷第8期电子与信息学报Vol.45No.82023年8月JournalofElectronics&InformationTechnologyAug.2023featureextractor,thedomaingeneralizerreducesthedifferenceinsourcedomaindistributionandensuresfurtherthesharingoflearnedfeatures.Twothree-categoriescross-operatorCWRexperimentsareconductedontheMulti-attributeTaskBattery(MATBII)simulatedflightcompetitiondatasets1and2,andthemodelperformanceisverifiedbyusingleave-one-subject-outcross-validation.ExperimentalresultsshowedtheCNN_DGperformedsignificantlybetterthancomparingmethods,indicatingitseffectivenessandgeneralizationinthefieldofcross-operatorCWR.Key words:Human-robotinteraction;Cognitiveworkload;Cross-operator;ConvolutionalNeuralNetwork(CNN);DomainGeneralization(DG)1 引言在现实生活中，载人航天1、飞机驾驶2以及空中交通管制3等复杂人机交互系统通常伴随高负荷人机交互任务。人机交互任务中的认知负荷，是指操作员在操作机器过程中大脑资源的占用程度4。认知负荷会导致操作员认知行为发生变化，进而影响在特定任务中的人员绩效5。研究表明，过高负荷状态会导致操作员效率低下和任务完成性能不佳，更严重的可能导致猝死等事故；而过低负荷状态会造成人力资源浪费，分散对主要任务的关注度，并丧失一定的警惕性。因此，在诸如飞机驾驶等复杂的、对安全性要求较高的人机系统中，对操作员的认知负荷进行有效的监测、评估，并进行适当的反馈调整，使人机系统中的任务需求得到合理的控制，对提高系统的工作效率、安全性，操作员健康等都具有十分重要的意义6,7。目前，基于生理信号的认知负荷识别(Cogni-tiveWorkloadRecognition,CWR)一直是检测特殊操作人员认知状态的热点5,7,8。在多种信号中，头皮脑电信号(ElectroEncephaloGraphy,EEG)具有无创、高时间分辨率、安全、可便携等优点，已成为CWR的主要技术手段5。现有基于EEG信号的CWR研究大多基于特定被试，即针对任一单一被试构建个体化模型，并用该被试数据进行CWR模型的训练、测试和评估。有研究表明9，认知负荷状态是被试依赖的，且在行为绩效和大脑活动状态方面表现出不同被试差异，因此，基于特定被试的CWR模型可认为是标准化设计。该设计目前取得了令人满意的识别正确率。然而，由于EEG信号的时间非稳态特性、背景敏感性和个体差异性等特点，将在特定被试上建立的CWR模型应用到复杂的真实环境中，如直接将模型用到新被试上，识别性能普遍呈现下降趋势10。因此，基于特定被试的研究具有较大局限性。实现跨操作员CWR是从实验室走向实际应用的必要步骤。跨操作员CWR模型是在一个或一组现有被试的数据上进行训练，并在一个或一组新的被试数据上进行测试11。其关注的是在不同被试下泛化良好的通用模型。在设计跨操作员模型时，通常会对新被试数据进行校准，或在识别前收集大量数据。由于诱发高负荷状态是漫长而渐进的，因此被试校准不合理12。收集数据昂贵且耗时，给被试造成不便6。已有研究通过优化机器学习方法来挖掘被试共享特征，并构建跨操作员CWR模型来减弱被试间差异和非平稳特性对负荷识别结果的影响。例如，Wang等人13提出基于频域特征结合支持向量机(SupportVectorMachine,SVM)分类器的跨操作员CWR方法；文献10提出基于频域特征的层次贝叶斯分类器；Appriou等人14比较了不同分类器的跨操作员性能，进一步证明了卷积神经网络(Con-volutionalNeuralNetwork,CNN)在跨操作员CWR领域的优越性；Bashivan等人15将EEG数据转化为谱图映射，结合CNN模型识别字母记忆任务；基于此，很多深层CNN模型相继被提出16。当被试间的差异性较大时，以上模型可能无法保证所学特征的有效性。最近，一些研究从被试数据偏移的角度出发，通过引入领域自适应技术来减少数据分布差异，使源域(训练集)训练模型更好地适用于目标域(测试集)模型。例如，文献17提出基于SVM和迁移联合适配的CWR方法，用于减少字母记忆任务和数学加法任务的EEG任务差异；文献18关注数据的条件和边缘分布偏移，提出定制化的领域自适应模型。然而，由于领域自适应方法在模型训练阶段需要测试数据辅助训练，因此通常不能满足“即插即用”的实际应用效果。针对以上挑战，本文提出基于CNN与对抗领域泛化(DomainGeneralization,DG)的CWR模型，称为CNN_DG，用于美国航空航天局(Na-tionalAeronauticsandSpaceAdministration,NASA)多属性任务组(Multi-AttributeTaskBat-tery,MATBII)模拟飞行操作任务。受限于EEG数据量的大小，该模型仅使用两层CNN模块来提取原始EEG时间序列的时间和空间特征表示，其次为了减小特征分布差异，该模型引入对抗域泛化模块提升鲁棒性和泛化性。利用2021认知负荷竞赛数据集验证提出模型的有效性。第8期周月莹等：基于卷积神经网络和领域泛化的跨操作员认知负荷识别27972 方法本文所提基于CNN_DG的跨操作员CWR方法考虑了EEG数据的时间和空间表征，同时从领域泛化的角度减少源域数据和目标域数据的分布差异，可以有效保证获取EEG数据表征的泛化性，从而提高新操作员的CWR准确性。相比领域自适应技术，领域泛化的优势在于其不需要目标域数据参与模型训练，因此更适用于真实情景中的应用。图1是跨操作员CWR整体流程。在训练阶段，首先通过特征提取器提取源域数据原始时间序列的时间和空间特征表示，其次将特征表示分别输入标签分类器进行有监督的分类预测和领域泛化器进一步优化学习到的域共享特征，最后得到在源域数据上的泛化模型；在测试阶段，基于已训练模型在目标域数据进行测试。2.1 特征提取模块(X,y)X RCTy RDS=(X1S,y1S),(X2S,y2S),.,(XNS,yNsS)NsDT=X1T,X2T,.,XNtTNt假设是一个EEG信号样本，其中是原始EEG时间序列，C是EEG的通道个数，T是每个通道的时间点数，是样本对应的真实标签。实验中将任一被试的EEG数据看作一个单独的域。假设源域包含个有标签样本，目标域包含个无标签样本，领域泛化试图通过从源域(已有被试数据)学到的知识预测目标域(新被试数据)的标签，且在训练过程中不涉及目标域数据19。使用原始EEG时间序列作为模型输入，不需要繁琐的手动特征提取环节。将单个样本的EEG时间序列表示为2维数组，即C对应数组高度，T对应数组宽度。表1给出了具体的网络结构。其中，C是样本通道数，T是时间点个数，F1是时间卷积层滤波器个数，K1是第1层卷积的核大小，F2是空间卷积层滤波器个数，K2是第2层卷积的核大小，丢弃率为0.5。考虑到实验中EEG样本数量有限，本文使用两层卷积层20来提取EEG时序信号的时间和空间特征。由前两层卷积层分别进行时间卷积和空间滤波，然后是平方非线性激活函数，平均池化层和对数激活函数，最后得到铺平的特征向量。2.2 标签分类器模块标签分类器模块采用全连接层结构进行分类器学习。实验尝试了3层全连接层、2层全连接层和1层全连接层，比较发现，在两个数据集上采用1层全连接层时均取得较好结果，因此采用1层全连接层和softmax激活函数层进行分类。使用交叉熵损失函数H最小化分类器预测标签与真实标签之间的差异Lc=H(y,y)=Jj=1yjlog2yj(1)y 0,1,2y其中，是真实负荷标签，是预测标签，J表示训练认知负荷分类的样本总数。2.3 领域泛化模块本文使用对抗领域泛化模块减少不同被试间的分布差异，进而学习到被试共享特征增强模型的鲁棒性，同时提高认知负荷的识别准确性。对抗领域泛化21涉及特征提取器和域泛化器。对抗训练在源域的特征提取器和域泛化器上进行博弈，目的是使特征提取器学到的特征能够混淆域泛化器，即域泛化器无法区分特征是来源于哪一个源域，进而使得学到的特征在源域上具有一定的泛化性。规定源域图1跨操作员认知负荷识别整体流程2798电子与信息学报第45卷样本的域标签为114，对应被试标签，目标域样本的域标签为0，不参与领域对抗训练。域泛化器执行一个14分类任务。将特征提取器得到的源域深度特征向量作为对抗域泛化器的输入。为了实施对抗训练，需要在特征提取模块与域泛化器模块引入梯度反转层，在反向传播过程中实现梯度取反，从而控制特征提取模块与域泛化器模块之间的权衡。对抗域泛化器由梯度反转层和两个全连接层组成，随后是softmax激活函数层。通过softmax激活函数层转换网络的14分类预测为域标签。使用交叉熵损失函数H来最小化域泛化器预测域标签与真实域标签之间的差异Ld=H(d,d)=Jj=1djlog2dj(2)d 1,14d其中，是样本真实域标签，是域泛化器预测的域标签，J表示训练认知负荷分类的样本总数。总体损失函数为Lall=Lc+Ld(3)2.4 训练设置本文将深度特征提取和领域泛化结合应用到跨操作员认知负荷识别。为了评估模型可靠性，实验采用留一被试交叉验证(leave-one-subject-outcrossvalidation)进行性能评估，对于15位被试，每次将14位被试的MATBII任务EEG数据作为源域(训练集)训练模型，剩余1位被试的EEG数据作为目标域(测试集)进行模型测试。实验需遍历每个被试，并整合所有被试的测试结果作为跨操作员CWR的最终识别结果。本文对比了传统机器学习方法以及使用领域自适应技术的迁移联合适配(TransferJointMatch-ing,TJM17)方法。传统方法使用5个频段的功率谱密度特征，结合不同分类器进行分类，包括SVM、线性判别分析(LinearDiscriminantAnalysis,LDA)和K近邻分类器(K-NearestNeighbor,KNN)。其中，SVM和LDA参数设置为Matlab默认参数，KNN中K的参数取值范围为3,5,7,9，本文显示的结果均为最优结果。TJM在降维空间同时考虑跨域的特征对齐和训练样本的重加权，对分布差异和无关实例均具有鲁棒性，子空间维度为80。本文对比的深度学习方法包括长短期记忆网络(Long-ShortTermsMemory,LSTM)22、深度CNN(DeepCNN)20、压缩CNN(EEGNet)23、基于注意力机制的CNN(CNNbasedonSqueezeandExcitation,CNN_SE)24和时间卷积网络(Tempor-alConvolutionalNetwork,TCN)25。其中，LSTM模型包含两层LSTM层进行深度表征学习和全连接层进行分类。DeepCNN包含4个卷积-最大池化块和全连接层分类器。EEGNet是一个紧凑的CNN网络，包含深度(depthwise)卷积和可分离(separable)卷积，由3个卷积层和1个全连接层组成。CNN_SE结合CNN和压缩-激励(SqueezeandExcitation,SE)注意力机制24，包含5层卷积层、SE注意力层和全连接层，其中SE注意力层位于第2个卷积层后。TCN在EEGNet基础上(包含2维时间卷积、深度卷积、可分离卷积依次学习得到混合特征图)结合时间卷积块进一步提取时间信息，最后输入全连接层。根据公开竞赛结果26，本文选取并复现表现较好的模型进行比较，包括基于黎曼几何(RiemannianGeometry,RG)的方法27和基于秩1约束的CNN模型(CNN_rank1)28,29。基于RG的方法通过构建空间协方差矩阵对空间信息进行编码，将协方差矩阵投影到切空间，并将这些投影作为SVM分类器的分类特征。CNN_rank1包含3层卷积层，3层全连接层，其中第1层卷积层基于秩1约束，即空间和时间权重的外积。深度方法使用TensorFlow框架，训练过程中模型使用Adam优化器，学习率设置为0.000 1，beta1为0.9，beta2为0.999，批次大小为64，每折训练50轮。3 实验3.1 数据描述数据集来自2021年神经人体工程学会议竞赛发布的被动式脑机接口数据集26,30。该数据集记录了15个健康被试(包含6名女性，平均年龄25岁)参与MATBII任务的原始EEG数据。所有被试进行3次独立实验，每次时间间隔1周。MATBII任务包括系统指标监测、目标追踪、表 1 特征提取器的结构卷积层类型滤波器核输出1输入(C,T,1)卷积层F1=40(1,K1=25)(C,TK1+1,F1)批处理层ELU激活层2卷积层F2=40(K2=C,1)(1,TK1+1,F2)批处理层平方激活层平均池化层 窗口(1,75)步长(1,15)(1,(TK1+175)/15,F2)对数激活层丢弃层铺平(TK1+175)/15*F2第8期周月莹等：基于卷积神经网络和领域泛化的跨操作员认知负荷识别2799通信任务、燃油资源管理4个子任务31。系统指标监测任务(图2(a)包括两个警告灯和4个游标指针，模拟飞行任务中对仪表指示操作的监控与调整。目标追踪(图2(b)是手动控制的仿真，要求被试控制操纵杆，尽可能将目标保持在飞机追踪范围内。通信任务(图2(c)要求被试通过改变无线电台的频率来回应广播信息。燃油资源管理任务(图2(d)包括6个油箱和8个阀门，要求被试制定合理的燃油管理策略，使主油箱A和B的油量保持在9 464L左右。被试必须同时执行多个子任务。通过改变MATBII子任务的呈现数量和复杂性，最终得到3个级别(即低负荷、中等负荷和高负荷)的负荷数据。在低负荷级别下，被试同时参与系统指标监测和目标追踪任务。中等负荷级别在简单级别基础上添加燃油资源管理任务。高负荷级别在中等级别基础上添加通信任务，同时，目标追踪任务难度设置为困难。每个被试要求完成3个5min的MATBII任务块，每个任务块以伪随机的形式呈现。本文采用前两次采集的任务数据(记为数据集1和2)作为实验数据，分别进行跨操作员CWR。该数据已通过主观、客观行为和心脏数据的统计分析验证。3.2 数据预处理实验采用64导Acticap系统和ActiCHamp放大器采集EEG数据，最终使用61通道。EEG采样率为500Hz，实验中阻抗保持在10k 下。EEG预处理使用MatlabEEGlab工具箱。具体操作包括：将任务数据分割成2s的不重叠样本；使用右乳突通道进行参考；1Hz高频滤波；通道移除和插值；去除肌肉、心脏和眼动噪声；40Hz低频滤波；平均重参考；降采样到250Hz。3.3 跨操作员认知负荷识别本文使用经过预处理后的2s间隔的无重叠EEG序列信号作为提出模型的输入。将EEG时间序列表示为2维数组，大小为61通道500时间点。首先，将源域的EEG信号输入到两层卷积层的特征提取器模块；提取到的空时特征分别进入标签分类器和领域泛化器，进一步优化学习到的域判别特征和域共享特征，最后得到在源域数据上的泛化模型；将源域上的泛化模型应用到目标域EEG信号，得到这一目标域的CWR结果。TPiiFPiiTNiiFNii实验中需识别单个目标域的低、中和高3种负荷。为了综合评价不同模型的识别性能，本文采用4种总体指标，包括准确性(ACCuracy,ACC)、宏平均F1评分(MF1)、CohenKappa系数(K)、宏平均G-mean(Mgm)。假设为类 真阳性，为类假阳性，为类 真阴性，为类 假阴性，L为负荷识别的总类别，A为样本总数。针对每类指标，采用每类的精准率(precision,pre)、敏感性(sensitivity,sen)、特异性(specificity,spe)和F1评分(F1)评估每个类别的识别表现。每类指标的定义为prei=TPi/(TPi+FPi)(4)seni=TPi/(TPi+FNi)(5)图2MATBII实验任务2800电子与信息学报第45卷spei=TNi/(TNi+FPi)(6)F1i=2 prei seni/(prei+seni)(7)各总体指标的详细定义为ACC=Li=1TPi/A(8)MF1=1LLi=1(2 prei seni/(prei+seni)(9)K=(ACC Pe)/(1 Pe)(10)Mgm=1LLi=1spei seni(11)Pe其中，是偶然产生一致结果的随机概率。4 实验结果与讨论4.1 跨操作员认知负荷识别结果用CNN_DG方法分别在两个数据集上进行跨操作员认知负荷识别实验，并与传统机器学习方法SVM,LDA,KNN,RG,领域适应方法TJM，深度神经网络模型LSTM,DeepCNN,EEGNet,CNN_SE,CNN_rank1和TCN进行性能比较，留一被试交叉验证得到的每类F1和总体指标如表2所示，加粗显示表示最优结果，除K外，其余指标均为%形式。两个数据集的对比结果表明提出的CNN_DG方法均表现出最佳识别性能。针对数据集1，CNN_DG方法的ACC为60.60%，MF1为60.44%，Kappa系数为0.41，Mgm为69.63%。传统方法中SVM表现最优；TJM方法显著优于传统方法，表明领域自适应方法可以有效减少数据分布差异；深度对比方法中CNN_SE表现最优；TJM方法表现与CNN_SE相近。与上述3种方法相比，CNN_DG的ACC分别提高了8.74%,3.79%,3.37%，MF1分别提高了8.76%,4.34%,3.73%。针对数据集2，CNN_DG方法的ACC为56.23%，MF1为55.91%，Kappa系数为0.34，Mgm为66.01%。对比方法表现与数据集1类似，深度对比方法中TCN表现最优。与SVM,TJM和TCN3种方法相比，CNN_DG的ACC分别提高了8.46%,4.02%,1.26%，MF1分别提高了8.68%,4.89%,1.84%。同时，通过比较不同模型的每类F1得分，可以发现多数方法的低负荷和高负荷识别结果高于中负荷。表3给出了CNN_DG方法在两个数据集上识别结果的混淆矩阵和每类指标结果。混淆矩阵通过所有被试测试之和计算得出，行表示真实负荷标签，列表示预测标签。实验发现混淆矩阵中对角线元素占多数，表明CNN_DG的有效性。比较3个类别负荷的每类结果，可以发现中负荷的识别结果低于其他两类。从混淆矩阵来看，中负荷常被错分为高负荷，可能原因是中等负荷和高负荷的特征区别不显著。图3给出了CNN_DG方法在单个被试上测试的准确率。数据集1中被试1,4,6,9,12的识别准确性高于平均值，被试11识别表现最差；数据集2中被试4,6,12,15高于平均值，被试11识别表现最差。比较图3可以发现，数据集2的识别性能低于数据集1，数据集1中单个被试的识别结果具有较大差异，数据集2中单个被试的识别结果较平稳。表 2 每类F1和总体指标方法数据集1数据集2每类F1(%)总体每类F1(%)总体低中高ACCMF1KMgm低中高ACCMF1KMgmSVM60.5141.9052.6251.8651.680.2862.5756.9334.3350.4447.7747.230.2258.95LDA54.3037.9345.5845.9545.940.1957.8349.0536.9546.2144.0644.070.1656.30KNN50.4339.0732.7441.5440.750.1254.2347.8937.3235.6940.4840.300.1153.25RG56.5433.8551.3048.0747.230.2259.1556.0725.0649.2345.8043.450.1957.05TJM66.3942.8759.0456.8156.100.3566.3861.2334.6257.2152.2151.020.2862.42LSTM37.4138.2039.2038.3138.270.0751.6443.0233.5940.3939.3339.000.0952.31DeepCNN68.2736.3458.3356.7554.310.3566.7564.8634.5756.7253.9352.050.3164.09EEGNet66.8739.2954.7554.8553.640.3264.7565.9534.3557.7954.2652.700.3164.00CNN_SE67.7044.8757.5557.2356.710.3666.7863.9038.8557.7954.5153.510.3264.52CNN_rank162.7847.7554.7555.4855.100.3365.3761.0137.3745.0549.7247.810.2558.84TCN66.8742.7556.1755.3855.260.3365.4267.1839.0056.0354.9754.070.3264.73CNN_DG70.8049.9960.5460.6060.440.4169.6366.8042.6358.2956.2355.910.3466.01第8期周月莹等：基于卷积神经网络和领域泛化的跨操作员认知负荷识别28014.2 统计分布差异图4给出了不同方法的准确性结果箱线图和显著性分析。使用Wilcoxon配对秩检验32进行统计分析，*表示p0.05，*表示p0.01。数据集1中，CNN_DG方法和SVM,LDA,KNN,RG,LSTM和EEGNet相比，准确性分布具有显著差异；CNN_DG与TJM,DeepCNN,CNN_SE,CNN_rank1和TCN相比，差异不显著。数据集2中，CNN_DG方法和SVM,LDA,KNN,RG,LSTM和TJM相比，准确性分布具有显著差异；CNN_DG与Deep-CNN,EEGNet,CNN_SE,CNN_rank1和TCN相比，差异不显著。总之，CNN_DG显著优于传统机器学习方法和部分先进方法。4.3 消融实验本文对提出模型进行消融实验分析，包括2层、3层和4层卷积特征提取器(对应Conv2,Conv3,和Conv4)，4层卷积层特征提取器结合域泛化Conv4_DG。图5是消融实验的结果。针对数据集1，可以看出本文模型CNN_DG联合2层卷积层和域泛化可以有效提升模型的准确性。与使用不同卷积层数的模型变体比较可发现，Conv2结果好于Conv3和Conv4。为了防止模型过拟合，本文选取Conv2作为脑电特征提取器。比较Conv4和Conv4_DG，发现Conv4_DG优于Conv4，说明域泛化模块的有效性。针对数据集2，Conv2和Conv3,Conv4有相似的实验结果；对比Conv4_DG和本文模型，本文模型优于Conv4。综上所述，2层卷积层作为特征提取器结合域泛化模型取得了一致性更优的分类结果。4.4 可视化结果为了可视化被试样本分布，本文使用t-随机近邻嵌入(t-distributedStochasticNeighborEmbed-图3单个被试准确性图4不同方法识别性能表 3 CNN_DA方法的混淆矩阵和每类结果数据集1数据集2预测每类结果(%)预测每类结果(%)真实低中高presenspeF1真实低中高presenspeF1低1 58943523071.1070.5085.4970.80低1 50354321967.2566.3683.5166.80中3791 07260347.9652.1974.9949.99中43389864740.1845.4071.7242.63高2677281 40262.7358.4980.6660.54高2997941 36961.2555.6179.5958.292802电子与信息学报第45卷ding,t-SNE)33降维原始EEG信号和经过模型训练后的深度特征。t-SNE是一种数据降维方法，既能减少冗余信息，又能保持数据局部样本聚类的空间分布。图6绘制了数据集2被试6在2维空间的样本分布，其中，点的颜色表示样本对应的类别。可以发现，被试原始脑EEG数据分布较为混乱，不同类别的样本难以区分；经过CNN_DG训练模型后提取的深度特征可以聚成比较明显的簇，显示一定的可分离性，尽管不同类别的分类边界仍有重叠。综上，CNN_DG可以有效提取深度判别特征用于MATBII跨操作员CWR。5 结束语本文提出一种针对MATBII任务的跨操作员认知负荷识别模型CNN_DG，即基于深度卷积网络和对抗领域泛化的方法，能有效挖掘不同被试的共享和判别特征，提高跨操作员CWR的识别准确性。首先，在训练阶段，通过两层卷积层提取原始时间序列的时间和空间特征表示，其次将特征表示输入对抗领域泛化模块学习源域共享特征，同时将特征表示输入标签分类器模块进行有监督的分类预测；最后在测试阶段，对训练模型进行测试。实验在公开数据集上进行验证，并与多种机器学习方法进行对比。结果表明，CNN_DG可以显著提高跨操作员CWR的准确性和泛化性。此外，被试分布差异对负荷识别也十分重要，使用不同距离度量减少被试分布差异并在更大数据集上进行验证是后续工作的研究内容。参 考 文 献OLUWAFEMIFA,ABDELBAKIR,LAIJCY,et al.Areviewofastronautmentalhealthinmannedmissions:PotentialinterventionsforcognitiveandmentalhealthchallengesJ.Life Sciences in Space Research,2021,28:2631.doi:10.1016/j.lssr.2020.12.002.1WUEQ,CAOZhengtao,XIONGPengwen,et al.Brain-computerinterfaceusingbrainpowermapandcognitiondetection network during flightJ.IEEE/ASMETransactions on Mechatronics,2022,27(5):39423952.doi:10.1109/TMECH.2022.3148141.2LINYi,DENGLinjie,CHENZhengmao,et al.Areal-timeATCsafetymonitoringframeworkusingadeeplearningapproachJ.IEEE Transactions on IntelligentTransportation Systems,2020,21(11):45724581.doi:10.1109/TITS.2019.2940992.3WICKENSCD.MultipleresourcesandperformancepredictionJ.Theoretical Issues in Ergonomics Science,4图5不同方法识别性能图6被试数据分布第8期周月莹等：基于卷积神经网络和领域泛化的跨操作员认知负荷识别28032002,3(2):159177.doi:10.1080/14639220210123806.ZHOUYueying,HUANGShuo,XUZiming,et al.CognitiveworkloadrecognitionusingEEGsignalsandmachinelearning:AreviewJ.IEEE Transactions on Cognitive andDevelopmental Systems,2022,14(3):799818.doi:10.1109/TCDS.2021.3090217.5APPELT,GERJETSP,HOFFMANS,et al.Cross-taskandcross-participantclassificationofcognitiveloadinanemergencysimulationgameJ.IEEE Transactions onAffective Computing,2023,14(2):15581571.doi:10.1109/TAFFC.2021.3098237.6DEBIEE,ROJASRF,FIDOCKJ,et al.Multimodalfusionforobjectiveassessmentofcognitiveworkload:AreviewJ.IEEE Transactions on Cybernetics,2021,51(3):15421555.doi:10.1109/TCYB.2019.2939399.7CHARLESRLandNIXONJ.Measuringmentalworkloadusingphysiologicalmeasures:AsystematicreviewJ.Applied Ergonomics,2019,74:221232.doi:10.1016/j.apergo.2018.08.028.8APPRIOUA,CICHOCKIA,andLOTTEF.Modernmachine-learningalgorithms:ForclassifyingcognitiveandaffectivestatesfromelectroencephalographysignalsJ.IEEE Systems,Man,and Cybernetics Magazine,2020,6(3):2938.doi:10.1109/MSMC.2020.2968638.9WANGZiheng,HOP