基于可解释深度学习的单通道脑电跨被试疲劳驾驶检测.pdf

2023年5月May2023Chinese Journal of Scientific InstrumentVol.44 No.5第44卷第5期表仪器仪报学D0l:10.19650/ki.cjsi.J2210846基于可解释深度学习的单通道脑电跨被试疲劳驾驶检测*冯笑12,代少升,黄炼（1.重庆邮电大学通信与信息工程学院重庆400065；2.河南省高速铁路运营维护工程研究中心郑州450002)摘要：脑电信号被认为是检测驾驶员疲劳状态的最佳生理信号之一。然而，由于不同被试者和不同记录时段的脑电信号差异很大，设计一个无校准的脑电疲劳检测系统仍然具有挑战性。近年来，虽然开发了许多深度学习方法来解决这个问题并取得了重大进展，但是深度学习模型的黑盒效应使得模型决策不可信赖。为此，本文提出了一种可解释深度学习模型，用于从单通道脑电信号中检测跨被试疲劳状态。该模型具有紧的网络结构，首先设计浅层CNN提取EECG特征，然后引入自适应特征重新校准机制增强提取特征的质量，最后通过LSTM网络将时间特征序列与分类相关联。模型分类决策的可解释信息则是由LSTM输出隐藏状态的可视化技术实现的。在持续驾驶任务的公开脑电数据集上进行大量跨被试实验，该模型的分类平均准确率最高达到7 6.2 6%。相比于先进的紧凑型深度学习模型，该模型有效降低了参数量和计算量。可视化结果表明该模型已发现神经生理学上可靠的解释。关键词：单通道脑电；疲劳检测；紧凑网络；可视化技术；自适应特征重新校准中图分类号：TP391R741.044TH79文献标识码：A国家标准学科分类代码：510.40Cross-subject driver fatigue detection from single-channel EEG withan interpretable deep learning modelFeng Xiaol.2,Dai Shaosheng,Huang Lian(1.College of Communication and Information Engineering,Chongqing University of Posts and Telecommunications,Chongqing400065,China;2.Henan High-Speed Railway Operation and Maintenance Engineering Research Center,Zhengzhou 450002,China)Abstract:Electroencephalography(EEG)has been considered as one of the best physiological signals to detect drivers mental fatigue.However,EEG signals vary significantly among different subjects and recording sessions,and it is stll challenging to design acalibration-free system for EEG fatigue detection.In recent years,many deep learning-based methods have been developed to addressthis issue and achieve significant progress.However,the“black-box nature of deep learning models makes their decisions mistrust.Therefore,an interpretable deep learning model is proposed to recognize cross-subject fatigue states from single-channel EEG signals inthis article.The model has a compact network structure.Firstly,a shallow CNN is designed to extract the EEG features.Then,theadaptive feature recalibration mechanism is introduced to enhance the features extraction ability.Finally,the time series of extractedfeatures are linked to classification with LSTM.The interpretable information of the classified decision is achieved through a visualizationtechnique that is taking advantage of hidden states output by the LSTM layer.Extensive cross-subject experiments are implemented on anopen EEG dataset with a sustained-attention driving task,and the proposed model achieve the highest average accuracy of 76.26%.Inaddition,compared with the advanced compact deep learning models,the parameters and computation are effectively reduced.Visualization results indicate that the proposed model has discovered neuro-physiologically reliable interpretation.Keywords:single-channel EEG;fatigue detection;compact network;visualization technologies;adaptive feature recalibration收稿日期：2 0 2 2-12-0 8ReceivedDate:2022-12-08*基金项目：河南省重点研发与推广专项（2 2 2 10 2 2 10 16 4）资助141冯笑等：基于可解释深度习的单通道脑电跨被试疲劳驾驶检测第5期0引言疲劳是一种以注意力下降、警觉性缺失和睡意为主要特征的生理、心理状态。疲劳驾驶主要表现为驾驶员精神疲劳，明显不同于因体力劳动引起的身体疲劳。据美国国家公路交通安全管理局透露，2 0 0 9 2 0 13年发生超过7.2 万起撞车事故。2 0 18 年由疲劳驾驶导致的死亡事故为7 7 5起（占死亡总数的2.1%）。开发一种能连续观察驾驶员的警觉状态，并在驾驶员产生睡意前发出预警的消费级脑电疲劳监测系统，对驾驶安全和预防交通事故具有重要意义。脑电信号（electroencephalography，EEG）作为人脑活动的直接体现，可以快速地反映出人的生理及心理变化过程2 ，被誉为疲劳检测的“金标准”。随着EEG采集设备的不断发展，因其时间分辨率高、便携而成本低等技术优势，越来越多的研究人员将脑电信号作为生物神经信号特征引人疲劳检测3-。然而，脑电信号在不同被试间和不同记录时段存在较大差异性。大多数驾驶环境中的脑电疲劳检测研究使用被试相关模型来测试他们的方法，每一被试都需要花大量的时间来进行必要的校准步骤5-7 ，这对于新用户的使用是很不友好的8 。此外，由于脑电信号对噪声/伪影敏感，在被试间/被试内存在非平稳性和低信噪比特性也加剧了任务识别的难度，1理论分析利用脑电信号建立一个完全无校准的疲劳检测系统仍然是一项具有挑战而困难的任务。传统的疲劳识别方法依赖于从脑电信号中提取特征，这需要专家知识或先验知识以便对感兴趣的脑电特征建模，这很可能排除了对疲劳识别非常重要的相关信息。如Ogino等9 提出使用单通道脑电的功率谱密度（powerspectraldensity，PSD）特征【10 及逐步线性判别分析（stepwise lineardiscriminant analysis，SW L D A）的特征选择方法。Hu等1 则利用样本熵、模糊、近似熵和谱熵共4种嫡特征进行驾驶疲劳识别。深度学习方法允许端到端学习而不需要手工特征提取，能够直接从原始的高维数据中学习基本特征，越来越受到脑机接口（braincomputerinterface，BCI）研究人员的关注(1-4。受滤波器组共同空间模式（fiterbankcommon space pattern，FBCSP）算法的启发，Lawhern等12 专门为脑电识别任务而设计了一种通用且紧凑的卷积神经网络（convolutional neural network，CNN），该模型EEGNet使用二维卷积层对原始信号进行滤波，然后使用空间深度卷积层和时间可分离卷积层提取特征，在多个脑机接口数据集上取得了比传统方法更高的准确率。Schirrmeister等13 提出了一种由时间卷积、空间卷积和池化层构成的浅层CNN模型ShallowConvnet，被证明是处理脑电运动想象分类的有效方法。对于单通道脑电信号分类,Ding等14 利用级联CNN和注意力机制构建了一个深度学习模型，用于从移动设备捕获的单通道脑电信号中检测司机困倦。为了提取单通道脑电数据之间的时间依赖性特征,Fraiwan等15 提出了一种长短期记忆网络(long short-term memory networks，L ST M）,来自动区分局灶性和非局灶性癫痫脑电信号。Supratak等16 提出了一种名为DeepSleepNet的深度学习模型来进行睡眠阶段的分类。该模型使用CNN提取特征，并使用双向LSTM学习睡眠阶段的过渡规则。然而，现有脑电信号处理领域的研究工作大多将深度学习模型看作黑盒分类器17 ,这些深度学习方法具有不透明、缺乏解释性，使得我们更加需要一个可信赖的模型。由于深度学习模型可以通过提取有意义的可解释信息来提高信任度，而且通过将所学内容的可视化过程作为验证有效性的关键，因此，建立一种可解释深度学习模型对于无校准疲劳驾驶检测至关重要。为此，Cui 等17 提出一种具有全局池化层的紧凑且可解释CNN,来识别单通道脑电跨被试疲劳驾驶。该模型使用类激活映射（class activationmapping，CA M）方法对学习到的脑电特征可视化，但是，采用全局池化层忽略了数据序列中的时间依赖信息、综上所述，本文提出了一种新的可解释深度学习模型架构，用于从单通道脑电信号中识别跨被试疲劳驾驶任务。该模型采用紧凑的网络结构，首先设计浅层CNN提取相应频段的脑电特征。然后，引人自适应特征重新校准机制学习特征的相互依赖性，以增强提取特征的质量。最后，通过LSTM将时间上的特征序列与分类关联起来。为了解释模型分类决策的学习模式，设计基于LSTM的可视化技术来揭示输入信号中包含重要特征的局部区域。通过在公开脑电疲劳驾驶数据集上的大量实验证明了模型不仅轻量高效，而且很好地解释了模型分类决策的共享脑电模式。2方法2.1网络总体结构可解释深度学习模型的网络结构如图1所示，采用紧凑型结构设计，主要包括浅层CNN、自适应特征重新校准模块和LSTM网络。浅层CNN与自适应特征重新校准模块共同作为模型的特征提取端，以提高网络提取特征的表示学习能力。LSTM网络则将时间上获得的特征输出并分类预测142表仪器仪报学第44卷Conv1D(18,64,2)LSTMh48批归一化层激励清醒挤压LSTMYReLU激活层scale操作Softmax3sEEG平均池化层特征图疲劳LSTMDropout o.5h自适应特征重新校准模块浅层CNNLSTM网络ReLUReLUsigmoidSE残差块图1整体网络结构Fig.1The overall network architecture2.2浅层CNN特征提取考虑CNN在处理EEG时间序列数据方面有广泛应用效果，本文设计浅层CNN网络从单通道脑电信号中提取脑电疲劳的浅层特征。如图1所示，浅层CNN网络包含有1维卷积层、批归一化层、激活层、平均池化层和Dropout丢弃层。第1层为卷积层Conv1D（18,6 4,2），由N个大小为64、步幅为2 的一维卷积滤波器组成（N=18）。每个卷积核长度为6 4,是信号采样率（12 8 Hz)的1/2,因此可以捕获2 Hz以上脑电图的基本频段。接着是批处理归一化层和激活层。通过批归一化操作18 对每个特征维度小批量归一化以消除内部协变量移位。激活层则是使用ReLU函数对数据进行非线性变换。平均池化层AvgPooling（8,4)使用内核大小为8、步幅为4的平均池化操作来减少模型的参数量。然后采用Dropout层以进一步减小模型的过拟合2.3自适应特征重新校准为了增强浅层CNN提取特征的质量，采用自适应特征重新校准（adaptive featurerecalibration，A FR）机制对特征之间相互依赖关系进行建模。这里通过挤压和激励（s q u e e z e-a n d-e x c i t a t i o n，SE）残差块自适应地选择最具鉴别的特征19 ,其中残差结构可以防止因网络加深而出现的梯度消失和梯度爆炸。SE残差网络包含两个卷积Conv1D（18,1,1），内核大小和步幅都为1,以及ReLU激活函数。假设浅层CNN生成的特征图为I=RT,SE网络的两个卷积操作为F=Conv2(Conul(I),其中F=F,FNI RxT,N是特征总数，T是F，的长度（T=48）。然后采用自适应平均池化层对全局空间信息进行挤压,将FeRNx压缩为s=(s，,s ,其中s;是F,中T个序列特征点的平均值，1iN。为了利用挤压操作所聚合的信息，引人激励操作来捕获特征之间的依赖关系。具体通过两个全连接层（fullyconnectedlayer，FC）来实现。第1个全连接层后使用ReLU激活函数进行降维，第2 个全连接层后使用sigmoid激活函数进行升维，其结果如式(1)所示。e=g(w2(S(w(s)E RvxT(1)其中，和8 分别表示sigmoid和ReLU激活函数，和2 表示这两个FC层。然后，特征图F与e通过scale操作得：0=FeERxT(2)其中，表示逐点乘法。将原始输人I与SE残差块增强的特征相结合，最终AFR模块输出为：X=I+O ERNxT(3)2.4LSTM网络作为一种特殊的循环神经网络（recurrent neuralnetworks，RNNs）,L ST M 网络可以捕获时间序列数据的长期依赖信息。这里引人LSTM网络来捕获脑电序列的长、短期依赖关系。LSTM网络采用单向而不是双向，可以消除EEG后向处理所需的迭代时间，使得计算资源减少了大约1/2。LSTM层按照时间序列方式将一组输入元素X=（x 1，x 2，,x）映射到一组隐藏序列特征表示冯143第5期笑等：基于可解释深度学习的单通道脑电跨被试疲劳驾驶检测（h i,h，,h r）,h;R,其中D为每一序列特征的维度。LSTM层可以表示为：h,LSTM(x,ht-1)(4)通过输人x,和前一个隐藏状态ht-1之后,LSTM层生成新的隐藏状态h,tE（1,T）。最后一个隐藏向量h被认为包含对分类有用的所有重要信息，通常在其后引人全连接层来总结特征。为了使LSTM输出的隐藏状态具有可解释性，将其隐藏向量维度D设定为2，最后将h连接Softmax激活函数进行分类。这种设计不仅大大减少了模型的参数量，而且使LSTM隐藏状态展现出网络预测的变化过程。2.5可视化技术从脑电信号中学习到的特征进行可视化分析，能够揭示模型用于分类决策的神经生理可解释模式，而不是受噪声或人工伪影的干扰。为此，设计一种可视化技术来识别输入信号对于分类决策贡献最大的局部区域，并且通过与已知晓的脑电神经生理模式相比较，帮助理解模型学习到的脑电特征与不同精神状态之间的关系。假设某一标签c样本S=（s 1,S2，,s n）,生成的热图为M。=（ml,m2，,m）,m；指示样本采样点s；贡献分类标签c的重要性。与计算机视觉领域中利用CAM及其扩展技术从深度CNN模型中提取热图不同，这里模型能够直接从LSTM隐藏状态序列表示（hi，h，,h）中生成可视化热图M。模型最后使用Softmax激活函数生成二分类预测的概率值。这里对每一隐藏状态h，应用Softmax函数得：h*=Sofitmax(h,)(5)假设ht。为类c在时刻t的预测值,序列H。=（h i.。，h2.c，,h t.。）反映了网络如何获得最终概率值的演化过程。因此，输入x，对于网络最终分类的贡献可以由式(6)量化得：Ah.。=h i.。-h i-1.(6)其中,te(1,2,T),且ho.。=0。然后,对H。=（A h i.，A h 2.,A h t.）进行z-score标准化后可得Z。=（2 1.c，2.，ZT.）,该过程类似于 CAM方法。根据模型的网络结构可知AFR模块的时间维度不变，浅层CNN网络中只有平均池化层将数据的时间维度缩小到原来的1/8。因此，可以对每一个zt。元素进行复制并填充8 次，热图M。即可恢复到平均池化前的数据长度，其表示式为：M.=(7)这里M。被称为“相对热图”，它反映了输人信号局部区域对最终分类决策的相对重要性。同样，可以从序列H。得到另一热图M，即为“累积热图”，它反映了输入信号局部区域对类c预测似然值的累积贡献值，其表示式为：M=(hi.c,hi.e,hT.c,.(8)883实验与结果分析3.1实验数据为了研究在驾驶环境下的跨被试疲劳检测，使用了来自持续驾驶任务的数据集【2 0 。在实验过程中，通过在沉浸式驾驶模拟器中进行9 0 min持续注意的夜间驾驶任务诱导疲劳和困倦。车道偏离事件被随机引人，使汽车向左或向右偏离中央车道。参与者被要求立即对事件作出反应，操纵方向盘将车开回中央车道。疲劳程度可以通过参与者对事件的反应时间来衡量。实验邀请2 7 名年龄在2 2 2 8 岁之间的受试者参加实验，使用ScanSynAmps2Express系统记录脑电信号。EEG使用32 个Ag/AgCl电极的有线脑电帽采集，其中30 个脑电电极和2 个参考电极（对侧乳突）。脑电电极按照10 2 0 国际标准导联系统放置，采样频率为50 0 Hz。脑电数据预处理采用1 50 Hz带通滤波器和伪影抑制处理2 0 。然后通过人工去除明显的眼干扰信号，而且使用EECLAB工具进一步去除眼部和肌肉伪影。处理后的数据被下采样至12 8 Hz，并提取每次试验在偏离事件发生前3s的EEG样本。由于Oz通道被发现包含了区分疲劳和清醒脑电信号的最显著特征17 ,研究中使用了来自Oz通道的脑电数据，每个样本维度为1个（通道）38 4个（采样点）。样本标签按照文献8 中描述的方法来选择和标记EEG样本。计算每个样本的局部反应时间（reactiontime，RT）,即被试对汽车漂移事件做出反应的时间，以及全局反应时间，即汽车漂移事件发生前9 0 s窗口内所有试验样本的局部反应时间（RTs）的平均值。每个EEGsession内的基线“清醒RT”被定义为其局部RTs的前5%时间。局部RT和全局RT均小于1.5倍清醒RT的样本被标记为清醒状态；局部RT和全局RT均大于2.5倍清醒RT的样本被标记为疲劳状态。为了确保有足够的训练和测试样本，每位参与者的每种状态至少选择50 个样本以上。最后对每个参与者的清醒和疲劳标签样本进行平衡，共提取了11个不同参与者的10 11个清醒标签和1011个疲劳标签样本17 3.2实验设置本实验选用Pytorch框架，使用Python3.6编程，硬件设备使用的CPU为Intel（R）Co r e（T M）i 5-12 6 0 0 K F，内存大小16 GB,CPU型号为NVIDIA GeForceGTX1080Ti,显存大小11CB。其中EECNet模型代码开源，为表144仪报仪器第44卷学TensorFlow环境运行，其他深度模型代码均在Pytorch环境下运行。模型训练过程中使用Adam优化器优化，对模型中每个参数使用相同的学习率，其中学习率固定为0.001，迭代次数设为17,批大小设为2 0。3.3实验结果分析实验在公开的脑电疲劳驾驶数据集上，通过留一法（l e a v e-o n e-s u b j e c t-o u t）交叉验证来比较跨被试分类结果，即其中一个被试者的EEC数据用于测试，而其他被试者数据用于训练分类器。这个过程反复进行，直到每名被试都被测试一次。1）不同方法的跨被试实验结果该模型与传统方法及当前先进的EEG深度学习方法进行跨被试分类准确率的比较。对传统方法进行了测试，基线分类器为SVM和LDA，特征提取方法包括RelativePower和FourEntropies。其中RelativePower是用Welch方法从EEG中Oz信道计算Delta（1 4H z）、T h e t a（4 8 H z)、A lp h a(8 12 H z)和 Beta(1230 Hz)的相对功率17 ,FourEntropies是利用样本嫡、模糊嫡、近似和谱熵共4种嫡特征进行驾驶疲劳识别 。与当前先进的深度学习模型比较,如EEGNet(12、Sh a l l o w Co n v Ne t l 13DeepConvNet 13以及Compact-CNN17。其中 EECNet、ShallowConvNet和DeepConvNet这3种模型都是将用于多通道脑电的空间卷积核改为11卷积核，以此来适应单通道脑电数据的特征提取。由于EECNet-8,2网络比EECNet-4,2网络具有更高的准确率，这里的EEGNet模型采用EEGNet-8,2网络。如表1所示跨被试测试比较结果,除了DeepConvNet模型外所有深度学习方法普遍要高于传统方法的测试准确率，说明深度学习方法相比于传统特征提取方法能够直接从大量高维数据中学习EEG疲劳特征，而DeepConvNet准确率低的原因很有可能是随着网络加深而出现了过拟合造成的。相比于这些传统方法和先进的深度学习方法，我们的模型取得了跨被试平均准确率最高达到7 6.2 6%，而且在每一被试单独测试中多次取得了最优或次优的结果（最优结果已黑色加粗），证明了该模型泛化性更好。该模型的准确率在每一被试单独测试中要明显高于当前先进的可解释卷积神经网络模型CompactCNN，在可解释深度学习方法比较中性能也占据优势表1不同方法在脑电疲劳驾驶数据集上的跨被试准确率比较Table 1 Comparison of different methods for cross-subject test accuracy on EEG driving fatigue dataset%传统方法深度学习方法被试RelativePower+RelativePower+FourEntropies+编号SVMEEGNetShallowConvNetDeepConvNetCompactCNNOursSVMLDASVM153.1977.1375.0079.7982.4576.0672.8777.4581.38250.7646.2143.9455.3051.5246.9742.4252.8051.52353.3349.3349.3363.3352.6755.3350.6763.4766.00452.7061.4950.6845.9575.6875.0062.1676.2274.32550.0068.7564.2949.1170.0964.7353.1376.5285.71653.6185.5487.9569.8874.7081.9383.1377.1183.73747.0663.7365.6952.9459.8068.6370.5967.3568.63847.3573.4877.6566.6760.2355.3067.0571.9378.03956.6981.2176.1171.3487.5887.2682.8088.2590.451049.0786.1187.9674.0784.2686.1184.2681.6786.111153.5469.0365.0468.5865.4966.3766.8172.6573.01均值51.5769.2767.6063.3669.5069.4366.9073.2276.262）紧凑型深度学习模型参数量和计算量如图2 所示为该模型与其他紧型深度模型在脑电疲劳驾驶数据集上的参数量和计算量对比，可以看出该模型的参数量达到次优值约为2.2 K。虽然高于EEGNet的1.8 K,但是所取得的平均准确率提高了6.7 6%。与其他3种紧凑深度学习模型相比计算量明显下降，约为5.6MFLOPs。由此可知该模型具有轻量高效的优势，能够有效减少参数量和计算量，从而降低了算法复杂度，也避免造成过拟合现象3）消融实验为了验证该模型各部分的作用，在该脑电疲劳驾驶数据集上进行消融实验测试。该模型主要包括浅层145冯笑等：基于可解释深度学习的单通道脑电跨被试疲劳驾驶检测第5期805%/率联研本4703260500ShallowCompactEEGNetConvNetCNN本文准确率69.5069.4373.2276.26参数量1.84.32.22.2准确率一参数量(a)参数量(a)Parameters8025%/率联研本20701510605500ShallowCompactEEGNet本文ConvNetCNN准确率69.5069.4373.2276.26参数量6.620.213.15.6准确率一参数量(b)计算量(b)FLOPs图2不同紧凑型深度学习模型的跨被试性能评估Fig.2 The evaluation of cross-subjects performanceon different compact deep learning modelsCNN、A FR和LSTM网络3个模块。在消融实验对比中，CNN表示以浅层CNN作为基准结构，然后添加全连接层分类；CNN+LSTM表示在浅层CNN的基础上，添加LSTM将时间序列特征与分类相关联CNN+AFR+LSTM表示在CNN+LSTM的基础上，添加AFR机制。如图3所示，通过实验比较跨被试分类结果的均值，包括准确率、精确率、召回率以及F1分数，可以看出该模型各部分的有效性，特别是AFR机制明显提高了模型的性能。8075%/706560准确率精确率召回率F1分数aCNN73.2274.3874.8773.78CNN+LSTM74.0375.8372.0673.65=CNN+AFR+LSTM76.2678.7774.2576.05图3模型消融实验结果Fig.3The ablation experiment results of the model4）实测实验为了进一步评估该模型的疲劳检测性能，在真实驾驶场景下选用经典的脑电识别任务模型EECNet12作为基线进行实测实验对比。实验由一名被试者进行实车驾驶，持续时间约2.5h。如图4（a）所示为百度地图中驾驶路线。实验通过KSS和PERCLOSE算法分别对疲劳状态进行主观和客观评估。KSS按从1 10 依次表示非常清醒到非常困倦共10 个等级，然后除以10 得到疲劳评估的KSS值2 1。KSS值是通过对被试者KSS问卷而得到的。PERCLOS算法是机动车辆的一种有效、便携且非接触的疲劳评估方法，它是通过实时采集人脸的眼脸图像来分析并计算闭眼时间与总监测时间的比率2 。如图4(b）所示，通过摄像头实时采集人脸图像帧，然后使用Python库中Dlib库工具获取眼脸部位的特征点。这里PERCLOS值是通过计算总监测时间内眼频率和闭眼时间所占比率，来生成相应的疲劳预测值。最后，总的疲劳评估值=0.5KSS值+0.5PERCLOS值。实验选择困倦和清醒状态的临界值0.5作为阈值，即当疲劳评估值=0.5时，驾驶员被认为处于驾驶的疲劳状态。公铁炉水立交桥EEG摄像头电极帽中原中菜州林匹克体育中心西门路互通式立交环(a)驾驶路线图(b)EEG电极帽与监控摄像头(a)Drivingrouteonmaps(b)EEGelectrodecapandcamera图4实测驾驶场景图Fig.4Experimental driving scene diagram实测期间以每5min进行一次主、客观评估来获取本次疲劳评估状态，可以得到30 个0 1区间的疲劳测量值。如图4（b）所示，这里使用Bitbrain32通道通用无线脑电设备来采集脑电图数据，并选择Oz通道进行单通道无校准脑电疲劳识别的实验验证。然后经过预处理后使用这两种训练模型来提取脑电特征并生成相应的疲劳预测值。实测结果如图5所示，实线表示30 个实际测量值，EEGNet的预测值表现出更大的波动范围。相比于EEGNet,该模型预测值不仅可以较好的匹配实际测量值，而且预测疲劳状态的错误个数更少，即测试准确率更高，达到8 0%。因此，该模型能够更加准确且稳定地识别驾驶员的疲劳状态。146表仪仪器报学第44卷1.0测量值0.9F-*-EEGNet-本文0.80.70.60.50.40.30.20.10151015202530次数图5实测性能比较Fig.5Comparison of performances in road test3.4学习模式可视化学习模式可视化分析就是探索模型学习到的不同被试间共享的脑电特征，并以此作为清醒和疲劳状态的分类指标。为了解释模型学习到的普遍神经生理模式，图6 和7 中展示了来自不同被试的一些代表性样本。根据2.5节式（7）和（8）分别可以计算累积热图和相对热图。如图6、7、8 所示累积热图和相对热图分别位于每个图左侧顶部和中间，脑电Oz通道的相对功率图位于左侧底部，图右侧则显示了所有通道的EEG信号样本（含Oz)25卜2/0.30.40.50.60.70.8250M25-1,0-0.500.51.00.50Delta ThetaAlpha Beta1100200300384频段/Hz时间/采样点(a)被试：10 标签：疲劳=0.91fatigue(a)Subject:10Label:fatigue=0.91fatigue2502500.40.60.7O25025-10-0.500.51.00.50DeltaThetaAlpha Beta1100200300384频段/Hz时间/采样点(b)被试：9 标签：疲劳P-0.94fatigue(b)Subject:9Label:fatigueP2ue-0.94fatigue图6模型对疲劳标签样本以高概率值正确分类的学习模式可视化Fig.61Visualization of learned patterns on selected samplesthat are correctly classified by the networkwith high likelihoods of the fatigue label通过对高概率预测疲劳标签样本的可视化分析，可以观察到有关频率成分的两种普遍生理模式。第1类样本通常包含在Alpha波段产生高功率的纺锤状结构，如图6（a）所示；第2 类样本在Delta和Theta频段占有较高比重，如图6(b)所示。从图6(a)所示样本的累积热图可以看出分类主要取决于信号的后半部分检测到的特征；从其相对热图及功率图可以看出信号在Alpha波段具有更高的振幅和相对功率,其特征表现为Alpha 频带内一个狭窄的频率峰值。该多通道脑电图则显示来自其他通道的脑电信号也出现了这种纺锤状结构。实际上，捕获到脑电信号中的这种微结构被称为“纺锤波”，已被证明为识别驾驶疲劳的强烈指标2 3。如图6(b)所示，从相对热图中可以看到模型捕捉到了Theta-Delta波段爆发,并作为疲劳状态识别的证据。事实上，这些位于Theta-Delta频段的脉冲,已被文献2 4 发现与嗜睡状态有很大关联。通过对高概率预测清醒标签样本的可视化分析，可以发现这类样本通常含有较高Beta波比重，如图7(a）所示；或有较高Delta波比重，如图7(b）所示。从图7（a）所示样本的相对热图发现模型已经将脑电信号中包含较高比重的高频波作为清醒状态的判断依据。这些高频波大多是由头皮肌电（electromyography，EM G）活动引起的，通常在清醒的脑电信号中占主导地位2 4-2 5。如图7（a）所示的累积热图，当信号逐渐输人到LSTM网络250/2500.40.50.60.70.80-25-0.500.501.00.50Delta Theta Alpha Beta1100200300384频段/Hz时间/采样点(a)被试：1标签：清醒P=0.90alen(a)Subject:1 Label:fatiguePalertler=0.901000/图M-1000.4 0.50.60.70.8100%0-1000-0.500.51.00.50Delta ThetaAlpha Beta1100200300384频段/Hz时间/采样点(b)被试：9 标签：清醒Plm=0.84图7模型对清醒标签样本以高概率值正确分类的学习模式可视化Fig.7Visualization of learned patterns on selected samplesthat are correctly classified by the network with highlikelihoods of the alert label147冯笑等：基于可解释深度学习的单通道脑电跨被试疲劳驾驶检测第5期时，分类概率值是稳步增加的，这说明了相对热图中高亮显示的局部区域对分类决策的贡献值也是逐渐递增的。从图7(b)所示的样本发现模型将较大幅度漂移的区域作为识别清醒状态的显著特征。由于Delta波被认为在深度睡眠阶段占主导地位，因此这些漂移特征和Delta波无关。从多通道脑电图观察到所有通道都出现大幅度信号漂移现象，这很可能是由传感器信号漂移或被试者运动引起的。最后，利用可视化技术分析一些分类错误的样本特征。如图8(a)所示的样本标签为疲劳状态，但被模型错误分类为清醒状态。该样本与图7（a）所示的情况相似，都含有较高比重的Beta波，而该典型特征被模型作为识别清醒状态的证据。正如前面所述，由肌电活动引起的高Beta波比重通常存在于被试者清醒时的脑电信号中，也没有出现明显的疲劳特征，如Alpha纺锤波或Theta-Delta波段爆发。如图8（b）所示样本标签为清醒状态，但被错误分类为疲劳状态。错误分类直接原因很可能是因为含有较高比重的Alpha波,被模型作为强烈的疲劳识别证据。根据上述分析，被试者2 分类准确率低的原因可能为缺乏明显的疲劳相关特征,这与模型学习到的群组统计数据存在偏差。而被试者7 测试准确率低的原因有可能是在采集样本期间，被试者正好从昏昏欲睡的状态及时警醒造成的。可视化的结果证明了模型对这两类样本的决策是合理的。25H01/图2-250.30.40.50.60.70.825025-1.0-0.500.51.00.50Delta Theta Alpha Beta1100200300384频段/Hz时间/采样点(a)被试：2 标签：疲劳Pm=0.79alert(a)Subject:2 Label:fatiguePlem=0.79alert50FA/0/500.30.40.50.60.70.850FA1/0州-501.0-0.500.51.00.5斤0Delta Theta Al