基于CNN-LSTM的脑电情感四分类研究.pdf

投稿网址:2023 年 第23 卷 第24 期2023,23(24):10437-08科 学 技 术 与 工 程Science Technology and EngineeringISSN 16711815CN 114688/T收稿日期:2022-11-12修订日期:2023-05-30基金项目:广东省自然科学基金(2016A030313706)第一作者:张英杰(1999),男,汉族,安徽宿州人,硕士研究生。研究方向:深度学习、脑电情感识别。E-mail:1329866424 。通信作者:谢云(1964),女,汉族,江西南昌人,博士,教授。研究方向:信息与通信技术、脑机接口技术。E-mail:xieyun 。引用格式:张英杰,谢云.基于 CNN-LSTM 的脑电情感四分类研究J.科学技术与工程,2023,23(24):10437-10444.Zhang Ying-jie,Xie Yun.Four classification of EEG emotion based on CNN-LSTMJ.Science Technology and Engineering,2023,23(24):10437-10444.基于 CNN-LSTM 的脑电情感四分类研究张英杰,谢云(广东工业大学自动化学院,广州 510000)摘 要 为深入研究脑电信号(electroencephalogram,EEG)时空特征之间的关联,解决因手动提取特征导致的脑电情感识别准确率较低问题。将卷积神经网络(convolutional neural network,CNN)和长短时记忆网络(long short-term memory,LSTM)相结合,构造出了 CNN-LSTM 模型。首先,提取了 5 个频段的 5 个不同特征:功率谱密度(PSD)、差分熵(DE)、差分不对称(DASM)、理性不对称(RASM)和差分熵差分(DCAU)。其次,将特征输入 CNN-LSTM 模型,在 DEAP 数据集中的效价和唤醒两种情感维度上展开四分类实验。最后,将堆栈自编密码器(SAE),卷积稀疏自编码器(CSAE),深度置信网络(depth confi-dence network,DBN)分别与 LSTM 组合,构造 SAE-LSTM,CSAE-LSTM,DBN-LSTM3 种混合模型同 CNN-LSTM 进行分类准确率比较。实验结果表明:DE 特征的分类识别效果在 5 种特征中占最优,和 频段上所有特征的识别准确率远高于其他频段,尤其是 频段。CNN-LSTM 模型获得了最高的平均分类准确率 92.48%,充分证明了 CNN-LSTM 模型的有效性。关键词 脑电信号(EEG);情感识别;卷积神经网络(CNN);长短时记忆网络(LSTM);混合神经网络;深度学习中图法分类号 TP391;文献标志码 AFour Classification of EEG Emotion Based on CNN-LSTMZHANG Ying-jie,XIE Yun(Automation College,Guangdong University of Technology,Guangzhou 510000,China)Abstract In order to deeply study the correlation between space-time features of electroencephalogram(EEG)signals and solvethe problem of low accuracy of EEG emotion recognition caused by manual feature extraction.The convolutional neural network(CNN)and long short-term memory(LSTM)were combined to construct a CNN-LSTM model.First,five different characteristics of five fre-quency bands were extracted:power spectral density(PSD),differential entropy(DE),differential asymmetry(DASM),rationalasymmetry(RASM)and differential caudality(DCAU).Secondly,the features were input into the CNN-LSTM model,and four clas-sification experiments were carried out on the two emotional dimensions of valence and arousal in the DEAP dataset.Finally,the stackself encryptor(SAE),convolutional sparse self encoder(CSAE),and depth confidence network(DBN)were combined with LSTMrespectively to construct three hybrid models SAE-LSTM,CSAE-LSTM,and DBN-LSTM for classification accuracy comparison withCNN-LSTM.The experimental results show that the classification and recognition effect of DE features is the best among the five fea-tures.The recognition accuracy of all features in and bands is much higher than that in other bands,especially in band.TheCNN-LSTM model achieves the highest average classification accuracy of 92.48%,which fully proves the effectiveness of the CNN-LSTM model.Keywords electroencephalogram(EEG);emotion recognition;convolutional neural network(CNN);long short-term memory(LSTM);hybrid neural network;deep learning 情感是人类知识,行为和交流的重要因素,它是一种神经冲动,推动生物体采取行动,促使自动反应行为,这种行为通过进化作为一种生存机制进行调整,以满足生存需要1。情感识别在情感计算领域具有相当高的研究价值。情感计算就是计算机能够自动识别人类情感并对其做出反应。情感分析和情感识别是情感计算的两大任务。情感分析较为简单,它将情感分为两组:积极和消极;情感识别比较细致,它以更具体的方式对情感进行分类,如快乐、兴奋等2。情感起源于中枢和外周神经系统,并由于神经元的同步执行而引起时间运动。它们由内部信号以及外部表情表达,如面部表情、言语、身体姿势、眨眼和皮肤反应。如果只有外部表情用于情感测量,可能会得到不正确的结果,投稿网址:因为在许多情况下,外部表情是可以控制的。这就是内部信号优先的原因,脑电信号(electroencephalo-gram,EEG)就是内部信号的一个示例。与其他生理信号相比,脑电信号来源于神经细胞的突出电位,其特性随着时间改变,与情感的关系更为密切。因此,越来越多的研究人员倾向于将脑电信号应用到情感识别研究当中。目前,研究人员大多采用传统的分类方法进行脑电信号情感识别,并根据经验手动提取特征。Abdel 等3采用递归特征性消除(recursive featureelimination,RFE)的方法,通过包装器筛选出最主要的特征,将情感分为控制、喜好、唤醒和愉悦四类,采用(support vector machine,SVM)和(lineardiscriminant analysis,LDA)两种算法,平均分类准确率为 78.49%和 75.30%。滕凯迪等4通过计算识别样本与最优分类超平面之间的空间距离,然后再和设定阈值相比较,采用 SVM 和(k-nearest neigh-bor,KNN)融合算法提高情感分类准确率,在 SEED数据集上,情感三分类的平均识别精度达到了88.84%。陈景霞等5将小波包分解算法和共空间模式结合,提取脑电信号的小波包能量熵作为情感特征,采用 SVM 对情感进行二分类,准确率达到86.2%。Al-Qazzaz 等6采用基于差分进化的通道选择算法(DEFS_Ch)以找到最合适的脑电通道,对厌恶、愤怒、焦虑、快乐、悲伤、惊讶、中立 7 种情绪状态分类,将线性判别分析 LDA 分类准确率提高到86.85%。孙颖等7通过混合功率谱熵和非线性全局特征,采用 SVM 分类算法对情感进行四分类,平均识别准确率可达 86.42%。张博等8采用基于熵的可分性判断,从时域和频域的角度进行特征选择,在(hidden markov model-support vector machine,HMM-SVM)模型上进行情感二分类,平均准确率为83.93%。贾小云等9提取脑电信号的时域和频域特征,将其组成时频域组合特征,在效价维度上采用(bagging tree,BT)分类器的平均识别精度为92.54%,在唤醒维度上采用 SVM 分类器的平均识别精度为 94.62%。可以看出,传统的分类方法对所提取的特征质量要求较高,此外,情感识别模型的识别精度依赖于研究的样本对象,主要体现在模型的泛化能力方面。所以,提升情感分类识别准确度的关键是设计自动获取特征和分类信息的模型。近年来,伴随计算机运行速度和算力的提高,深度学习算法发展迅猛,在生物医学工程领域的应用也越来越广泛10。研究发现,卷积神经网络能够自动提取脑电信号的空间特征,避免人工提取特征。Cimtay 等11没有使用任何手动提取特征的方法,利用卷积神经网络(convolutional neural network,CNN)在发现未知特征方面的优势,输入原始脑电数据,使用中值滤波器来消除情绪预测区间的错误检测。该方法在 SEED 数据集上,情感二分类和三分类的准确率分别为 86.56%和 78.34%,在 DEAP数据 集 上,效 价 唤 醒 二 分 类 的 平 均 准 确 率 为72.81%。Cao 等12采用主成分分析法(principalcomponent analysis,PCA)进行预处理,减小脑电信号的数据维度,通过 CNN 算法测试训练样本和测试样本 的 分 类 准 确 性,准 确 率 分 别 为 84.3%和81.2%。Zhong 等13提出了一种2D SE_CNN 算法,利用 SE 块对整个卷积神经网络进行积累,实现特征矫正。在他们的研究中,DEAP 数据集上效价准确率为66.23%,唤醒准确率为68.50%,而在 MAH-NOB-HCI 数据集上效价准确率为 70.25%,唤醒准确率为 73.27%。Li 等14采用快速傅里叶变换(fast fourier transform,FFT)和连续小波变换(con-tinuous wavelet transform,CWT)提取 DEAP 数据集上脑电信号特征,构造了两个不同的 CNN 模型,在效价、唤醒、喜好 3 种情感维度做分类实验,FFT 模型的平均测试准确率为78%,CWT 模型的平均测试准确率为 65%。长短时记忆网络可以自动学习并捕获脑电信号的时序相关性特征。Rahul 等15提出了一种使用非线性高阶统计和深度学习算法对情绪标记的脑电信号进行自动分类的方法,使用长短时记忆网络(long short-term memory,LSTM),通过对应于 DEAP数据集四标记情绪类的 10 倍交叉验证技术产生82.01%的平均分类准确率。Akash 等16通过统计方法从处理后的脑电信号中提取了 22 个特征值,将情感分为喜悦、愤怒、惊异、伤心和恐惧5 类,选择 LSTM作为分类器,平均识别准确率为 74.95%。Acharya等17提出了一种基于 LSTM 的四类负面情绪识别深度学习模型,在数据集 DEAP 和 SEED 上 10 倍交叉验证的分类准确率为88.42%和87.22%。虽然目前在脑电情感分类识别方面的研究取得了一些进展,但仍然存在以下问题:人工手动提取特征,步骤烦琐,特征质量不高;只考虑了空间域或时间域这一方面的特征,未考虑脑电信号时空特征之间的关联。基于上述问题,提出了 CNN-LSTM 脑电情感分类模型,将预处理好的脑电信号输入 CNN 自动提取其空间特征,将 CNN 的输出作为 LSTM 的输入提取其时间特征,通过全连接层和 SoftMax 层进行情感分类。采用两种深度学习算法混合的方式,设计并构建脑电情感分类模型,有利于进一步提高脑电信号情感识别的准确率和稳定性。83401科 学 技 术 与 工 程Science Technology and Engineering2023,23(24)投稿网址:1 脑电情感数据集与特征提取1.1 DEAP 数据集以及数据预处理采用 DEAP 数据集18中的 EEG 数据来验证所提出模型的情感分类有效性。该数据集是由日内瓦大学采集得到的多模态数据集,收集了 32 名参与者在实验期间观看 40 个 1 min 的音乐视频后产生的脑电信号和外部生理信号。参与者根据 Valence(效价)、Arousal(唤醒)、Liking(喜欢程度)、Domi-nance(主导程度)这 4 个方面对每个视频进行评分。评分标准为 1 9 的连续数值,1 代表情感反应程度最小,9 代表情感反应程度最大。生理信号的采样频率为 512 Hz,总共 40 个通道(32 个脑电通道,12个外围通道)。使用 DEAP 数据集中 32 位志愿者观看了 40 个音乐视频后记录的 32 通道脑电信号作为实验数据集。采集到的脑电数据使用 4.0 45.0 Hz 的带通滤波器进行滤波,并将采样率从之前的 512 Hz 下采样到 128 Hz,EOG 伪影也被移除,得到总时长 63 s的 EEG 信号。每个实验中的 EEG 信号按照被试,刺激源,脑电信号数据的格式,形成大小为 32 40 8 064(63 128 Hz)的矩阵。样本标签处理方面,根据效价阈值和唤醒阈值将标签数据分为 4 类:高效价高唤醒(HVHA)、高效价低唤醒(HVLA)、低效价高唤醒(LVHA)和低效价低唤醒(LVLA)。该分类中使用的阈值为 5。如果评分值大于 5,则将其归类为高,否则为低。经过预处理的数据按照 8 1 1 的比例划分训练集,验证集和测试集。1.2 脑电情感特征提取依据目前心理生理学研究结果显示,脑电信号在(1 4 Hz),(4 8 Hz),(8 13 Hz),(13 30 Hz)和(30 Hz 以上)这 5 个频段上同情感等心理活动有很深的联系19。通过 FFT 获取这 5 个频段的脑电信号,对每个频段的脑电信号提取功率谱密度(PSD)、差分熵(DE)、差分不对称(DASM)、理性不对称(RASM)和差分熵差分(DCAU)。其中,PSD 表示信号或者时间序列的功率能量和频率的关系,常用于连续的时序信号20;DE 用于测量连续随机变量的复杂性21,在一定频带内相当于固定长度 EEG 序列的对数 PSD;DASM 和 RASM表示 15 对半球不对称电极的 DE 特征之间的差异和比率;DCAU 表示前后脑区的 DE 特征的不对称差异,即差分熵差分22。表 1 为 5 个不同特征和电极组合。表 1 不同特征和电极组合Table 1 Different characteristics and electrode combinations特征数据大小功率谱密度(PSD)160(32 电极 5 频段)差分熵(DE)160(32 电极 5 频段)差分不对称(DASM)75(15 电极 5 频段)理性不对称(RASM)75(15 电极 5 频段)差分熵差分(DCAU)55(11 电极 5 频段)2 脑电情感分类模型的建立2.1 卷积神经网络卷积神经网络(convolution network,CNN)拥有多级网络结构,具有权值共享和局部连接两大特点,这使得网络的参数量减小,避免了过拟合现象产生,网络易于优化,具有良好的鲁棒性,计算速度快,因此 CNN 被广泛应用于模式识别、图像处理、自然语言处理等领域23。卷积神经网络包括一维、二维及三维卷积神经网络,一维卷积神经网络常用于处理时序数据;二维卷积神经网络常用于处理文本,图像等数据;三维卷积神经网络常用于处理医学图像,视频等数据24。CNN 的基本结构包括输入层、卷积层、池化层、全连接层及输出层。通常有多个水平卷积层和池化层,卷积层和池化层交迭连接,即“卷积层-池化层-卷积层-池化层”的形式。卷积层利用卷积运算得到数据的不同特征,池化层对数据进行降采样,减少计算量,一定程度上减少过拟合。2.2 长短时记忆网络在介绍长短时记忆网络(long short-term memo-ry,LSTM)之前,先简单了解一下循环神经网络。循环神经网络(recurrent neural network,RNN)由于其结构特性,能够处理像 EEG 这样的时序信号,广泛应用于(brain-computer interface,BCI)领域25。一个传统的 RNN 模型结构如图 1 所示。RNN 网络由输入层、隐藏层、输出层和循环层组成。其中循环层按时间线展开成多个节点,每个节点具有储存信息的能力,输入数据沿着时间维度传输信息。从图 1 中可以看出,RNN 网络关键的一点是 st的值不仅取决于 xt,还取决于 st-1。虽然 RNN 可以处理时序信息,但是在训练过程中 tanh 激活函数使得较远时刻的梯度值为 0,导致梯度消失和梯度爆炸现象的产生,即 RNN 网络无法学习长距离依赖。LSTM 是 RNN 的变形,具有处理长时间序列数据的能力26。LSTM 单元的结构如图 2所示,它由 3 个门控单元组成,分别为遗忘门,输入门和输出门,用于决定哪些信息被遗忘,哪些信息被记忆。934012023,23(24)张英杰,等:基于 CNN-LSTM 的脑电情感四分类研究投稿网址:LSTM 单元第一部分为遗忘门,决定哪些信息被舍弃,可表示为ft=(Wfht-1,xt+bf)(1)xt为输入层的输入;st为隐藏层的输出;ot为输出层的输出;w 为权重;X 为输入层的向量;U 为输入层到隐藏层的参数矩阵;S 为隐藏层的向量;V 为隐藏层到输出层的参数矩阵;O 为输出层的向量;W为循环层的向量图 1 传统 RNN 结构图Fig.1 Structure diagram of traditional RNNct-1为上一时刻存储单元信息;ct为当前时刻的存储单元信息;ht-1为上一时刻隐藏层输出信息;xt为当前时刻输入向量;ht为当前时刻隐藏层输出信息;为 sigmoid 函数;tanh 为激活函数;it、ot、ft分别为输入门、输出门和遗忘门;Ct为经过 tanh 函数的更替信息图 2 LSTM 单元结构图Fig.2 LSTM unit structure diagram式(1)中:ft为遗忘门,输出范围在0 1之间,0 表示拒绝接受所有信息,1 表示允许接受所有信息;bf为偏置向量;Wf为遗忘门对 xt的权重。LSTM 单元的第二部分为输入门,决定储存哪些信息,见式(2)式(4)。it=(Wiht-1,xt+bi)(2)Ct=tanh(Wcht-1,xt+bc)(3)ct=ftct-1+itCt(4)式中:Wi、Wc为不同门控机制对 xt的权重;bi、bc为偏置向量。LSTM 单元的第三部分为输出值,决定输出哪些信息,可表示为ot=(Woht-1,xt+bo)(5)式(5)中:Wo为不同门控机制对 xt的权重;bo为偏置向量。ht=ottanh(ct)(6)输入门、输出门、遗忘门使得 LSTM 单元能够存储、调用、更替长时间序列信息,最终输出结果由它们共同决定。2.3 混合深度神经网络的建立EEG 信号是一种时序信号,具有时空相关性和不稳定性的特点。CNN 能够有效获取 EEG 信号的空间特征,LSTM 可以提取 EEG 信号的时序相关性特征,基于此,设计一种基于 CNN-LSTM 的混合深度神经网络模型进行脑电信号情感四分类研究。首先将处理好的脑电信号输入 CNN,自动提取其空间特征;然后是将 CNN 的输出作为 LSTM 的输入,提取脑电信号的时间特征;最后,利用全连接层和SoftMax 层对情感脑电信号进行分类。模型结构如图 3 所示。CNN 部分,模型采用 4 个连续的 Conv1D 层提取每个样本数据的空间特征,每一个 Conv1D 都由卷积层,批量标准化层和最大池化层构成。Conv1D层的默认输入格式为batch_size,length,channel的三维数据,而预处理后的脑电信号是格式为data,Conv1D 由一维卷积层,批量标准化层和最大池化层构成;LSTM 为长短时记忆网络;Flatten 为压平操作;Dense+SoftMax为全连接层+分类层图 3 CNN-LSTM 混合神经网络模型Fig.3 CNN-LSTM hybrid neural network model04401科 学 技 术 与 工 程Science Technology and Engineering2023,23(24)投稿网址:feature的二维数据,因此要通过 reshape 函数进行扩维,将脑电信号数据改变成data,feature,1的形式。其中,batch_size 为批量大小,batch_size 设置为 256,length 为样本特征数,channel 为某种意义上的特征图。对于 batch_size 个样本而言,模型输入的脑电信号的频域特征维度为160,1,第 1 个Conv1D 层的卷积层拥有尺寸大小为 9 的卷积核,所以卷积核的维度为9,1,那么输入160,1经过9,1的卷积核卷积后得到的是152,1的一个向量,又因为有 1 024 个滤波器,则结果应该是横向拼接,维度是152,1 024,最终第 1 个卷积层的输出维度是256,152,1 024,经过第 1 层窗口大小为 2 2 的最大池化层后变为256,76,1 024。以此类推,第 2 个 Conv1D 层的卷积层拥有 512 个滤波器,尺寸大小为 9 的卷积核,所以第2 个 Conv1D 的卷积层输出维度是256,68,512,经过最大池化层后变为256,34,512。第 3 个Conv1D 层的卷积层拥有 256 个滤波器,尺寸大小为 3 的卷积核,所以第 3 个 Conv1D 的卷积层输出维度是256,32,256,经过最大池化层后变为256,16,256。第 4 个 Conv1D 的卷积层拥有128 个滤波器,尺寸大小为 3 的卷积核,所以第 4个卷积层的输出维度是256,14,128,经过最大池化层后变为256,7,128。LSTM 部分,采用双层的 LSTM 结构,用于提取脑电信号的时序特征。LSTM 的输入必须是形状为batch_size,time_steps,units 的三维数组,其中batch_size 为批量大小,time_steps 为时间步长,units为输入序列中的单元数。LSTM 通过输入门、遗忘门、输出门 3 个门控单元控制传输状态,下一个LSTM 层的输入都是上一个 LSTM 的输出的时间序列。这些门控单元由 4 个神经网络构成,每一个神经网络的输入是 t-1 时刻隐层输入 ht-1和 t 时刻的输入 xt组成。将 CNN 最后一层的输出作为 LSTM第一层的输入,输入张量维度为256,7,128,第一个 LSTM 拥有 256 个隐藏单元,ht-1、ct-1的维度是256,那么 LSTM 单元参数矩阵的维度是256+128,4 256。此时 t 时刻的输入 xt为256,128,由于会和 ht-1进行拼接得到输入矩阵256,128+256,输入矩阵会和参数矩阵256+128,4 256相乘,输出为256,4 256,也就是 LSTM 单元中每个神经网络的输出为256,256,所以第一个 LSTM层的输出维度是256,7,256。同理,第二个 LSTM层拥有 32 个隐藏单元,所以输出维度为256,7,32。Flatten 层对第二个 LSTM 层的输出进行“压平”操作,将数据从多维变成一维,然后再与全连接层连接。全连接层的主要计算方式,是把权重矩阵与输入向量相乘后再与偏置数相加,利用加权求和得到每个类型的分值。最后添加一个包含4 个神经元的 SoftMax 层,把每个类型的分值转换成概率。3 脑电情感分类实验结果与分析3.1 基于不同频段情感特征的分类结果为了研究不同频段情感特征对脑电情感分类的影响,选用所提出的 CNN-LSTM 模型作为分类器,对不同频段的 5 种情感特征的分类识别效果如表 2 所示。从表 2 可以看出,和 频段上所有特征的识别准确率远高于其他频段,尤其是 频段。研究表明,和 频段比其他频段包含更多的情感信息27,它们通常用于 EEG 研究,这与本文的研究结果一致。DE 特征的分类识别效果在 5 种特征中占最优。DE 特征能够有效区分脑电信号中的高低频信号,因此推测 DE 特征相比于传统的 PSD 特征更适合脑电情感分类识别。表 2 不同频段特征的平均识别准确率Table 2 Average recognition accuracy of features indifferent frequency bands频段平均识别准确率/%功率谱密度差分熵差分不对称理性不对称差分熵差分74.3675.8570.2069.3771.5675.5877.6172.7770.3072.4976.6678.5272.6172.0572.5890.0790.6877.9277.1475.6692.2692.8278.2778.5176.503.2 基于不同模型的分类结果采用 DE 特征,将堆栈自编码器(SAE)、卷积稀疏自编码器(CSAE)、深度置信网络(DBN)、卷积神经网络(CNN)分别和长短时记忆网络(LSTM)结合,构造出 SAE-LSTM、CSAE-LSTM、DBN-LSTM 和CNN-LSTM4 种混合神经网络模型,比较这 4 种模型在脑电情感分类实验中的识别性能。结果如图 4 所示,SAE-LSTM 模型是在简单的自编码器基础上增加 3 层隐含层,分类准确率较低,仅为 75.26%;CSAE-LSTM 模型在自编码器基础上采用卷积结构并添加稀疏性约束,分类准确率为 87.45%;DBN-LSTM 模型通过堆叠多层受限制玻尔兹曼机结合前馈反向传播算法,获得了 90.23%的分类准确率;CNN-LSTM 模 型 获 得 了 最 高 的 分 类 准 确 率92.48%,对情感分类有较好的效果。144012023,23(24)张英杰,等:基于 CNN-LSTM 的脑电情感四分类研究投稿网址:图 4 不同模型的平均分类准确率Fig.4 Average classification accuracy of different models3.3 CNN-LSTM 情感分类实验结果CNN-LSTM 混合深度神经网络模型在 DEAP数据集中的效价唤醒维度上做四分类实验,采用分类交叉熵作为损失函数。如图 5 所示,当模型训练 168 次时停止,此时 CNN-LSTM 模型在训练集上的准确率趋于 100%,损失值几乎为 0,模型训练效果达到最优。通过观察损失曲线,验证集的损失值随着训练集的下降而下降,最终基本趋于稳定,并未出现过拟合现象,证明网络优化程度较高。将混淆矩阵和分类报告作为分类模型的评价指标,对 CNN-LSTM 的分类效果进行评价。如图 6所示,混淆矩阵反映了预测准确的数据点和预测不准确的数据点。混淆矩阵每一列的样本总和表示预测为该类别的样本数,每一行的样本总和表示实际为该类别的样本数,对角线上的值表示预测为实例的样本。结果表明,CNN-LSTM 模型对 4 个分类类别具有较高的分类精度,其中 HVHA 分类效果最好。模型训练完成后生成分类报告,包含各项参数指标。如表 3 所示,精确度代表模型的正确预测为正,占总预测为正的比例;召回率代表模型正确预测为正的比例和实际为正的比例;F1分数为精确度和召回率的调和平均值;支持度是指原始的真实数据中属于该类的个数。其中 0、1、2、3 分别表示HVHA、HVLA、LVHA、LVLA 4 种类别标签。HVHA的精确度,召回率和 F1分数分别为 0.92、0.94、0.93;HVLA 的精确度,召回率和 F1分数分别为0.93、0.92、0.92;LVHA 的精确度,召回率和 F1分数分别为 0.93、0.91、0.92;LVLA 的精确度,召回率图 5 CNN-LSTM 准确率和损失曲线Fig.5 CNN-LSTM accuracy and loss curveHVHA 为高效价高唤醒;HVLA 为高效价低唤醒;LVHA 为低效价高唤醒;LVLA 为低效价低唤醒图 6 CNN-LSTM 模型混淆矩阵Fig.6 Confusion matrix of CNN-LSTM model和 F1分数分别为 0.91、0.92、0.91。结果表明,该方法在四分类实验的精确度和召回率均比较接近,F1分数较高,模型具有较好的鲁棒性和泛化能力。将本文方法同已有的研究方法做比较,比较结果如表 4 所示,文献3-4,6采用 SVM、LDA、KNN这类传统分类方法,文献12,15-16 采用 CNN、LSTM 这类深度学习方法。所提出的 CNN-LSTM 模型在进行情感脑电分类识别时的准确率相比传统分类方法而言,提高了约 14%,较现有的深度学习方法提高了约 10%,证明本文方法的可行性。24401科 学 技 术 与 工 程Science Technology and Engineering2023,23(24)投稿网址:表 3 模型分类报告Table 3 Model classification report标签精确度召回率F1分数支持度00.930.940.9321 40610.930.910.9213 10220.920.930.9214 63130.920.910.9213 325表 4 不同方法下的情感识别结果Table 4 Emotion recognition results underdifferent methods来源方法分类类别识别精度/%文献3SVM478.49文献4SVM-KNN388.84文献6LDA786.85文献12CNN281.20文献15LSTM482.01文献16LSTM574.95本文方法CNN-LSTM492.484 结论利用 CNN 在提取空间特征方面的优势和 LSTM在有效建模时间序列方面的特点,提出 CNN-LSTM模型。将预处理好的脑电信号输入 CNN 自动提取其空间特征,CNN 的输出作为 LSTM 的输入提取其时间特征,通过全连接层和 SoftMax 层进行情感分类。得出如下结论。(1)DE 特征比其他特征有更好的分类效果,和 频段上所有特征的识别准确率远高于其他频段,推测 和 频段比其他频段包含更多的情感信息。(2)将 CNN-LSTM 模型同其他混合模型做对比,实验结果表明,CNN-LSTM 模型在效价唤醒维度四分类的准确率达到 92.48%,高于其他模型。表明本文方法能够充分发挥 CNN 和 LSTM 混合的优势,学习脑电信号时空特征之间的关联,提高情感脑电分类识别准确率。参考文献1 Soheil R,Mohammad S.Cross-Corpus EEG based emotion recogni-tion C/2018 IEEE 28th International Workshop on MachineLearning for Signal Processing(MLSP).Aalborg:IEEE,2018:1-6.2 Xin G,Yinghua S,Jie X.Multimodal emotion recognition in deeplearning:a surveyC/2021 International Conference on Culture-oriented Science&Technology(ICCST).Beijin:IEEE,2021:77-82.3 Abdel A M,Alsawy A,Hefny H.EEG-based emotion recognitionusing a wrapper-based feature selection methodC/InternationalCon-ference on Advanced intelligent Systems and informatics.Cai-ro:AISI,2018:247-256.4 滕凯迪,赵倩,谭浩然,等.基于 SVM-KNN 算法的情绪脑电识别J.计算机系统应用,2022,31(2):298-304.Teng Kaidi,Zhao Qian,Tan Haoran,et al.Emotional EEG recog-nition based on SVM-KNN algorithmJ.Computer System Appli-cation,2022,31(2):298-304.5 陈景霞,郑茹,贾小云,等.共空间模式结合小波包分解的脑电情感分类J.计算机工程与应用,2019,55(1):149-153.Chen Jingxia,Zheng Ru,Jia Xiaoyun,et al.EEG emotion classifi-cation based on common space model combined with the waveletpacket decompositionJ.Computer Engineering and Application,2019,55(1):149-153.6 Al-Qazzaz N K,Sabir M K,Ail S,et al.Efficetive EEG channelsfor emotion identification over the brain regions using differentionalevolution algorithmC/2019 41st Annual International Confer-ence of the IEEE Engineering in Medicine&Biology Society(EMBC).Berlin:IEEE,2019:4703-4706.7 孙颖,马江河,张雪英.结合非线性全局特征和谱特征的脑电情感识别J.计算机工程与应用,2018,54(17):116-121.Sun Ying,Ma Jianghe,Zhang Xueying.EEG emotion recognitioncombining nonlinear global features and spectral featuresJ.Com-puter Engineering and Application,2018,54(17):116-121.8 张博,刘璐,杨立波,等.基于时域、频域脑电(EEG)特征情感分类研