基于通道选择的多尺度Inception网络的脑电信号分类研究.pdf

现代电子技术Modern Electronics Technique2023年12月1日第46卷第23期Dec.2023Vol.46 No.230 引 言脑机接口（BrainComputer Interface,BCI）是一种通过分析神经元电信号，促进人脑与外部电子设备直接通信的技术1。BCI系统最初是为帮助患有身体或认知障碍的患者而开发的，现已在神经医学、智能家居、自动驾驶和娱乐等领域得到广泛应用2。BCI系统包括收集大脑信号、对其进行解码和控制外部设备（例如计算机、智能轮椅或假肢）三部分组件3。记录人脑活动意图的技术分为侵入式和非侵入式两种。侵入性技术需要植入微电极阵列，存在一定的风险4；非侵入性技术如脑电图（Electroencephalography,EEG）是 主 要 采 用 的 研 究 方基于通道选择的多尺度Inception网络的脑电信号分类研究刘 培，宋耀莲（昆明理工大学 信息工程与自动化学院，云南 昆明 650500）摘 要：基于运动想象脑电信号的脑机接口系统有可能在大脑和外部设备之间创建通信通道。然而，特征提取的局限性、通道选择的复杂性和被试者之间的可变性使得脑电信号分类模型难以有效泛化。在这项研究中，文中提出一种端到端的深度学习模型，该模型使用并行多尺度Inception卷积神经网络在6个通道选择区域中进行多分类运动想象任务。为了解决被试者间可变性，实验进行了跨被试和跨被试微调两种评估场景。在BCI竞赛IV 2a数据集上的实验和测试结果表明：ROI F达到了98.49%的最高分类精度，比最低准确率高17.26%；且跨被试微调场景分类性能优于被试内和跨被试场景，分类准确率分别提高了1.82%和1.69%。此外，并行多尺度Inception卷积神经网络模型的平均分类准确率比单尺度Inception CNN模型高5.17%。总之，文中提出一种基于通道选择的端到端的脑电信号分类框架，可以促进高性能和稳健的脑机接口系统的开发。关键词：运动想象；通道选择；Inception网络；脑机接口；跨被试微调；脑电信号中图分类号：TN91134；TP391.9 文献标识码：A 文章编号：1004373X（2023）23005907Research on EEG signal classification based on channel selection and multiscale Inception networkLIU Pei,SONG Yaolian(Faculty of Information Engineering and Automation,Kunming University of Science and Technology,Kunming 650500,China)Abstract：A brain computer interface(BCI)system based on motor imagery electroencephalography(MIEEG)has the potential to establish communication pathways between the brain and external devices.However,limitations in feature extraction,complexity of channel selection and variability among subjects make it challenging for EEG signal classification models to generalize effectively.In view of this,an end to end deep learning model that employs a parallel multi scale Inception convolutional neural network(MSICNN)in six channel selection regions of interest(ROIs)for multiclass MI classification.To mitigate subject variability,crosssubject and crosssubject finetuning evaluation scenarios are performed.Experimental results on the BCI competition IV 2a dataset demonstrate that ROI F achieves the highest classification accuracy of 98.49%,which is 17.26%higher than the lowest accuracy.Furthermore,the classification results of the cross subject fine tuning scenario outperform those of withinsubject and crosssubject scenarios by 1.82%and 1.69%,respectively.Additionally,the average classification accuracy of the parallel multiscale Inception CNN model is 5.17%higher than that of the onescale Inception CNN model.In summary,it is an endtoend EEG signal classification framework based on channel selection,which can facilitate the development of highperformance and robust BCI systems.Keywords：MI;channel selection;Inception network;BCI;crosssubject finetuning;EEGDOI：10.16652/j.issn.1004373x.2023.23.011引用格式：刘培，宋耀莲.基于通道选择的多尺度Inception网络的脑电信号分类研究J.现代电子技术，2023，46（23）：5965.收稿日期：20230406 修回日期：202305095959现代电子技术2023年第46卷法5，因为它具有非侵入性、易用性和相对较低的成本6。脑电图利用放置在头皮上的电极来测量产生足够高电场的神经元群的电活动7。运动想象（Motor Imagery,MI）信号是在用户想象执行身体运动时在感觉 运 动 皮 层 中 生 成 的，通 常 用 于 基 于 EEG 的 BCI系统8。由于各种因素影响，脑电信号表现出低信噪比，例如嘈杂的伪影、电极分离、由皮层作为体积导体的行为引起的信号失真，或来自其他生理信号的干扰9。为了解决这个问题，引入基于深度学习的神经网络模型，用于使用EEG信号进行MI分类10。这种方法产生了可靠的结果，超过了传统算法11。具体来说，卷积神经网络（Convolutional Neural Network,CNN）已被证明可以自动从EEG信号中提取重要的非线性特征信息12。此外，最新的研究开发了各种基于 CNN 的 EEG 信号分类模型，这些模型已被证明具有强大的分类性能13。在端到端架构领域，文献14研究结果证明了深度卷积网络的显著特征学习能力，尽管它们在训练期间需要大量参数。在随后的研究中，文献15提出了一种更简洁的卷积网络 EEGNet，它表现出较少的训练参数但仅适用于二元分类任务。此外，文献16引入了Inception模块，利用具有各种内核大小的卷积层来提取特征。此外，文献17引入了Xception网络，它采用深度可分离卷积来提高效率而不增加网络复杂性。多通道运动想象脑电信号会产生噪声干扰和冗余信息，通道选择可以降低噪声信号以获得更真实的信号。通道选择是脑电信号特征提取中必不可少的一环。因此，许多研究集中在通道选择算法对 MIEEG信号解码的影响上。在最新的研究中，文献18提出一种可学习的EEG通道选择算法，采用GumbelSoftmax技巧来构建通道选择过程中涉及的离散参数。文献19利用公共空间模式从数据中提取特征，并结合粒子群优化算法进行通道选择。文献20使用4种不同的EEG通道配置方法，其中包括3、7、18或全部64个电极。文献21提出了一种创新的通道选择方法，使用位于感觉运动皮层中心的对称通道对作为基于电极对信号的输入，这种通道配对方法也用于本实验的系统设计中。基 于 上 述 研 究，本 文 提 出 了 一 种 使 用 多 尺 度Inception 卷 积 神 经 网 络（Multi scale Inception Convolutional Neural Network,MSICNN）对运动想象脑电信号进行多分类的深度学习方法，主要贡献如下：1）MSICNN 从不同的卷积尺度中捕获可区分的特征，从而克服了从 MIEEG 信号中提取特征的局限性，能够准确地对训练数据进行预测。2）为了解决 EEG 信号差异性的问题，提出三种模型变体，用于被试内、跨被试和具有微调场景的跨被试场景。3）对比分析 6种 ROI（Region of Interest）的分类性能以确定最佳通道位置和通道组合，通过通道配对和端到端训练验证了所提出的方法在使用更少的训练样本的同时实现了高分类精度。1 研究方法1.1 通道选择在通道选择过程中，本文将 MIEEG数据的子集划分为对应于位于感觉运动皮层中的不同通道。这些EEG 通道提供了最突出的 MI功能，从而降低了设备成本、计算时间和系统复杂性。根据之前的研究，本文将包含来自原始数据集的 22个通道的区域分割为 6个感兴趣区域（ROI），如图1所示。图1 六种ROI的通道位置和数量训练集中的每个数据由一个大小为 7502 的矩阵60第23期组成，其中 2 对应一对对称通道，750 对应时间点（即2503，对应采样频率为 250 Hz，运动想象时间为 3 s）。此外，在本研究提出的 6 种通道选择方案中，每个 ROI数据由数据的每个对称通道对组成，在模型训练期间作为不同的输入馈送到MSICNN网络。另外，每个通道对都独立于其他通道对，并且可以单独输入到模型中进行训练。通道的命名源自它们的解剖学接近度：C（中央）、F（额叶）、P（顶叶）和 O（枕骨）。此外，FC、CP和 PO 电极构成 C、F、P 和 O 之间的中间位置。标记为 AF的 6个ROI名称对应于通道选择方案，其中每个字母描述了电极在头皮上的特定位置，用黑圈表示。1.2 并行多尺度Inception网络本文提出的并行多尺度 Inception网络的系统框架如图 2 所示。本文将原始数据并行输入到 Inception 模块中，将不同尺度提取的特征通过 Max pooling、Batch Normalization、Dropout、Flatten 和全连接层，然后将拼接后的数据输入Dense层进行分类。在目前的工作中，本文对具有不同卷积核大小的原始数据采用了 3个一维卷积矩阵来提取不同的空间特征图。本文使用 5个并行的多尺度 EEG Inception 模块（EEG Inception Block,EIB）。具体的卷积核大小如下：（aS=5,aM=10,aL=15）对 于 EIB a；（bS=40,bM=45,bL=50）对于 EIBb；（cS=60,cM=65,cL=70）对于EIB c；（dS=80,dM=85,dL=90）对 于 EIB d；（eS=160,eM=180,eL=200）对于 EIBe。所有 EIB的内核大小逐渐增加。以EIBa的结构为例，如图3所示。图2 提出的并行多尺度Inception网络图3 EIBa的结构本文使用一维 CNN 进行网络训练，因为模型输入的EEG数据表示一维时间序列信号。一维CNN计算复杂度低、可训练参数少、性能好。一维卷积核通过沿时间轴滑动获得脑电信号的时频信息和特征图。在一维CNN中，前向传播的数学原理如式（1）所示：Y i=j=0k-1()X i+j W j +b（1）式中：Y i表示卷积操作输出的第i个元素；X i+j 是输入信号的第i+j个元素；W j 是卷积核的第j个权重；k是卷积核的大小；b表示偏置项。激活函数f(x)使用ReLU函数，数学原理如式（2）所示：f(x)=max(0,x)（2）式中x输出是输入信号，当输入大于零时，它输出输入值，否则输出零。学习率的数学原理如公式（3）所示：wl-1ik(t+1)=wl-1ik(t)-Ewl-1ikblk(t+1)=blk(t)-Eblk（3）此外，本文提出的模型中使用了最大池化层，通过保留输入数据中的最大特征信息来降低网络复杂度和训练参数的数量。同时，为了获得更多的特征信息，本文使用 11的卷积核来增加模型的深度。为了防止模型过拟合，本文使用批量归一化算法。在MSICNN模型的最后，从Max pooling层提取的空间特征通过由前馈神经网络组成的全连接层传递，然后，它连接到 Softmax层以预测最终的多分类结果。所提出的MSICNN模型已经过微调，通过不断的实验调整提高MIBCI分类器的准确性。1.3 评估场景MSICNN的性能在三种不同的场景下进行评估，分别对应被试内、跨被试和跨被试微调来分析被试个体间的可变性。刘 培，等：基于通道选择的多尺度Inception网络的脑电信号分类研究61现代电子技术2023年第46卷1）被试内本文将 EEG 数据随机分为训练集、验证集和测试集。每个子数据集都使用最小最大归一化进行缩放，3个子集的大小比例设置为 8 1 1。在子数据集划分过程中，本文确保模型在使用训练集训练或使用验证集搜索超参数时不包含来自测试集的任何信息。2）跨被试对于跨被试实验，本文使用除测试被试之外的所有其他被试的训练集来学习网络参数。这种方法确保所提出的系统从未见过来自测试集的任何数据。同样，在这种情况下，本文为每个单独的被试获得了独特的网络参数。3）跨被试微调在最后一个场景中，本文使用该被试训练集的标记脑电图数据微调为第二个场景中的每个目标被试开发的系统参数。2 数据集及实验设置2.1 数据集本实验选取格拉茨工业大学提供的 BCI竞赛 IV数据集2a来训练和评估本文的研究。BCI IV 2a数据集是一个四类运动想象任务（左手、右手、脚和舌），记录了9名健康被试22个EEG通道采集的数据，采样频率为250 Hz，如图 4a）所示。该数据集包含每个被试在两个不同日期记录的两个会话。每个会话有6次run，每次run有48次trial（12次左手、12次右手、12次双脚和 12次舌头）。在每个会话中，每个 trial都在t=0 s时开始，此时固定交叉十字架出现和短喇叭发声；当t=2 s时，出现 1.25 s的箭头提示，提示被试进行相应的运动想象任务：左手、右手、双脚、舌；被试执行运动想象任务36 s，直到交叉十字架在t=6 s消失时停止运动想象任务。如图 4b）所示，每个被试在实验中执行3 s的运动想象任务。2.2 实验设置本 文 使 用 修 正 线 性 单 位（Rectified Linear Unit,ReLU），f(x)=max(0,x)作为激活函数获取正值的特征。相比于传统的激活函数，ReLU 函数克服了梯度消失的问题。模型训练后，本文应用 Softmax函数输出指数概率分布，并通过交叉熵损失函数进行优化。此外，利用 Adam 优化算法最小化分类交叉熵的损失并更新网络参数。该模型采用 Dropout技术，防止过拟合并加快训练速度。在模型训练过程中，batch size为64，每次训练200个epoch，模型的学习率为 0.000 1，Dropout为 0.5。训练和测试在 GPU 为 NVIDIA GeForce RTX 2060 的机器上进行。图4 实验数据集2.3 评价指标本文采用的评价指标主要有：损失、精度、召回率、F1 score、准确率和 Kappa 值。分类指标的计算公式如下：精确率计算公式如式（4）所示：精确率=TP()TP+FP（4）召回率计算公式如式（5）所示：召回率=TP()TP+FN（5）F1 score的计算公式如式（6）所示：F1 score=2 召回率 精确率召回率+精确率（6）分类准确率的计算公式如式（7）所示：准确率=TP+TNTP+TN+FP+FN（7）式中：TP表示预测为正样本，实际上也是正样本；FP表示预测为正样本，但实际上是负样本；TN表示预测是负样本，实际上也是负样本；FN 表示预测是负样本，但实际上是正样本。3 实验结果与分析3.1 基于被试内场景的MSICNN整体分类性能基于被试内场景的 MSICNN 整体分类性能对比结果如表 1所示。从实验结果来看，ROI F的预测结果明显好于其他 5个选区，对比指标都很高。ROI F的分类准 确 率为 98.49%，比分类准确率最低的 ROI A 高出62第23期17.26%。特别是，ROI F融合了运动想象过程中主要的位置和通道数，展现更多相关的输入属性，数据预测更准确。表1 基于被试内场景的MSICNN整体分类性能指标Loss精确率/%召回率/%F1 score/%准确率/%Kappa测试集训练集验证集ROI A1.5782.2981.2381.2981.230.751 55612 4411 555ROI B0.5293.9493.5293.5293.520.912 59220 7362 592ROI C0.7491.6290.9490.9990.940.881 55612 4411 555ROI D0.4695.1295.0895.5995.080.933 11124 8833 110ROI E0.3097.6097.5997.5997.590.974 14833 1774 147ROI F0.1198.4998.4998.4998.490.983 11124 8833 110此外，ROI B 在分类性能上比 ROI A 更有效。ROI B的分类精度为93.52%，比ROI A高12.29%。ROI D在分类性能上比 ROI A 更有效。ROI D 的分类精度为95.08%，比 ROI A高 13.85%。ROI F的分类精度比 ROI E高0.90%。结果表明，随着选择通道数的增加，分类准确率在提高，但选择所有通道时分类性能并不是最好的，如图5所示。图5 被试内场景下提出的6种通道组合分类性能比较图 6 显示了 6 种 ROI 模型的 ROC 曲线图。通过观察 6种 ROI模型的 ROC曲线的形状和 AUC值来评估分类性能，对比分析得到 ROI A 性能表现最差，ROI F 分类性能最好。图6 六种ROI模型的ROC曲线图图 7显示了 6种 ROI模型训练时的 Accuracy 曲线。对比曲线图可以得到ROI A模型出现了过拟合，模型泛化能力差，而ROI F模型泛化能力好，表现出卓越的分类性能。3.2 基于跨被试场景的MSICNN整体分类性能在跨被试场景下，9名被试者基于 6种 ROI模型的训练分类准确率和 Kappa值如表 2所示。ROI F模型的分类性能优于其他 ROI 模型。ROI F 的平均分类准确率为98.46%，平均Kappa值为0.98，达到最高水平。3.3 基于跨被试微调场景的MSICNN整体分类性能在跨被试微调场景下，9名被试者基于 6种 ROI模型的训练分类准确率和Kappa值如表3所示。由表3可知，ROI F 模型的分类性能优于其他 ROI模型。ROI F的平均分类准确率为99.48%，平均Kappa值为0.99，在6种ROI分类模型中达到最高水平。刘 培，等：基于通道选择的多尺度Inception网络的脑电信号分类研究63现代电子技术2023年第46卷表2 基于跨被试场景的MSICNN整体分类性能被试A01A02A03A04A05A06A07A08A09均值指标准确率/%Kappa准确率/%Kappa准确率/%Kappa准确率/%Kappa准确率/%Kappa准确率/%Kappa准确率/%Kappa准确率/%Kappa准确率/%Kappa准确率/%KappaROI A79.320.7276.640.6977.870.7182.860.7782.860.7778.810.7284.450.7979.540.7378.240.7180.070.73ROI B93.010.9094.970.9395.70.9495.750.9495.790.9493.970.9295.660.9494.970.9393.450.9194.810.93ROI C91.110.8890.090.8791.030.8889.80.8689.230.8691.680.8992.770.9091.830.8991.900.8991.050.88ROI D94.230.9293.630.9295.300.9493.960.9295.230.9494.140.9296.460.9594.100.9292.410.9094.380.93ROI E96.850.9697.880.9797.670.9798.130.9896.770.9696.990.9697.340.9796.090.9597.560.9797.250.96ROI F98.190.9898.340.9898.660.9898.300.9898.440.9898.340.9898.660.9898.230.9899.020.9998.460.98此外，本文比较了三种评估场景下（被试内、跨被试和跨被试微调）的分类性能，如图8所示，跨被试微调场景下的分类性能显著优越，跨被试微调场景下的平均分类精度与被试内和跨被试场景下的分类性能相比，分别改善了1.82%和1.69%。表3 基于跨被试微调场景的MSICNN整体分类性能被试A01A02A03A04A05A06A07A08A09均值指标准确率/%Kappa准确率/%Kappa准确率/%Kappa准确率/%Kappa准确率/%Kappa准确率/%Kappa准确率/%Kappa准确率/%Kappa准确率/%Kappa准确率/%KappaROI A80.550.7481.560.7577.870.7182.860.7782.860.7778.810.7284.450.7979.540.7378.240.7180.750.74ROI B97.740.9797.090.9697.400.9797.440.9797.090.9696.830.9697.870.9797.310.9697.870.9797.400.97ROI C92.990.9194.870.9394.220.9293.710.9291.40.8994.430.9393.850.9290.740.8895.080.9393.480.91ROI D95.550.9494.900.9395.150.9493.630.9294.970.9395.330.9494.970.9394.830.9395.480.9494.980.93ROI E99.210.9999.210.9999.210.9999.540.9999.320.9999.320.9999.460.9999.160.9999.240.9999.300.99ROI F99.390.9999.490.9999.350.9999.420.9999.530.9999.310.9999.640.9999.640.9999.530.9999.480.99图7 六种ROI模型训练时的Accuracy曲线64第23期图8 三种评估场景下的分类性能对比4 结 语本研究将脑电信号的通道区域根据通道位置和数量划分为6种组合，探讨通道选择对脑电信号的性能影响，得到最佳的通道选择区域；由于被试间存在生理差异性以及采集的 EEG信号天然地容易受到外部环境的影响，实验提出跨被试者和跨被试者微调两种实验场景，对比分析了两种性能效果，验证了跨被试微调场景下取得最佳分类性能结果；另外，实验设计一个端到端的多尺度Inception CNN模型，学习来自不同卷积尺度的EEG信号特征，模型的分类准确度和泛化能力达到了优越的水平。注：本文通讯作者为宋耀莲。参考文献1 ALSAEGH A,DAWWD S A,ABDULJABBAR J M.Deep learning for motor imagery EEGbased classification:A review J.Biomedical signal processing and control,2021,63:102172.2 ALTAHERI H,MUHAMMAD G,ALSULAIMAN M,et al.Deep learning techniques for classification of electroencephalogram(EEG)motor imagery(MI)signals:a review J.Neural computing and applications,2021,35:1468114722.3 KHADEMI Z,EBRAHIMI F,KORDY H M.A transfer learningbased CNN and LSTM hybrid deep learning model to classify motor imagery EEG signals J.Computers in biology and medicine,2022,143:105288.4 SHEN L,XIA Y,LI Y,et al.A multiscale Siamese convolutional neural network with crosschannel fusion for motor imagery decoding J.Journal of neuroscience methods,2022,367:109426.5 ANSARI A H,PILLAY K,DEREYMAEKER A,et al.A deep shared multiscale Inception network enables accurate neonatal quiet sleep detection with limited EEG channels J.IEEE journal of biomedical and health informatics,2022,26(3):10231033.6 YANG J,LIU L,YU H,et al.Multihierarchical fusion to capture the latent invariance for calibrationfree braincomputer interfaces J.Frontiers in neuroscience,2022,16:824471.7 QU W,WANG Z,HONG H,et al.A residual based attention model for EEG based sleep staging J.IEEE journal of biomedical and health informatics,2020,24(10):28332843.8 SANTAMARIA VAZQUEZ E,MARTINEZ CAGIGAL V,VAQUERIZOVILLAR F,et al.EEGInception:A novel deep convolutional neural network for assistive ERP based brain computer interfaces J.IEEE transactions on neural systems and rehabilitation engineering,2020,28(12):27732782.9 LOTTE F,BOUGRAIN L,CICHOCKI A,et al.A review of classification algorithms for EEGbased braincomputer interfaces:a 10 year update J.Journal of neural engineering,2018,15(3):031005.10 LI H,DING M,ZHANG R,et al.Motor imagery EEG classification algorithm based on CNNLSTM feature fusion network J.Biomedical signal processing and control,2022,72:103342.11 DAI G,ZHOU J,HUANG J,et al.HSCNN:a CNN with hybrid convolution scale for EEG motor imagery classification J.Journal of neural engineering,2020,17(1):016025.12 LEE H K,CHOI Y.A convolution neural networks scheme for classification of motor imagery EEG based on wavelet timefrequency image C/32nd International Conference on Information Networking(ICOIN).New York:IEEE,2018:906909.13 HA K W,JEONG J W.Motor imagery EEG classification using capsule networks J.Sensors,2019,19(13):2854.14 SCHIRRMEISTER R T,SPRINGENBERG J T,FIEDERER L D J,et al.Deep learning with convolutional neural networks for EEG decoding and visualization J.Human brain mapping,2017,38(11):53915420.15 LAWHERN V J,SOLON A J,WAYTOWICH N R,et al.EEGNet:a compact convolutional neural network for EEG based brain computer interfaces J.Journal of neural engineering,2018,15(5):1088.16 CHRISTIAN S,WEI L,YANGQING J,et al.Going deeper with convolutions C/IEEE Conference on Computer Vision and Pattern Recognition.New York:IEEE,2015:19.17 CHOLLET F.Xception:deep learning with depthwise separable convolutions C/2017 IEEE Conference on Computer Vision and Pattern Recognition.S.l.:s.n.,2017:18001807.18 STRYPSTEEN T,BERTRAND A.Endtoend learnable EEG channel selection for deep neural networks with Gumbelsoftmax J.Journal of neural engineering,2021,18(4):460469.19 IDOWU O P,ADELOPO O,ILESANMI A E,et al.Neuroevolutionary approach for optimal selection of EEG channels in motor imagery based BCI application J.Biomedical signal processing and control,2021,68:102621.20 LASHGARI E,OTT J,CONNELLY A,et al.An endtoend CNN with attentional mechanism applied to raw EEG in a BCI classification task J.Journal of neural engineering,2021,18(4):1088.21 LUN X,YU Z,CHEN T,et al.A simplified CNN classification method for MIEEG via the electrode pairs signals J.Frontiers in human neuroscience,2020,14:00338.作者简介：刘 培（1998），女，河南南阳人，硕士研究生，主要研究方向为运动想象脑电信号识别。宋耀莲（1977），女，河南新乡人，副教授，主要研究方向为深度学习在脑机接口技术的应用。刘 培，等：基于通道选择的多尺度Inception网络的脑电信号分类研究65