QTFD与DenseNet相结合的运动想象分类方法.pdf

文章编号：1003-0530（2023）08-1443-12第 39 卷 第 8 期2023 年8 月信号处理Journal of Signal ProcessingVol.39 No.8Aug.2023QTFD与DenseNet相结合的运动想象分类方法金晶1，2 杨益雕1 孙浩1 王行愚1（1.华东理工大学能源化工过程智能制造教育部重点实验室，上海 200237；2.华东理工大学深圳研究院，广东深圳 518063）摘 要：运动想象脑机接口（Motor Imagery Brain Computer Interface，MI-BCI）技术近年来在医疗康复、娱乐等许多领域得到了广泛的运用。然而，如何处理非平稳的脑电信号（Electroencephalography，EEG），并从中提取可辨识的特征并分类仍然是主要难点之一。针对这个问题，本研究提出了一种基于二次型时频分布（Quadratic time-frequency distributions，QTFD）和密接型网络（DenseNet）的新型MI-EEG分类模型。具体地，我们首先使用QTFD初步提取MI任务相关的脑电时频特征，并构造得到EEG片段的高分辨率时频表示。常用的线性时频分析方法往往会忽略部分非线性信息，难以准确地描述MI信号的能量分布。与线性时频分析方法相比，QTFD方法以二次型变换的形式将信号从时域投影到时频域，能更好地描述信号的能量分布，其对时间和频率的变化具有不变性，能提供较为稳定准确的时频特征。随后，本研究采用了轻量级网络模型DenseNet对时频表示的浅层和深层特征进行逐级提取并整合。DenseNet可训练参数量较少，适用于数据量较少的MI-BCI应用，它在每层网络之间都建立了直接的连接，每一层网络都可以访问之前所有网络的特征图，从而得到更具有区分性的特征表示。最后，本研究在BCI竞赛IV数据集上进行了实验验证，将提出的分类模型与各先进对比算法进行了比较。结果表明，我们所提出的方法在使用脑电通道数更少的情况下，获得了更好的分类性能。关键词：脑机接口；脑电信号；运动想象；神经网络；时频变换中图分类号：R318 文献标识码：A DOI：10.16798/j.issn.1003-0530.2023.08.010引用格式：金晶，杨益雕，孙浩，等.QTFD与 DenseNet相结合的运动想象分类方法 J.信号处理，2023，39（8）：1443-1454.DOI：10.16798/j.issn.1003-0530.2023.08.010.Reference format：JIN Jing，YANG Yidiao，SUN Hao，et al.QTFD and DenseNet based motor imagery classification method J.Journal of Signal Processing，2023，39（8）：1443-1454.DOI:10.16798/j.issn.1003-0530.2023.08.010.QTFD and DenseNet Based Motor Imagery Classification MethodJIN Jing1，2 YANG Yidiao1 SUN Hao1 WANG Xingyu1（1.Key Laboratory of Smart Manufacturing in Energy Chemical Process，Ministry of Education，East China University of Science and Technology，Shanghai 200237，China；2.Shenzhen Research Institute of East China University of Science and Technology，Shenzhen，Guangdong 518063，China）Abstract:Motor imagery（MI）-based brain-computer interfaces（BCIs）have gained immense popularity in a wide range of fields，including medical rehabilitation and entertainment.However，effectively processing non-stationary Electroencephalography（EEG）signals and extracting recognizable features from them remain major obstacles.In this study，our primary objective was to address this challenge by employing Quadratic Time-Frequency Distribution（QTFD）as an initial step to 收稿日期：2023-05-06；修回日期：2023-06-02基金项目：国家自然科学基金项目（62176090）；科技创新2030重点项目2022ZD0208900；部分获得上海市科技重大专项2021SHZDZX项目资助；部分获得“111计划”B17017项目资助；国家地方科技发展引导基金项目（深圳市）（2021Szvup043）；江苏省科技计划2022年度专项资金项目BE2022064-1（重点研发计划、产业前瞻和关键核心技术）信号处理第 39 卷extract relevant EEG time-frequency features associated with MI tasks.By utilizing QTFD，we constructed high-resolution time-frequency representations of EEG fragments，enabling a more comprehensive analysis.Conventional linear time-frequency analysis methods often overlook nonlinear information and struggle to accurately depict the energy distribution of MI signals.In contrast，QTFD projects the signal from the time domain to the frequency domain using quadratic transformations，resulting in a more precise description of the signal s energy distribution.Moreover，QTFD exhibits invariance to changes in time and frequency，offering relatively stable and accurate time-frequency characteristics.To further enhance feature extraction，we adopted the lightweight DenseNet network model.This model progressively extracts and integrates shallow and deep features from the time-frequency representations.DenseNet，with its small number of trainable parameters，is particularly well-suited for MI-BCI applications with limited available data.A notable advantage of DenseNet is its direct interconnection between each layer of the network，allowing feature graphs from all preceding layers to be accessed.Consequently，this facilitates the generation of a more distinguishable feature representation.Finally，we conducted experimental validation on the BCI Competition IV dataset，comparing the performance of our proposed classification model with various state-of-the-art algorithms.The results conclusively demonstrate that our method achieves superior classification performance，even when utilizing a reduced number of EEG channels.These findings underscore the efficacy of our approach in effectively processing non-stationary EEG signals and extracting informative features for MI-BCI applications.Key words:brain-computer interface；electroencephalography；motor imagery；neural network；time-frequency transform1引言脑机接口（Brain Computer Interface，BCI）是一种将脑电信号转换为外部设备控制命令的新兴人机交互技术1，能够为用户与外界建立起沟通的桥梁，近年来受到了研究者们的广泛关注。BCI技术最早应用在康复医学领域，它能够帮助中风和瘫痪患者实现与外界环境的沟通交流，辅助行动不便的患者使用轮椅或假肢等2-3。此外，随着信号处理方法和脑科学的不断发展，BCI也逐渐延伸应用于其他领域，如机器人技术、教育、娱乐和军事等4-7。通过电极在头皮表面采集的脑电图信号（Electroencephalogram，EEG），具有时间分辨率高、无创性等优点，同时兼具设备成本低的特性，已经成为BCI系统中应用最为广泛的大脑活动记录方法8。根据不同的激活模式，EEG 可以分为慢皮层电位（Slow Cortical Potentials，SCP）9、事 件 相 关 电 位（Event-Related Potentials，ERP）10-11和感觉运动节律（Sensorimotor Rhythm，SMR）12-13等。其中，受到许多研究者关注的运动想象（Motor Imagery，MI）BCI主要使用了SMR信号。当人体执行肢体运动任务或想象肢体运动时，大脑皮层感觉运动区域的SMR将会增加或减少，出现局部事件相关同步（Event-Related Synchronization，ERS）或事件相关去同步（Event-Related Desynchronization，ERD）现 象，MI-BCI可以通过 ERD/ERS的不同 EEG模式来解码用户的运动意图14-15。与其他非侵入式BCI相比，例如 P300-BCI、稳态视觉诱发电位（Steady-State Visual Evoked Potential，SSVEP）BCI，MI-BCI不需要外部刺激来诱发EEG的电位活动，不需要额外的辅助硬件设备，因此对用户和研究者而言使用更为便捷，具有更广泛的应用前景16-18。然而，由于 EEG信号属于非平稳性信号，具有低信噪比的特性，其信号方差和均值随着时间不断变化，并且容易受到噪声和伪迹的干扰。因此，提高MI-BCI的分类性能是一个具有挑战性的问题19。MI分类任务的特征提取算法可以大致分为传统机器学习和深度学习两种。在传统机器学习方面，共空间模式（Common Spatial Pattern，CSP）算法应用最为广泛20，该算法通过计算特定频段的空间滤波器来提取该频段的EEG频域信息，但特定频段的选择过于依赖研究者个人经验，并且不同受试者和任务对应的最佳频段往往是不同的。因此，只包含了单一特定频段信息的传统CSP方法无法构建通用的分类模型21。为了缓解单一频段选择带来的影响，ANG等提出了滤波器组CSP（Filter-Bank CSP，FBCSP）22，FBCSP使用多个空间滤波器将EEG分解为多个子频带，使用CSP算法从多个子频带中提取出更多频域相关的信息。然而，FBCSP仍然非常依赖人类脑动力学等先验知识和经验，这也是其他传统机器学习方法所面临的问题，而仅仅依靠现有的经验知识很难兼顾实际应用中的场景，无法保障模1444第 8 期金晶 等：QTFD与DenseNet相结合的运动想象分类方法型的鲁棒性，导致最终的应用效果较差，MI信号的识别准确率较低23。近年来，深度学习方法获得了长足的发展，许多领域的前沿算法都逐渐转向了深度学习的研究。在MI-BCI中，深度学习方法将特征提取模型的参数和分类器的参数进行了整合优化，统筹改进了整个分类框架。与传统CSP方法相比，深度学习方法能够构建端到端的分类模型，能够获得更好的特征提取和分类性能，具有更好的鲁棒性。针对MI信号的特征提取和分类，研究者们提出了多种深度学习网络模型。其中，卷积神经网络（Convolutional Neural Network，CNN）在处理MI分类任务方面展现出了巨大的优势和潜力。CNN无须手动提取特征就可以直接从 EEG 信号时序列中学习 ERD/ERS 脑电模式，并从中提取层次结构24-25。例如，LAWHERN等人提出了一种 EEGNet 浅层 CNN 模型，它将原始EEG信号作为输入，将多个卷积滤波器以并行、串行的形式相结合，逐级提取信号的时间和空间特征，相比于传统机器学习方法获得了更优越的分类性能26。DAI等人提出了一种混合卷积尺度的CNN模型，采用了多个不同尺度的时间卷积核对EEG信号进行时域特征提取，并最终整合多尺度特征进行MI任务分类27。除了EEG时间序列外，EEG的二维表示也常作为CNN的输入来进行MI-BCI的分类任务，其中时频分布（Time-Frequency Distribution，TFD）的二维表示应用最为广泛，如频谱特征28-30 及其二维图像31-32 等。TFD包含了EEG的重要时频特征，常用的时频变换方法主要包括短时傅里叶变换（Short-Time Fourier Transform，STFT），小波变换（Wavelet Transform，WT）等。将EEG的时间序列转换为TFD的二维表示后，许多用于图像分类的深度学习模型也可以应用于BCI的解码过程中，扩宽了BCI的算法研究思路。但TFD与CNN相结合的MI-BCI识别框架的相关研究中，仍然存在以下问题：（1）STFT、WT等二维表示方法都是以线性时频联合函数来描述EEG频谱和能量密度与时间之间关系的，但能量是信号的二次型表示，是非线性的，所以这种线性的时频变换方法往往会忽略掉部分非线性信息33，难以准确地描述MI信号的能量分布。（2）现有的MI数据集规模较小，面对较深的网络模型或较多的训练参数时，存在训练数据量不足的问题，导致无法训练得到较好的分类模型。针对以上问题，本研究提出了一种基于非线性二次型时频分布（Quadratic Time-Frequency Distributions，QTFD）和 密 接 型 网 络（DenseNET）的轻量级MI分类模型。其中，QTFD使用二次型变换的方式将时域EEG信号投影到时频域，能更好地描述MI信号的能量分布，且时频分辨率较高，蕴含的时频信息更准确丰富。基于DenseNet的轻量级网络的训练参数较少，对训练数据量的需求较低，且能逐级提取信号的时频特征，并充分利用和整合浅层特征和深层特征，获得更好的特征提取效果和分类性能。实验结果表明，基于 QTFD 和DenseNet的MI分类模型相较于对比算法获得了更好的分类性能。2数据集与信号预处理2.1数据集描述本研究使用BCI竞赛的2a公开数据集进行MI识别模型的效果验证和结果讨论，该数据集包含了 9名被试者的 22通道 EEG信号和 3通道眼电信号。实验过程中，被试者被需要执行4种不同的运动想象任务，分别为想象左手、右手、舌头和脚的运动，每个类别的任务各执行144个trial，每个被试共计576个trial的运动想象任务，运动想象范式如图1所示。伴随着滴声，一个trail开始，屏幕上出现一个固定十字；2 s后指示运动想象任务类型的箭头（分别为上、下、左、右）出现并持续1.25 s，提示被试者开始进行相应的运动想象任务。被试者被要求持续执行运动想象任务3 s直到屏幕上的固定十字消失，随后开始静息态的休息。EEG信号的采样频率为250 Hz，经过0.5 Hz100 Hz的带通滤波，并使用50 Hz陷波滤波器消除原始EEG信号中的50 Hz电力线路噪声干扰。2.2数据预处理本研究的数据预处理过程主要包括三部分：通道选择、数据截取和带通滤波。首先，为了减少输0固定十字滴声提示运动想象12345静息678t/s图1运动想象范式计时方案Fig.1Timing scheme of the motor imagery paradigm1445信号处理第 39 卷入特征的维度，加快特征提取和分类的速度，本研究只保留了与 ERS/ERD 密切相关的 C3、CZ和 C4通道，去除了其他冗余脑电通道。同时，也降低了算法的实际应用成本，减少了实验准备时间，提高了被试的使用体验。除了执行MI任务期间的3 s EEG信号之外，本研究还截取了MI任务开始之前的0.5 s EEG数据。因为许多研究指出，MI任务开始之前的数据对MI分类任务也有一定帮助34。因此，截取每个trial 0.5，3 s的EEG数据进行后续的分析。最后，使用 830 Hz的五阶 Butterworth 带通滤波器获取感觉运动节律相关频段的EEG信号片段，主要包含alpha波（813 Hz）和beta波（1330 Hz）频段内的信号成分。2.3实验设置本研究的实验在配置有32GB RAM和AMD R7 3700X CPU的PC上进行，网络模型在Nvidia 2080Ti平台上进行训练和测试。采用 PyTorch 框架搭建CNN 模型，并在 MATLAB R2021a上对脑电数据进行预处理。对于每个被试，训练数据集、测试数据集和验证数据集按照8 1 1的比例进行划分，并采用了十折交叉验证方法求取平均分类准确率。3基于非线性二次型时频分布和密接型网络的轻量级MI分类模型3.1分类模型整体框架本文提出的基于非线性二次型时频分布和密接型网络的轻量级 MI分类模型结构如图 2 所示。首先，经 830 Hz 带通滤波的 EEG 信号通过 QTFD初步提取时频特征，构造得到其高分辨率的时频表示，并输入所提出的密接性网络进行进一步的特征提取和分类。在所提出的DenseNet中，输入的QTFD特征先经过一个初始卷积层，提取其浅层特征。初始卷积层包含了3个77的卷积核（其中stride=2，padding=3），对应着3个EEG通道，分别对3个通道的时频特征进行初步的特征提取。随后，特征被输入密接块进行进一步的特征提取，并使用过渡层进行降维，且该过程被重复三次。其中，每个过渡层输出的特征图数量均为输入的一半，每个密接块其内部特征图尺寸分别为：256，256、128，128、64，64，并在每个密接块内部特征图尺寸保持不变。在经过3个密接块和过渡层之后，网络训练提取得到的深度抽象特征被输入全连接层，最后使用softmax层进行分类。3.2二次型时频分析方法为捕捉EEG信号随时间变化的频谱成分，需要从时频域的角度出发对EEG信号进行分析。时频分析方法可以分为两大类：一种是线性时频分析，另一种是二次型时频分析。在时频分析过程中，信号的能量分布能揭示出信号许多重要的统计性质，对信号分析十分重要。线性时频分析方法以线性时频联合函数描述EEG频谱和能量密度随时间变化的情况，而能量是信号的非线性二次型表示，这就导致线性时频分析方法往往会忽略部分非线性信息，很难较好地阐明信号的能量分布。二次型时频分析，也称为双线性时频分析，是一种将信号从时域投影到时频域的二次型变换，具有时移和频移不变性，在时频分析领域受到广泛的关注和研究。研究表明，QTFD在时间和频率域上具有高分辨率，能更好地描述信号的能量分布，且Center lossFeature vectorsInitial convolution layerDense block Transaction layerInputH1Dense blocks and transaction layersQTFDbasedinput.ClassificationlossFully Connected Layer77Conv,stride=2,Padding=3H2H3BN,ReLu,11 Conv,BN,ReLu,22 pool,stride=2 图2本文所提出的分类模型示意图Fig.2Schematic illustration of the proposed classification model1446第 8 期金晶 等：QTFD与DenseNet相结合的运动想象分类方法其对时间和频率的变化具有不变性，能提供较为稳定准确的时频特征。因此，QTFD能够提供更高质量的 EEG 信号时频分布特征，具有提升 MI-BCI分类性能的潜力。QTFD 的构造主要由两部分组成：维纳分布（Wigner-Ville Distribution，WVD）和时频平滑核。对于时域EEG信号x(t)，可以用式（1）来表示其QTFD：Qa(t，f)=Wa(t，f)*t*f(t，f)（1）其中，Wa(t，f)代表WVD，*代表卷积操作，(t，f)代表时频平滑核。QTFD的构造需要Wa(t，f)和(t，f)在时域和频域各进行一次卷积操作。为了提高时频表示的分辨率，需要将时域信号x(t)转换为其解析形式ax（t）35：ax(t)=x(t)+jHT x(t)（2）式中，HT 代表希尔伯特变换36。解析信号ax(t)的WVD在正负频率分量之间不存在交叉项，所以在负频率处能量为零，不会造成信号的信息损失。为获得更高的时频分辨率，可以用式（3）求取瞬时频率fi(t)。fi(t)=12pid(t)dt（3）式中，(t)为ax(t)的相位。在求得解析信号和瞬时频率后，通过式（4）构造WVD：Wax(t，f)=-ax(t+2)a*x(t-2)e-j2pif（4）WVD是QTFD的一种基本分布，相比于该类的其他分布，WVD具有更多有利于信号分析的数学性质，能够提高信号时频表示的分辨率37。最后，将WVD在时频域上与时频平滑核进行卷积计算就能够得到EEG信号x(t)的QTFD表达。此外，时频平滑核的选择对于QTFD的表现也是非常重要的。研究表明，WVD中包含的交叉项可能会影响时频表示中部分信号成分32。针对此问题，本研究选择了一种指数时频平滑核（Exponential Time-Frequency Kernel）来降低交叉项对 QTFD性能的影响，并增强了所构造的时频表示的可解释性38，如式（5）所示。Z(t，f)=exp(-t2f22)（5）作为密接型网络的输入，QTFD的时频采样点数均设为512，每个通道的QTFD特征尺寸为（512，512）。最后，将3个通道的QTFD特征组合为（512，512，3）的张量，输入DenseNet模型进行进一步的特征提取和分类。图3是被试S3在进行左手运动想象时，经QTFD处理后C3通道的EEG信号的时频图。从图3（b）中可以看出，830 Hz频段外的EEG信号皆被滤除，只保留了与MI任务最相关的频段。此外，MI开始后的0.52.5 s期间，从图 3（a）的三维时频图中可以明显看出mu节律能量有显著的下降，并在运动想象结束后恢复，符合左手运动想象期间的右脑皮层感觉运动区的ERD脑电模式。这表明该被试在运动想象任务开始后进行了有效的想象任务，并产生了图3左手运动想象任务期间C3通道的时频图Fig.3Spectrogram of C3 channel during left hand motor imagery task1447信号处理第 39 卷相对应的EEG时频特征。3.3DenseNet模型DenseNet 是一种密接型 CNN。相比于传统CNN，DenseNet在每层网络之间都建立了直接的连接，每一层网络都可以访问之前所有网络的特征图，从而能够更充分地利用之前层的信息，获得更好的特征提取效果39。DenseNet的基本结构是由一系列的“密接块（Dense Blocks）”和“过渡层（Transition Layers）”组成的。在密接块中，每个网络层输出的特征图都会被传递到之后的所有网络。在过渡层中，使用11的卷积操作来减少特征图的大小，从而控制模型的参数数量和计算复杂度。如图4的上图所示，在密接块中，每个网络层以前馈的方式直接与其他网络层相连，改善了网络层之间的信息流。在数学模型中，即将第l层接收所有之前网络层的特征图x0，x1，xl-1作为输入：Xl=Hl(x0，x1，xl-1)（6）其中，Xl代表第l层的特征图，x0，x1，xl-1代表第0至l1层特征图的串联。Hl()是一个复合函数，由批归一化（Batch Normalization，BN）、线性整流函数（Rectified Linear Unit，ReLU）和一个 33 的卷积层（Convolution Layer，Conv）组成。BN将x0，x1，xl-1映射为方差为1、均值为0的特征图，有助于提高模型训练的速度和稳定性。ReLU函数如式（7）所示，将所有输入的负值置零并保持所有正值不变，为模型引入了非线性特征的表示。ReLU(x)=max(0，x)（7）如图4所示，在每个密接块生成特征图的过程中，特征图的尺寸不变，数量不断增加。为了详细阐述特征图数量变化过程，本研究引入了增长率k的概念，k为每个Hi函数新生成的特征图数量。例如，若Hl函数生成k个特征图，那么密接块的第l层的特征图数量fn为：fn=k0+k (l-1)（8）其中，k0是当前密接块输入特征图的数量。增长率k决定密集块中每个网络层Hi生成的特征图数目，决定每个网络层的新信息对全局状态的贡献量。尽管每个网络层生成的特征图数量是固定的，但是每个网络层的输入是逐渐递增的。因此，在33卷积层之前引入了11的卷积作为瓶颈层，通过对输入通道进行加权求和以减少输入特征图的数量，提高模型的计算效率。最终，密接块中每个层Hi的结构为 BN-ReLU-Conv（11）-BN-ReLU-Conv（33），如图 4的下图所示。密接块之间的层称为过渡层，由11卷积层和平均池化层（average pooling）组成。由于 DenseNet特殊的连接方式，密接块中的特征图会逐级递增，因此需要通过过渡层进行通道数的调整和特征图的压缩。每个过渡层的结构为BN-Conv（11）-Pooling（22），若某个密接块内的特征图大小为 2w，2h，则其下个密接块内的特征图大小则为 w，h。过渡层可以大大减少特征图的通道数，并在空间上对特InputH1Bottleneck layer,Kernel size(11),Stride=1,No paddingBatch Normal&Rectified LinearUnitConvolution layer,Kernel size(33),Stride=1,Zero padding=1Batch Normal&Rectified LinearUnitH2H3图4密接块的网络结构及其参数Fig.4The structure and parameters of dense blocks1448第 8 期金晶 等：QTFD与DenseNet相结合的运动想象分类方法征图进行下采样，从而显著地减少网络的参数量和计算量，提高模型的效率，并帮助后续的密接块更高效地进行特征学习。3.4损失函数本研究使用二进制交叉熵损失（Binary Cross-entropy Loss，BCE）来最小化输出标签和目标标签之间的分类误差，如式（9）所示。同时，我们引入了L2正则损失函数，L2正则损失函数在 CNN中的作用是对模型的权重进行惩罚，以防止过拟合问题。在CNN训练过程中，模型的权重会不断地被更新，当权重值过大时，模型会倾向于过度拟合，从而导致泛化能力不足，不能很好地处理新的数据。L2正则损失函数通过向损失函数中添加权重的平方和作为正则化项，使得在训练过程中，关注减低损失函数的同时，也要尽可能减小权重的大小。从而让模型在学习训练数据的同时，尽可能避免对训练数据的过度拟合。其表达式如式（10）所示。LossBCE=-1Nbatchi=1Nbatch(tilog(oi)+(1-ti)log(1-oi)（9）LossL2=22（10）其中ti和oi分别代表第i个训练样本的目标标签和输出标签，代表模型参数。此外，许多研究表明中心损失函数可以使得类间距离更小，同类样本更聚集，从而提高模型识别不同类特征的能力。因此，本研究提出的分类模型中也使用了中心损失函数。LossCenter=j=1Nbatchfk-mtk2（11）其中，fk代表第k个样本的特征向量，m代表迭代次数。代表中心向量，按照下式进行迭代：kj=i=1Nbatch(ti=j)fi-mj21+i=1Nbatch(ti=j)m+1j=mj-*mj（12）(ti=j)=0，ti j1，ti=j（13）其中，表示特征向量和中心向量的平均距离，是中心损失的学习率。最终，模型的总损失函数如式（14）所示：Loss=LossBCE+1LossL2+2LossCenter（14）其中，1，2为损失权重参数。3.5评价指标本研究采用了两种广泛应用于分类模型性能评估的评价指标，分别是准确率（Accuracy，Acc）和Cohen的Kappa系数。Acc指分类器正确分类的样本数占样本总数的比例，Kappa系数也叫假设性的随机一致性概率，用于衡量分类任务的一致性。其数学表达式如（15）式所示，pe代表随机预测的Acc。K=Acc-pe1-pe（15）此外，在时频分析中，由于各种算法都有其特定的参数和计算方式，会得到不同的时频分析结果，为了对比不同时频分析方法的性能优劣，且对于MI任务，alpha波（813 Hz）和beta波（1330 Hz）频段的信号能量分布尤为重要，因此本文引入了频率聚集度（Concentration）Cf指标。频率聚集度是一种广泛应用于描述信号在时频域上的局部频率集中程度的评价指标40-41。时频分析方法本质上揭示了信号在某一时间点、某一频率下的能量聚集度，聚集度越高代表其对信号的能量分布的描述越清晰，频谱泄漏也越少。不同频率下的能量聚集度时频表示在频率f上的聚集度可以用式（16）来计算。Cf(f)=k=1T|TFR(k，f)|2（16）其中，TFR表示经时频分析处理后的时频表示，T为时间采样点数。为了方便不同方法之间进行对比，使用了z-score方法进行正则化处理。4实验结果4.1基于QTFD的时频表示特征及聚集度对比为了检验QTFD方法生成的时频表示特征的质量，验证其是否符合运动想象期间的EEG模式，本文随机选择了BCI竞赛2a数据集中被试4在进行左右手MI任务期间的EEG信号，将其通过QTFD方法构造得到的时频特征矩阵绘制成了时频图，以直观地展现其频谱能量随时间变化的特征。如图5（a）所示，在进行左手MI任务期间，位于大脑皮层左侧感觉运动区的C3通道的脑电信号在0 s即实验范式发出运动想象指示后，mu节律出现了明显的能量降低，一直持续到2.5 s左右才恢复，符合ERD的特征模式。对于位于大脑皮层右侧的C4通道，MI任务期间EEG信号的mu节律和beta节律一直维持了较高的能量，属于显著的ERS现象。1449信号处理第 39 卷这表明，被试在收到指令后马上开始了有效的运动想象任务，并在2.5 s左右结束。同理，从与之相对应的图 5（b）中也可以发现C3、C4通道的脑电信号有明显的ERS/ERD现象。与图5（a）不同的是，该被试在这次运动想象任务中，直到任务提示开始后的1.5 s左右才进行了有效的运动想象，对应的ERD现象也产生得较晚。由此可见，MI-BCI范式容易受到被试者的个人状况和环境因素影响，其特征出现的时间、幅值均存在个体差异。因此，在特征提取过程中，其浅层的纹理、幅值特征，深层的抽象特征对于MI-BCI的分类都是不可或缺的，而DenseNet正可以很好地处理这个问题。对于Cz通道，由于其处于大脑皮层的中央脑回区域，也是C3，C4通道之间，其时频图表现出的特征也处于两者之间，但明显更接近产生ERD现象的侧脑区特征模式，能帮助分类器加强 ERD 特征的识别，对于MI-BCI分类任务也有一定的帮助。综上所述，实验表明通过QTFD得到的时频表示特征包含了大量与MI任务相关的时频信息，证实了其特征的有效性。相比于其他线性时频分析方法，QTFD构造的时频表示的时频分辨率高（本研究时频采样率均设为512），蕴含更丰富的时频信息，能更好地描述信号的能量分布。此外，为了对比不同时频表示方法的EEG时频特征提取能力，本文对比了被试在进行左手MI期间C3、C4通道EEG的频率聚集度。除了本文使用的QTFD方法，选择了两种经典线性时频分析方法 STFT和 WT进行对比，结果如图 6所示。从图中可以看出，QTFD的聚集度峰值在各频段显著高于其他两种对比方法。综合C3、C4通道来看，更高的频率聚集度差异能发现更显著的频率变化模式，使得ERD和ERS的特征模式更明显地表现在时频表征上。结果显示，相比于传统线性时频表示方法，QTFD能更好地提取MI-EEG的时频特征。4.2分类性能及对比结果为了验证本文所提出的方法的分类性能，本文与几种先进算法在BCI竞赛2a数据集上进行了对比。对比算法包括了三种机器学习算法FBCSP22，TS-Log42，NHSP43 和一种CNN脑电分类算法EEGNet26，各算法的 Acc 和 Kappa 值对比结果如表 1所示。结果显示，本文方法取得了最高的平均准确率72.39%和最高的Kappa值0.632并在6个被试（S1，S2，S5，S7，S8，S9）中都得到了最高的Acc和Kappa图5左手运动想象期间基于QTFD的EEG时频表示Fig.5The time-frequency representations from EEG segments by QTFD during left hand MI task1450第 8 期金晶 等：QTFD与DenseNet相结合的运动想象分类方法值。4个对比算法均采用了22个通道的全脑电数据，而本文方法仅选择了3个与运动想象任务最相关的脑电通道。在3个EEG通道的情况下，本文方法仍获得了最佳的分类性能。其中，传统机器学习算法 FBCSP、TS-Log以及 NHSP分别获得了 0.677、0.659、0.599 的分类准确率，CNN 脑电分类算法EEGNet获得了0.655的分类准确率，对比4个对比算法，本方法分别提高了 11.1%，16.0%，20.9%，10.59%。经过显著性检验，p 值分别为 0.0183、0.0405、0