基于残差注意力神经网络模型的癫痫脑电信号分类.pdf

第 卷 第 期 年 月北京生物医学工程 基于残差注意力神经网络模型的癫痫脑电信号分类刘敏 张魁星 李丽萍 徐娟娟 李翔，魏本征，摘 要 目的 针对癫痫脑电信号特征提取过程复杂、信息提取不充分及分类精度较低等问题，本文提出一种基于残差注意力神经网络模型（，）用于实现癫痫脑电信号的自动分类。方法 首先对脑电信号进行去噪和分段处理，使网络更有效提取细节特征；然后根据脑电信号在时频域幅值特点，将信号转换为二维时频图像作为模型输入；最后借鉴残差网络思想，在每个残差块中融合注意力机制，构建分类模型，在临床数据集上做验证。结果 该方法分类准确率为 ，精确率为 ，可实现癫痫发作、间期和正常状态的脑电信号三分类。结论 基于 的癫痫脑电信号分类方法将脑电信号转化为二维图像，降低了方法复杂度；融合注意力机制增强了网络的有效信息提取能力，可为癫痫临床辅助诊断提供一种新的分析思路和处理方法。关键词 癫痫；脑电信号；时频分析；注意力机制；残差网络：中图分类号 文献标志码 文章编号（）本文著录格式 刘敏，张魁星，李丽萍，等 基于残差注意力神经网络模型的癫痫脑电信号分类北京生物医学工程，（）：，（）：，；，；，；，：（：）【】，（），【】；（）；基金项目：国家自然科学基金（）、山东省自然科学基金项目（）、山东省研究生教育优质课程建设项目（）资助作者单位：山东中医药大学智能与信息工程学院（济南）山东大学附属山东省千佛山医院睡眠医学中心（济南）山东中医药大学医学人工智能研究中心（山东青岛）山东中医药大学青岛中医药科学院（山东青岛）通信作者：张魁星。：引言癫痫是最常见神经系统疾病之一，通常由大脑神经元突然异常放电引起。世界卫生组织报告表明，全世界约 万人患有癫痫。癫痫的典型特征是反复发作及无意识的身体抽搐等，若长期得不到有效控制，会诱发抑郁症、心血管病变或其他疾病，严重影响患者正常生活。脑电图（，）是一种广泛应用于脑电活动测量和癫痫诊断的无创技术，但癫痫患者脑电波形众多且变换复杂，目前主要依赖检查者主观判断，效率低下。因此，探索一种癫痫状态智能识别方法，辅助临床诊断，提高效率，对于控制患者病情发展具有重要意义。近年来，随着人工智能的发展，众多学者提出了多种基于深度学习的癫痫脑电分析识别方法。等利用小波变换对脑电信号棘波、尖波等进行重构，使用最大相关性和最小冗余找出最优特征 集 作 为 卷 积 神 经 网 络（，）的输入，从而识别癫痫发作前的 信号。熊馨等将脑电信号样本熵、小波包能量和去趋势波动特征用于睡眠分期模型。汤云琪等采用小波变换提取脑电信号中的不同能量特征输入长短时记忆网络（，），实现对发作前和发作期的脑电信号分类，准确率为 。脑电信号为非平稳信号，单一时域或频域分析不能完全反映其特征。上述方法在一定程度上实现了脑电信号自动识别，但特征提取方法比较复杂。提取特征为时域或频域的某些特征，信息提取不够充分。等将癫痫发作前和发作期脑电信号转化成时频图像，用构建的神经网络进行分类，准确率为。杨涌等利用多尺度小波变换将脑电信号转换成二维图像，采用 和 结合的网络结构，对癫痫发作和正常两种状态识别准确率为 。有研究表明在 中加入注意力机制可以使网络更有效提取细节特征，仝航等将多头注意力机制与双向 融合，对发作间期和发作期的信号分类准确度为。残 差 网 络（，）可有效抑制梯度消失或爆炸问题，孙红帅等将信号进行时频图像转换，然后设计了一种频域注意力机制，融合残差网络对时频图像进行分类，算法对正常和发作状态的分类精度为 。上述研究采用频谱图作为 的输入，使信息提取更加充分，且部分学者在已有研究基础上融合注意力机制，有效提高了准确率。以上研究仅针对癫痫两种状态进行了识别验证，等先采用格拉姆求和角场技术将脑电信号成二维图像，利用 进行自动特征提取和分类任务，其中正常、癫痫间期和发作三种状态识别准确率达到 。等将连续小波变换应用于 信号，得到二维频率时间尺度图，然后利用 学习这些图像的特征并进行分类，三分类准确率为。他们对癫痫三种状态进行了分类识别，取得一定的成果，但准确率仍有待提高。针对以上研究存在的问题，本文提出一种基于残差注意力神经网络模型（，）的癫痫脑电信号自动分类方法。首先，为更好提取脑电细节信息，对脑电信号进行去噪和分段处理。将分段后信号直接转换为二维时频图像，进行时频分析，更好地突出其特征，降北京生物医学工程 第 卷低方法复杂度。最后，构建了一种新的网络，借鉴残差网络思想在残差块中融合，同时关注空间和通道两方面的注意力机制，既能保存残差网络性能，又能有效提取脑电数据关键特征。通过临床数据和公开数据验证，本文提出的方法具有良好的泛化能力，能有效识别癫痫三种状态。可以帮助医生提高诊断效率，根据患者病情及时制定合适治疗方案，减轻患者痛苦。方法基于 的癫痫脑电信号分类模型主要包括信号预处理和信号自动分类两个模块，其中预处理模块包括去噪、分段和时频分析三部分。数据研究数据来源于山东省千佛山医院睡眠医学中心 名志愿者的脑电数据，由国际标准 电极记录，采样频率为 。数据由具有丰富临床经验的医生剪切并标记，根据医生的标注信息，将脑电信号按每段 剪切下来分为 组，即发作状态信号、发作间期信号、正常状态信号，三种状态的 通道信号如图 所示。数据预处理 去噪及分段癫痫放电频率大多在 以下，本文使用通带范围为 的 阶零相位巴特沃斯滤波器对 信号进行去噪处理，该滤波器具有平稳的幅频特性，能够有效去除 信号采集过程中的噪声干扰。为有效提取信号的细节信息，以 不重叠的时间窗对各时期 信号进行分段截取扩充数据。整体过程如图 所示。时频分析短时傅里叶变换（，）是一种应用广泛且有效的时频分析方法。将脑电信号进行 处理后，可得到时频图像，既可保留信号中的时频信息，又方便进行图像转换和特征提取。可定义为：（，）（）（）（）式中：为时间；（）为源信号；（）是窗函数；为频率。由于癫痫 信号是非周期且不平稳的时间序列，直接对信号截断会产生频谱泄漏从而失去许多有用信息，为解决上述问题，本文窗函数选择图 数据 汉明窗，其幅频特性为房瓣较小，衰减较慢，使信号在时间轴上更容易分割。窗口长度设置为，为增加获取信息丰富度，以重叠 的方法滑动窗口，采用 点快速傅里叶变换。时频图像由图 所示：纵轴从上到下为频率从小到大，颜色代表脑电信号在该时段该频率的幅值大小，颜色越亮表明幅值越大。最终得到 组时频图像作为本文数据集，其中癫痫发作状态 张、发作间期 张、正常状态 张。将数据集按 的比例划分为训练集、测试集和验证集。分类传统 在信息传递过程中会出现网络梯度第 期 刘敏，等：基于残差注意力神经网络模型的癫痫脑电信号分类图 去噪及分段 图 信号时频图 消失或爆炸现象，无法训练深层次网络。因此，研究采用 为基础网络，由多个残差模块堆叠而成，并且在残差块中使用了跳连接技术，通过跳过某些层将一层的输出添加到下一层的输入中，训练过程更加有效。注意力机制 信号时频图，具有时域和频域两方面特征，因此采用一种轻量级注意力机制（，），包含通道和空间两个模块，计算注意互补。结构如图（）所示，其中表示元素相乘。通道注意力模块如图（）所示，对于脑电数据，首先对输入特征 进行平均池化和最大池化操作，生成特征信息 和，然后输入共享网络生成通 道 注 意 图，共 享 网 络 由 多 层 感 知 器（，）和一个隐含层组成。然后用 函数激活。其计算可表示为：（）（）（）（）（）（）式中：表示 函数；和 为平均池化和最大池化操作；和 为 的两个输入共享的权重。空间注意力模块如图（）所示，首先，对输入 应用平均池化和最大池化操作，生成两个特征映射 和。再用一个卷积层连接生成空间注意图。其原理可表示为：（）（）；（）（；）（）式中：表示 函数，；代表所用的卷积层，其卷积核大小为。网络构建考虑到数据量较少问题，为预防过拟合，研究以 为基础框架，在残差块中引入，提出北京生物医学工程 第 卷图 一种对癫痫脑电信号分类的残差注意力神经网络。图（）为构建的注意力残差结构，以先通道后空间的串行方式将注意力机制接入每个残差块的批标准化（，）层后。注意力机制本质是一种资源分配机制，根据注意对象的重要程度重新分配资源，其检测残差块卷积输出特征的重要性并进行加权，对关键特征会分配较多权重，不必要的特征分配较少权重。模型共堆叠 个注意力残差块，平均分为 部分。整体结构如图（）所示，保留残差网络结构，使模型性能保持稳定。在 个残差块中接入空间和通道注意力模块，增强网络对通道和空间关联性的关注，更有效提取图像中的细节特征，从而提高网络的识别能力。其训练过程为：脑电时频图像作为模型输入，首先经过一层 卷积进行初步特征提取，然后通过 层加快网络收敛速度并防止过拟合，使用 激活函数增强模型表达能力，最后经过最大池化操作后得到的特征作为注意力残差块的输入。对于注意力残差块，输入特征先经过 层 卷积和 层，通过 函数激活，然后经过 层 卷积和 层得到特征图，使其通过 模块，得到两个注意力特征图以进行元素相乘，再与恒等映射相加得到最终特征，输入下一个注意力残差块。模型通过 个结构相同的注意力残差块对输入进行特征提取，将输出的特征数据通过平均池化操作和全连接层输出最终识别结果。图 模型框架 第 期 刘敏，等：基于残差注意力神经网络模型的癫痫脑电信号分类 结果与分析 实验环境设置本文算法采用 深度框架编写，在（）（）和 实验平台进行训练。分类结果为使网络可以学习足够多的特征，对生成的时频图像进行了数据增强，使用中心裁剪方法将图片尺寸大小裁剪为，剪去非频谱部分，然后经过旋转、翻转、归一化等一系列处理。选 择 连 续 小 波 变 换（，）与 方法作对比，基函数采用 小波。为证明所用注意力机制的优越性，选取 作对比，将 融入残差块，位置与 相同。此外，分别使用两种时频图像在其他分类模型上进行对比实验，实验结果见表，选择准确率（）、召回率（）、精确率（）及 为评价指标。本文提出的方法准确率最高，为 ，比未融合注意力机制高 ，比融合 高 。由结果可得：首先，对于时频分析方法，在不同分类模型上均具有较高优势；其次，在两种时频图像分类上分别都得到最高准确率。表 不同方法分类结果（单位：）（：）方法准确率召回率精确率 为验证模型的泛化性能，在波恩大学数据集上进行测试。其包含 个子集，、为健康人数据，、为癫痫患者间期数据，为发作期数据。选取、三组数据，以相同方法进行预处理，然后利用不同分类模型进行验证，结果如表 所示，在波恩数据集上三分类准确率达到了，比原 网络提升了 ，证明具有较好的泛化性能。表 波恩数据集分类结果（单位：）（：）模型准确率召回率精确率 结果分析通过实验结果表明，时频分析方法 较 具有显著优势。提出的分类模型 与其他模型对比，识别准确率更高，具有一定优越性。网络融合注意力机制，分类结果有提升，证明加入的注意力机制可以提高网络性能。在波恩大学数据集上进行实验验证，取得最高准确率，表明模型在不同脑电数据集分类任务上有较强的泛化能力。结论将深度学习与脑电图结合用于对癫痫疾病的研究是近年来研究的热点问题之一。本文提出的基于 的癫痫脑电信号分类方法克服了在特征提取时存在的提取过程复杂、信息提取不充分的问题。将脑电时频图像作为模型的输入，使得特征提取更全面，并且降低了算法复杂度。参考残差网络思想，将通道和空间注意力模块融入到残差块中，使网络更加关注通道和空间上的关联性，提高了分类准确率。同时，为证明提出模型的泛化能力，也在波恩大学脑电数据集上做了验证，取得了良好的效果。本研究提出的方法可以帮助医生提高诊断效率，降低误判率；可以有效识别癫痫状态，辅助医生制定更北京生物医学工程 第 卷加有效的治疗方案来控制患者病情，一定程度上减轻患者痛苦，提高患者生活质量。未来的工作将集中在模型的结构优化及深层特征的提取上，继续扩充数据集，以进一步提高癫痫状态识别的准确率。参考文献 徐晴，葛成，蔡标，等基于深度学习的癫痫脑电信号分类数据采集与处理，（）：，（）：，（）：，（）：贺光硕，卢国梁，尚伟基于多频段图模型的微弱脑电信号异常检测科学技术与工程，（）：，（）：，：韩长明，彭福来，陈财，等基于脑电信号的癫痫发作预测研究进展生物医学工程学杂志，（）：，（）：，（）：，（），：，：熊馨，罗剑花，王春武，等基于多特征融合的睡眠分期北京生物医学工程，（）：，（）：汤云琪，郭滨，李可欣基于改进的 癫痫预测算法研究长春理工大学学报（自然科学版），（）：，（），（）：，（）：杨涌，秦小林，林小光，等基于数据增强和深度学习的特定患者癫痫检测分析方法生物医学工程学杂志，（）：，（）：仝航，杨燕，江永全检测脑电癫痫的多头自注意力机制神经网络计算机科学与探索，（）：，（）：孙红帅，王霞，柳萱，等频域注意力机制下的癫痫脑电信号分类西安交通大学学报，（）：，（）：，（），：，：，（）：张廷尉，陈红，王磊 基于 的巴特沃斯数字低通滤波器的设计 鞍山师范学院学报，（）：，（）：，（），：，：，（）：任爽，林光辉，田振川，等基于 残差网络的轴第 期 刘敏，等：基于残差注意力神经网络模型的癫痫脑电信号分类承故障诊断吉林大学学报（信息科学版），（）：，（），（）：彭彬森，夏虹，王志超，等深度神经网络在滚动轴承故障诊断中的应用哈尔滨工业大学学报，（）：，（）：沈尧，马小虎，张扬，等基于深度残差记忆网络的心律失常分类方法计算机仿真，（）：，（）：，：，：，：（），：，：，（）：，：，：，：，：，：，：，：（收稿，修回）（上接第 页），：，：，？，（）：，（）：，（）：（收稿，修回）北京生物医学工程 第 卷