基于注意力机制RNN模型的癫痫患者脑电信号识别方法.pdf

收稿日期:基金项目:国家自然科学基金资助项目()中央高校基本科研业务费专项资金资助项目().作者简介:周 嵩()男山东济南人东北大学博士研究生 高天寒()男辽宁沈阳人东北大学教授博士生导师.第卷第期 年 月东北 大 学 学 报(自 然 科 学 版)().:./.基于注意力机制 模型的癫痫患者脑电信号识别方法周 嵩 高天寒(东北大学 软件学院 辽宁 沈阳)摘 要:针对癫痫患者脑电信号()数据识别提出了一种基于注意力机制的()模型.传统 特征分析耗时巨大且过度依赖专家经验极大限制了脑活动识别方法的应用推广.因此提出一种新的 识别方法以解决上述问题.首先对癫痫患者 的基本特征进行分析进而采用基于注意力机制 模型消除各种干扰信号利用 分类器识别 数据的类别达到自动细化识别原始 的目的最后在公共 数据集上进行大量实验验证所提方法对 识别的准确性.实验结果表明与一些成熟的 识别方法相比本文所提方法在识别精度上有了进一步提升.关 键 词:脑电信号注意力机制 模型 分类器癫痫患者中图分类号:文献标志码:文章编号:()(.:.):()().:()()癫痫是一种常见的脑部神经疾病全球约 万癫痫患者深受其害.随着脑电科学研究的不断发展和成熟借助深度学习技术对脑电信号()数据进行识别已成为近年来癫痫病辅助治疗的一个重要研究领域.通过构造深度学习模型分析 数据以识别患者是否具有癫痫病倾向无需借助专业的神经病学咨询或待癫痫发作后再做诊断做到早发现早治疗.采用深度学习模型进行识别的 数据包含三种不同状态的脑电波信号分别是健康状态、癫痫未发作状态及癫痫发作状态.用于癫痫诊疗的 信号处理可分为三个步骤:)对 信号进行预处理去除噪声和伪影)对 信号进行特征提取从冗余信息中获得对癫痫诊疗有价值的信息)对提取的 特征进行分类以判断患者的大脑状态与癫痫疾病的关联度.近年来国内外研究者提出了一系列基于 的癫痫病识别方法.等提出了一种新的基于峰态系数的变分模态方法通过提取带宽和光谱特征利用 检验方法选取 信号关键特征并对特征进行分类识别 并与决策树、近邻、支持向量机()和随机森林等信号识别方法进行了分析对比.等使用基于改进经验模态分解()和粗粒度()两种模型分解 信号然后在分解的 信号中提取分形维 数 并 使 用 进 行 信 号 识 别.等通过雅可比多项式、勒让德多项式及切比雪夫多项式变换提取了 信号中的 和 波 段 数 据 进 一 步 提 取 了 近 似 熵()、模糊熵()、样本熵()及排列熵()作为不同的复杂性衡量指标最后使用最小二乘支持向量机()对提取的特征进行分类.赵艳娜等通过利用 及注意力机制对 数据进行分析用于癫痫的辅助诊断通过分解 信号片段提取特征信息利用双向长短时记忆网络进行二分类检测.上述方法对 信号的识别精度都有了显著的提升但对 信号的精准特征识别还不够全面提取的 信号维度过于复杂导致算法运行不够稳定且应用场景较为单一.本文提出了一种基于注意力机制的 模型用以识别癫痫脑电波信号.通过分析 信号的相似性计算癫痫病患者 信号的相关系数矩阵在此基础上利用注意力机制 模型提取 信号特征最后将特征输入 分类器以识别 数据的类别每个类别对应于一种特定的大脑活动逐步形成一套对用户当前脑部反应状态与癫痫状态相关联的精准神经网络识别模型.相关知识随着脑 机接口技术的不断成熟和发展使得 信号能够被更加准确和稳定地采集并在智慧医疗领域广泛使用.信号可以测量大量神经元产生的电波活动并被广泛用于神经疾病诊断如癫痫、自闭症()、阿尔茨海默病等复杂疾病.目前研究表明癫痫类精神疾病完全可以依赖 信号进行诊断依靠深度学习技术对癫痫疾病脑电波数据的分析诊断流程也完全可以处理其他相关的大脑活动障碍疾病诸如阿尔茨海默症、自闭症和睡眠障碍等.目前此类疾病的诊断主要由神经科医生和医学专家手动进行.一般情况下神经科医生需要花费数个小时完成一个完整的癫痫疾病诊疗过程并对特定患者做出诊断结论无法实现高效诊疗.因此需要建立智能且可靠的诊断系统为此类疾病的诊断和分析提供辅助以降低出错风险并提高诊断效率.与其他癫痫诊断数据相比 信号数据具有易采集、时间分辨率高、应用范围广等优势且无需依赖大量专业神经学知识便可获得使得 信号成为神经疾病诊疗领域的重要辅助诊断工具.然而 信号非常复杂且非线性、不平衡同时信号当中隐藏着伪影和干扰使得相关结果易产生偏差.因此在进一步分析之前需要对 信号进行复杂的信号处理以清除所有不可预测的污染或干扰.典型的基于 的诊断系统包括:信号预处理、特征提取和解码.预处理模块用于去除无关的 信号从滤波后的 信号中提取最重要的特征并将其传递到解码或分类阶段.现有研究对 脑电识别实时性问题考虑不够细致且识别框架复杂在保证识别准确率的前提下系统开销巨大离智慧医疗领域的实际应用还存在较大差距.同时用于神经系统疾病的 数据通常是不平衡和非平稳的其中包含了诸多非典型疾病特征导致在应用 进行诊断时需要高度复杂的特征描述系统.针对此问题利用深度学习技术可以实现 数据的特征提取和分析操作在保证准确率的同时实现自动诊疗目标从而有效降低医疗误诊的风险.本文针对以上应用场景和面临的问题提出了一种用以识别癫痫患者 信号的基于注意力机制的 模型.在利用 模型进行 数据处理和分析时 引入注意力机制()通过 模型中编码器选择特定的子集特征并将输入特征与输出信息相关联即输出序列中的每一项信息都取决于输入序列中被选中的子集特征.注意力机制的引入能够有效解决编码器 解码器结构对长输入序列处理性能差的问题.此外注意力机制使得 模型可以将不同的权重分配给输入的不同部分从而明确输第 期 周 嵩等:基于注意力机制 模型的癫痫患者脑电信号识别方法 入序列与输出序列之间的对应关系.是一种梯度提升算法也是一种残差决策树将 模型提取的 信号特征输入 分类器以识别 数据的类别每个类别对应于一种特定的大脑活动逐步形成一套对用户当前脑部反应与癫痫病相关联的神经网络精确识别模型.本文方法采用的决策树是分类与回归树()其本质是对特征空间进行二元划分(即 生成的决策树是一棵二叉树)并能够对标量属性与连续属性进行分离.实验结果表明本文方法对原始 信号的数据处理能力具有较强的包容性在确保数据的实时处理前提下识别精度能够达到.且保证了算法框架的鲁棒性.算法框架 预处理对原始 样本进行预处理以去除 偏移并对信号进行归一化.首先要消除 偏移影响不同的脑电波采集设备在记录信号的同时引入了恒定的噪声分量.在预处理阶段首先应从原始信号 中消去该恒定 偏移.数据归一化在处理不同单元和特征尺度的数据过程中起着至关重要的作用.本文选择神经网络最常用的 方法对原始 信号进行归一化处理.预处理后的脑电波数据 计算方式为().()其中:表示直流电噪音偏移量 表示 的均值 表示 的标准差.基于注意力机制的 模型将分解后的 数据输入到引入了注意力机制的 模型当中以得到更多关于受试者的脑部活动信息.一般的编码器 解码器 框架忽略了特征维度对输出序列的影响而默认为输入序列的所有特征维度权重.在脑电波数据的采集过程中 数据的不同特征尺度对应于 设备的不同传感器节点本文将注意力机制引入 模型当中模型包含三个模块:编码器模块、注意力机制模块和解码器模块.为了提取 波段的信号在此设计了一个三阶巴特沃斯滤波器频率范围为 .编码器模块负责将输入的 波段数据压缩成过度编码 注意力机制通过生成不同维度的权重 序列来帮助编码器计算更好的中间编码 解码器模块接收 并将其解码为系统能够识别的 信号波段信息.假设第 层的数据表示为 ()其中 表示 的第 维数据 表示引入注意力机制的 模型中的神经网络层数表示 中的维度数量.非递归层用于构造和拟合用以过滤输入的 波段信号数据的非线性函数.非递归层的数据可以通过式()计算得 ().()编码器模块包含一个输入层、三个非递归的完全连接神经网络层和一个长短期记忆()层.非递归层用于构造和拟合非线性函数.层将非递归层的输出压缩为长度固定的序列并将其作为传递编码.假设 模型位于编码器的第 层则传递编码 为 模型的输出即 ().()其中:表示第 个 细胞单元的隐藏状态.操作()表示 模型的运算过程:()()()()()()()()()().()其中:分别表示 模型中的输出门、摒弃门、输入门、输入调整门表示单元乘法.注意力机制模块接收隐藏层的状态作为非标准化的注意力权重 可以通过映射()进行测量.().()对注意力权重进一步标准化得.().()函数将注意力权重归一化在区间注意力权重也可以理解为连接编码 与输出结果是否相关的概率估计.在注意力机制下连接编码 并经过加权转化为.()需要注意的是此时的编码 和标准化注意力权重是用于即时训练的.解码器接收基于注意力的编码 并对其进行解码以预测用户的当前脑活动状态.().()其中表示基于注意力机制的 模型所训练东北大学学报(自然科学版)第 卷 的预测状态.最后使用交叉熵函数来计算用户预测状态和实际状态 之间的预测成本.选用 正则化(带参数)以防止过度拟合.基于注意力机制的 模型迭代阈值设置为.加权编码与输出层和预测结果具有直接线性关系如果模型训练良好并且成本低可以将加权编码视为用户状态信息的高质量表示.在此规定 模型学习的深度特征等于并将其作为最终的用户状态映射值.脑活动状态识别使用 分类器对学习的深度特征进行分类以判断当前用户脑活动状态.模型学习的深度特征用于训练分类回归树并预测用户的一组状态信息.假设有 棵分类回归树且是一个深度特征的单个样本则输入为时的最终识别结果为()()().()其中:表示单个树的分类函数表示第 个树的预测状态 表示从单个树预测空间到最终预测空间的映射是基于 数据对用户当前状态的最终识别结果.实验分析 实验数据集本文使用的是由 等于 年发布的波恩数据集()该数据集是由 个健康人群和 个癫痫患者的脑电数据构成分别由 个数据子集组成数据描述如表 所示.表 波恩数据集 参数健康人癫痫患者状态睁眼闭眼发作期间发作期间发作期间数据类型 头皮层头皮层颅内颅内颅内电极位置头皮头皮海马机构处病灶区病灶区 如图 所示波恩数据集属于单通道数据集由包含 个数据片段的数据子集组成其中数据片段的数据点为 个时间长度为 信号的采样频率为 分辨率为 位.其中子集 和 为健康人 信号组成的对照组头皮电极分布为国际 系统.中片段为受试者睁眼时的 信号 中片段为受试者闭眼时的 信号.子集 分别由 个术前已确诊病人的颅内 信号组成.图 典型癫痫病患者脑电波信号图 如图 所示这些病人已经通过局部海马结构切除使得其癫痫完全可控切除区域已通过临床验证确为致痫灶.子集 中包含从癫痫灶中采集的 信号子集 中包含从癫痫灶对侧采集的 信号且子集 和 采集于癫痫发作间期.子集 中包含了所有颅内电极采集到的癫痫发作期间的 信号.图 正常和癫痫发作状态下电极图上的功率谱密度分布 实验环境及训练过程基于注意力机制的 模型隐藏层中的神经元数量表示提取的特征维度神经元的数量对特征提取的质量以及分类结果有很大的影响为了分析神经元数量与分类效果之间的关系实验过程中设置神经元数量为 四个样本学习速率设置为 .将 函数设置为 分类器的目标函数用于多类分类.设置学习率 为 与最小损失减少有关的参数和叶子数量 为 树的最大深度 为(太大可能导致过度拟合)训练实例的子采样率 为(防止过度拟合)实验过程中使用的 配置为 内存和 硬第 期 周 嵩等:基于注意力机制 模型的癫痫患者脑电信号识别方法 盘.测试误差和训练时间与神经元数量之间的关系如图 所示.图 神经元数量在自动编码器隐藏层中的影响 由图 可得在第一阶段(个神经元)随着神经元数量的增加测试误差(图中浅色曲线)不断减小在第二阶段(大于 个神经元)测试误差在 附近略有波动同时训练时间曲线(图中深色曲线)与神经元数量总体上呈线性关系.虽然测试误差曲线和训练时间曲线之间的最小差距达到约 个神经元测试错误仍然很高.测试错误到达底部神经元数量为 个训练时间可以接受.此外神经元多于 个后测试误差曲线保持稳定设定所有其他实验的隐藏层神经元数量为 个.由表 可见当隐藏层为特征维度为时对数据库中的 个子集识别准确率能够达到 特征维度过小会导致 信息特征不完整训练误差较大特征维度过大会增加训练成本通过实验分析可得特征维度为 时最佳表现.表 隐藏层和特征维度在识别准确率中的表现 隐藏层数特征维度子集子集子集子集子集平均准确率/为了进一步评估本文算法模型的鲁棒性采用 交叉验证在 从 到 变化的情况下设定 为在 数据集上运行结果如表 所示.表 交叉验证评估 训练准确率/验证准确率/训练误差验证误差 由表 可知训练集和验证集的准确率均超过 训练集和验证集的误差分别小于 和 由此可见本文所提的算法在保证识别率的同时具有理想的鲁棒性.此外与最新的几种针对 信号识别方法进行比较结果如表 所示其中 表示自回归建模 表示线性判别分析 表示时间相关同步 表示注意力机制.由表 可知基于注意力机制的 模型在癫痫病脑电信号识别方面具较高的识别准确率.表 不同特征提取分类模型对比 作者特征提取分类模型识别率 本文 结 语本文提出了针对癫痫病的 数据分类和识别方法旨在通过分析 数据辅助癫痫病的发现和治疗.首先使用归一化方法来处理原始 数据然后将标准化的 数据输入到基于注意力机制的 模型中进行训练最后在波恩数据集(包含 个子集)上对相关方法进行评估验证本文方法的有效性和高效性.未来工作将构建多类 的不同视图模型以进一步提高分类性能促进 信号识别模型在智慧医疗中的更多应用.东北大学学报(自然科学版)第 卷 参考文献:.():.:.:.赵艳娜.癫痫脑电信号识别方法及系统:.(.:.).:.():.:.():.():./().:.():.():.:.():./().:.():.:.():.第 期 周 嵩等:基于注意力机制 模型的癫痫患者脑电信号识别方法