基于样本选择的跨被试脑力负荷识别_曲洪权.pdf

投稿网址：年 第 卷 第 期，（）：科 学 技 术 与 工 程 引用格式：曲洪权，王飞月，庞丽萍，等 基于样本选择的跨被试脑力负荷识别 科学技术与工程，（）：.，（）：.医药、卫生基于样本选择的跨被试脑力负荷识别曲洪权，王飞月，庞丽萍，陈丽莉，刘晓花（.北方工业大学信息学院，北京；.北京航空航天大学航空科学与工程学院，北京；.华北石油通信有限公司万庄通信总站，廊坊；.中国石油管道局工程有限公司国际事业部，廊坊）摘 要 人体的脑力负荷状态与人机操作工作时的工作效率、人力资源分配以及事故的发生等息息相关，因此研究操作人员的脑力负荷状态具有重要意义。为了解决现有脑力负荷识别方法由于训练集中样本数量过少导致分类效果较差的问题，提出了一种基于样本选择的跨被试脑力负荷识别方法。首先，将其他被试的脑电数据作为训练集，参考目标被试的少量历史数据对训练集中的特征数据进行样本选择，实现减少样本数量的同时减少训练集和测试集之间的域差异；其次，再通过主成分分析对样本选择后的自适应训练集和目标被试测试集特征进行特征降维；最后，用自适应训练集主成分建立支持向量机分类模型识别测试集样本的脑力负荷状态。结果表明，该方法可以在提高分类效率的同时提高分类精度，实现快速、准确的脑力负荷状态识别。关键词 样本选择；主成分分析；支持向量机；脑力负荷；脑电中图法分类号.；文献标志码 收稿日期：；修订日期：基金项目：辽宁省兴辽英才计划（）第一作者：曲洪权（），男，汉族，黑龙江青冈人，博士，教授。研究方向：数据科学。：。通信作者：庞丽萍（），女，汉族，黑龙江海林人，博士，教授。研究方向：人机与环境工程。：。，（.，；.，；.，；.，），（），；脑力负荷通常表示为操作人员在单位时间内的脑活动量、心理压力或者信息处理能力。在人机操作工作中，操作人员的脑力负荷过高会导致操作灵活性降低，决策失误甚至发生人因事故，而脑力负荷过低则会导致人力资源的浪费以及作业绩效的下降。因此准确评估操作人员的脑力负荷状态对于保护操作人员安全和提高作业效率等具有重要意义。投稿网址：常见的脑力负荷评价方法主要有两种：一种是以客观指标对脑力负荷进行评价，比如工作表现结果（工作完成时间、工作失误率等）或者操作人员的生理指标（心跳速度、脑电图等），另一种是以被试主观评价作为脑力负荷等级的评估结果。随着近年来软硬件的发展，由于采集生理数据的准确性及便捷性，基于脑电信号来识别脑力负荷状态成为近年来的研究热点，。诸多研究表明，在不同的脑力负荷状态下，脑电信号在、和 这 个频段的功率谱变化敏感。因此，近年来许多脑力负荷研究从脑电信号的各个频段中提取特征进行脑力负荷识别，并且随着机器学习的迅猛发展，越来越多的人尝试运用机器学习算法对脑力负荷进行识别。等基于各频段的功率谱密度特征，使用线性判别分析对无人机操控员的脑力负荷分类。郭孜政等将各频段的频谱值作为输入特征，结合支持向量机模型构建了驾驶员脑力负荷识别模型。等将频段功率和小波熵使用随机森林进行特征选择，使用支持向量机建立模型识别脑力负荷状态。对于一个用于测试的新被试，常用的方法对特定被试训练分类器需要对该被试采集多组脑电数据来建立一个综合的训练集，但在实际情况中，新被试往往只有少量的历史数据，这种情况下训练得到的分类器会由于训练集中数据数量过少导致分类效果较差。因此，跨被试的脑电数据识别逐渐成为近几年的研究热点，利用其他被试的历史脑电数据训练分类器来测试新被试的状态。由于每个被试之间具有个体差异，被试之间的脑电数据分布往往具有很大的差异，因此需要使用迁移学习的方法来减少训练被试与测试被试数据之间的分布差异。等使用深度域自适应网络，通过深度神经网络消除不同被试数据之间的域移位，实现基于脑电信号的跨被试运动想象任务的分类。等提出一种少标记对抗性域自适应方法，应用于面向深度学习的模型，减少不同被试数据集之间的分布差异，实现基于脑电信号的跨被试情绪识别。等结合多尺度残差网络和元迁移学习策略减少不同被试个体差异问题，实现基于脑电信号的跨被试情绪识别。然而针对脑力负荷识别任务，目前还没有研究，且以上方法均基于深度学习网络，模型复杂度高，需要大量训练数据做支撑。故从样本选择的角度出发，实现不同被试数据之间的域自适应，减少训练数据的情况下使用低复杂度分类模型实现跨被试的脑力负荷识别。为此，现针对视觉和操作类任务，提出一种基于样本选择的跨被试脑力负荷识别方法，参考目标被试少量有标签的历史数据，利用其他被试的脑电数据进行迁移学习，以估计目标被试的脑力负荷状态。该方法分为 个步骤实现：对各个被试收集到的脑电信号进行转参考和滤波；对得到的脑电信号提取功率谱密度特征；将训练集中所有被试的特征数据参考目标被试少量有标签的历史样本进行样本选择并形成新的自适应源域训练集；对自适应源域训练集与目标被试测试集数据进行主成分分析；由自适应源域训练集主成分训练分类器并对测试集数据进行分类。该方法在使用目标被试少量有标签的历史数据的情况下，对训练集中被试样本进行自适应样本筛选以减少二者的分布差异，从而在提高分类效率的同时获得更好的识别效果。基于样本选择的跨被试脑力负荷识别 基于样本选择的脑力负荷识别方法利用训练集中所有被试的样本数据，将目标被试的少量有标签的历史样本数据作为验证集，参考验证集中的样本分布，建立一个针对目标被试的个性化模型。需要解决的问题是，给出一组目标被试待识别的脑电样本数据，利用训练集中每个被试的样本数据以及验证集中的样本数据来估计目标被试待识别脑电样本中每个脑电样本的脑力负荷状态。具体流程如图 所示。如图 所示，基于样本选择的跨被试脑力负荷识别共分两个步骤完成。第一步，参考验证集中的样本分布，对训练集中所有被试的样本分别进行样本选择，这样使得训练集中每个被试选择后得到的样本与目标被试样本的分布差异减小的同时减少训练集样本数量。训练集中所有被试选择后得到的样本数据组成自适应源域训练集。第二步，将自适应源域训练集与目标被试测试集样本数据通过主成分分析寻找一个共享的特征子空间，并得到二者在该子空间中的主成分，这样会在实现特征降维的同时进一步减少域差异。最后，利用自适应源域训练集主成分训练目标分类器，估计目标被试测试集中每个样本的脑力负荷状态。通过样本选择和主成分分析方法，源域训练集中样本数量和维度减少的同时，也减少了源域样本与目标域样本的分布差异，训练得到的目标分类器更适用于目标被试，这样不仅可以提高分类效率，还可以提高分类精度。.样本选择假设训练集中有 个被试，第 个被试有 个科 学 技 术 与 工 程 ，（）投稿网址：图 基于样本选择的跨被试脑力负荷识别概述 维被标记了负荷状态的样本数据，表示为，其标签表示为，其中 为第 个样本提取的标准化特征向量。类似地，验证集样本数据表示为，其标签表示为，测试集样本数据表示为，。为了实现训练集样本与验证集样本的域自适应，通过式（）计算了验证集样本中低负荷和高负荷样本的中心，表达式为 ，|（）式（）中：和 分别为验证集中低负荷和高负荷的样本数；和 分别为验证集 的低负荷样本子集和高负荷样本子集。由于训练集中各被试的样本与目标被试的样本分布不一致，对于训练集中所有的被试，将分别参考，进行样本选择。以低负荷为例，训练集中第 个被试的低负荷样本可根据式（）进行样本选择，表达式为 （），|（）式（）中：和 分别为样本集 的低负荷和高负荷样本子集；为样本集 中的样本个数。当 时，表明样本 与验证集低负荷样本中心 的欧几里得距离 相较 中其他的样本是偏小的，距离 更近，可以作为训练集样本。同理，可以通过式（）对高负荷样本数据进行样本选择，表达式为 （），|（）式（）中：为样本集 中的样本个数。可以选择 中与 距离更近的样本数据，从而消，（）曲洪权，等：基于样本选择的跨被试脑力负荷识别投稿网址：除远离 的样本数据。具体算法实现如下。输入：验证集样本数据，及其标签表示为，训练集所有被试的样本数据，其标签表示为，步骤 创建并初始化自适应源域训练集 及其低负荷和高负荷子集 。步骤 根据式（）计算验证集样本中低负荷和高负荷样本的中心，。步骤 对源域训练集中每一个被试样本集，重复以下过程。（）创建并初始化自适应训练子集 及其低负荷和高负荷子集 。（）根据式（）和式（）对样本集中每一个样本计算（），或（），。如果（）或（），则 或 ；否则，或 。步骤 自适应源域训练集低负荷子集 ，自适应源域训练集高负荷子集 。步骤 自适应源域训练集 。输出：自适应源域训练集数据。.主成分分析与支持向量机在脑力负荷识别任务中，由于脑电数据分布在各个电极上，并且往往在各个电极的数据上提取多种特征，常常会导致得到的特征矩阵维度过高，这会加大对后续的负荷估计的难度，导致识别模型更加复杂，识别效率低，识别精度差。因此需要对高维特征数据进行降维处理。主成分分析（，）是一种常用的数据降维方法，通过一个线性变换将一组具有相关性的特征向量转换成一组新的互不相关的向量，并从中选择几个较少向量，这几个向量可以保留原向量组中的大部分信息，在以这几个向量作为正交坐标系的低维空间中样本点散布得更开，相较原高维空间仅损失了较少的信息，以达到数据降维的目的。由于源域样本与目标域样本的分布具有差异，因此在对源域样本与目标域样本进行主成分分析时将源域样本与目标域样本连接起来进行主成分分析，这样可以在数据降维的同时得到一个源域样本与目标域样本共享的低维特征子空间，在这个低维特征子空间中保留了源域样本与目标与样本共同的主要分布趋势，源域样本和目标域样本分布更加相似，在实现特征降维的同时减少源域样本与目标域样本之间的分布差异。选择支持向量机分类器（，）作为分类方法对脑力负荷进行分类，支持向量机通过核函数将输入特征映射到一个特征空间中并基于结构风险最小化的原理在空间中找到最优的超平面建立分类模型，是一种非常适合小样本学习的分类模型。将自适应源域训练集主成分作为支持向量机的输入，选取线性核为核函数。为了得到最优模型参数，对每组数据采用网格搜索法进行筛选，惩罚系数 的搜索范围为.，。并且为了确保模型的鲁棒性和减少过拟合，在分类算法中进行了交叉验证分析。最后通过训练得到的分类模型对目标测试集主成分进行脑力负荷状态估计，得到目标测试集中每个样本的脑力负荷状态标签。实验与分析.数据采集与预处理实验的数据采集实验平台是基于多任务航空情境操作的 平台，该平台提供 种任务，分别为系统监控任务、追踪监控任务、通信监控任务和资源管理任务。参与实验的被试需要在规定时间内对随机出现的 个子任务做出反应操作。实验的 名被试均为同专业的研究生，其年龄在 岁，身体健康且为右利手，视力或矫正视力正常。将 名被试在低负荷和高负荷这两个水平上的脑电信号数据作为本实验的实验数据。其中，低负荷任务水平指的是在单位时间内每个子任务呈现频次为 次，高负荷任务水平指的是在单位时间内每个子任务呈现频次为 次。每名被试均需要在采集数据前充分熟悉任务操作。使用 电极通道的 系 统（，.，）采集脑电信号，其中 和 电极被设置为参考电极，分别位于左耳和右耳后面乳突位置。脑电信号的采样频率为 。每名被试均需在实验时分别完成两种负荷下的任务各 ，并且在完成两种不同负荷任务中间经过充分休息，在每次实验后使用 任务负荷指数（）量表评价该次实验的合理性。为了模拟新被试仅有少量有标签的历史数据的情况，将每个被试前 的数据作为验证集，用于训练集数据样本选择的参考，后 的数据作为训练 测试集，用于样本选择和主成分分析以及分类器的测试。验证集与训练 测试集互不重叠，验证集信号长度为训练 测试集的 是为了使用有限的被试脑电数据模拟一个伪在线分类环境。对于各个被试的验证集和训练 测试集，在后科 学 技 术 与 工 程 ，（）投稿网址：续实验中需分别进行预处理及特征提取。具体预处理如下：对于 个通道的脑电数据，以 和 的平均值作为参考，对其他 个通道进行转参考，之后利用 带通滤波器对其滤波，以消除工频干扰，再利用重叠滑窗的方式对数据进行切分（切分长度为 ，重叠长度为.）。.特征提取由于在不同脑力负荷状态下，脑电信号的频域特征变化十分明显，特别是在、和 这 个频段下，众多研究证明，各个频段上的功率谱密度特征在脑力负荷识别中是十分有效的。因此，使用功率谱密度作为脑电信号的特征，通过 多窗谱估计（，）的方法进行功率谱密度估计。多窗谱估计通过将数据乘上一组正交的离散椭球序列（，），对得到的每条数据分别进行快速傅里叶变换，得到一组相互独立的功率谱估计，再将一组的结果相加取平均得到合成的频谱。对验证集和训练 测试集分别进行特征提取，对每个通道的数据分别提取 个频段下的功率谱密度特征，并且为了减少随机起伏，在特征提取时采用了分段提取特征取平均的方法，将一条脑电信号切分为若干个 的脑电信号片段，对每个脑电片段分别使用 法提取功率谱密度特征，最后将频带中所有片段的功率谱密度特征的平均值作为一条完整脑电信号序列的功率谱密度特征。由于一组脑电数据共有 个通道，采用标准的 个频带对每个片段进行特征提取，得到每组数据的特征总维数为 维。.方法对比为了保证实验的有效性，选取了全部 个被试进行验证。对于每名被试，分别使用 种不同的方案对目标被试的测试集进行脑力负荷识别，如图 所示 种方法采用相同的数据预处理方法、特征提取方法以及分类方法，仅在样本选择和主成分分析环节的方案不同，并且在主成分分析时降维维度统一为 维。（）方法（，）。将其余 个被试的脑电特征训练集特征作为源域训练集进行跨被试脑力负荷识别。先通过样本选择获得自适应源域训练集，再与目标测试集特征一起进行主成分分析，再利用 对源域训练集主成分建立分类模型，识别目标测试集主成分中每个样本的脑力负荷状态，也就是本文提出的方法。（）方法（，）。将其余 个被试的脑电特征训练集特征作为源域训练集进行跨被试脑力负荷识别。如图（）所示，直接将源域训练集特征与目标测试集特征进行主成分分析，再对源域训练集主成分训练 分类模型，识别目标测试集主成分中每个样本的脑力负荷状态。（）方法（，）。将目标被试的验证集数据作为训练集，不利用其他被试的特征数据，进行特定被试的脑力负荷识别。如图（）所示，将目标验证集特征与目标测试集数据进行主成分分析，再对目标验证集主成分训练 分类模型，识别目标测试集主成分中每个样本的脑力负荷状态。种脑力负荷识别方法在各个被试上的分类精度对比结果如图 所示。可以看出，方法（）在各个被试上的表现各不相同，仅在个别被试图 对比方法流程图 图 各方法分类精度对比 ，（）曲洪权，等：基于样本选择的跨被试脑力负荷识别投稿网址：（被试、被试）上表现良好分类可达到，对于其他大部分被试的分类效果并不理想，这是因为对于这些被试，验证集中的数据样本数量太小，仅使用验证集样本不足以训练出一个合适的分类器以获取更好的分类效果。方法 （）和方法（）选用其他被试数据作为训练集，增大了样本数量，其分类精度在大部分被试上均有改善。其中方法（）的分类精度为 ，平均分类精度为，方法（）的分类精度为，平均分类精度为，由此可见，方法（）在方法（）的基础上增加了样本选择，平均分类精度提升了，有效实现在减少样本数量的同时提高分类精度。计算了方法（）和方法（）从特征提取后到输出识别结果的运行时间，种脑力负荷识别方法的平均运行时间对比如图 所示。可以看出，方法 （）的平均运行时间为.，方法 （）的平均运行时间仅为.，在运行时间上明显优于方法（），较方法（）在运行速度上平均缩短了 倍以上。由此可见，方法（）虽然增加了样本选择的环节，但样本选择的运行时间要远远小于在后续在建立分类模型以及对目标测试集各样本脑力负荷状态识别时节省的运行时间，有效提高了识别效率。图 方法 与方法 运行时间对比 结论针对视觉和操作类任务，提出了一种新的基于样本选择的跨被试脑力负荷识别方法。通过对 名实验被试的脑电数据进行分析，得到以下结论。（）该方法采用了跨被试识别的方式，训练集样本和测试集样本来自于不同的被试，提取脑电信号中的 维功率谱密度特征，并且通过样本选择和主成分分析的方法减少二者之间的域差异并实现对特征的降维，最后通过支持向量机建立分类模型对测试集样本进行脑力负荷状态的识别，实现了的平均分类精度，对比不进行样本选择的方法，分类精度平均提高了。（）在运行时间方面，本文方法相较于对比不进行样本选择的方法平均提高了 倍以上。因此本文方法实现了在提高脑力负荷识别效率的同时提高脑力负荷识别的分类精度，相较于传统方法在各个方面均有明显的改进。参考文献 明东，柯余风，何峰，等 基于生理信号的脑力负荷检测及自适应自动化系统研究：年回归与最新进展 电子测量与仪器学报，（）：.，：，（）：.陈长德，陈兰岚，张效艇 基于多源域深度域自适应的脑力负荷识别 华东理工大学学报（自然科学版）：，（）：，：曲洪权，单一平，刘欲哲，等 脑电信号中独立分量特征提取与脑力负荷分类 科学技术与工程，（）：.，（）：.，（）：.赵丽，董燕丽，郭旭宏 波和运动想象的混合范式脑机接口系统 电子测量与仪器学报，（）：.，（）：.王斐，王少楠，王惜慧，等 基于脑电图识别结合操纵特征的驾驶疲劳检测 仪器仪表学报，（）：.，（）：.，：.王福旺，王宏 长途客车驾驶员疲劳状态脑电特征分析仪器仪表学报，（）：.，科 学 技 术 与 工 程 ，（）投稿网址：，（）：.孙金秀，匡光涛，王索刚 孤独症儿童静息态脑电 频段功能网络研究 科学技术与工程，（）：.，（）：.，：.郭孜政，潘雨帆，潘毅润，等 驾驶员脑力负荷的 识别模型 哈尔滨工业大学学报，（）：.，（）：.，（），：，：.，：.，（）：.，：.，（）：.陈文静，张馨月，康同舟，等 基于脑电高频振荡特征主成分分析与机器学习的致痫通道自动识别 航天医学与医学工程，（）：.，（）：.，：.，：，：.，（）：.，：.姜劲，焦学军，张朕，等 利用 研究噪声环境下脑力负荷变化规律 航天医学与医学工程，（）：.，（）：.曲洪权，王飞月，庞丽萍 基于自适应主成分分析维度寻优的脑力负荷识别 科学技术与工程，（）：.，（）：.，（）曲洪权，等：基于样本选择的跨被试脑力负荷识别