基于行为与事件相关电位的机器学习重度抑郁识别研究.pdf

2023年10 月Chinese Journal of Biomedical EngineeringOctober2023中42卷5期生国医程物No.5报学Vol.42学基于行为与事件相关电位的机器学习重度抑郁识别研究侯峰张明蔺向彬?张威马榕2*（山东省戴庄医院精神科，山东济宁272100)2（兰州大学信息科学与工程学院，兰州730000)摘要：重度抑郁症（MDD）是一种由于先天基因异常或后天环境突变等多种因素导致的心境障碍，对患者的日常生活及社会经济均会造成严重损害。因此，寻找更为有效且客观的辅助诊断生理指标以及更为有效的MDD辅助诊断方法对其早期诊断与防治具有重大现实意义。本研究基于情绪脸-词Stroop任务，通过采集被试的行为数据及事件相关电位（ERP）数据，使用传统机器学习、集成学习及深度学习方法对31名重度抑郁患者和31名健康对照个体进行研究，以准确率（ACC）、F1分数（F1-score）、召回率（Recall）、特异率（Specificity）、阳性预测值（PPV）及阴性预测值（NPV）等6 个指标作为不同分类方法的评价指标，按照7:2:1的比例将数据集随机划分为训练集、验证集及测试集。该过程被重复10 次，最终的分类结果为10 次的平均值标准差。重度抑郁识别所使用的卷积神经网络（CNN）可以从数据中自动学习和提取特征，在重度抑郁识别正确率达8 9.7 6%19.18%；基于ERP数据的研究发现，CNN在6 个指标下均得到了最优结果，其中重度抑郁识别正确率达90.7 1%14.17%；所提出的基于行为及ERP数据的多模态深度学习神经网络-行为脑电并行时序卷积神经网络（BEPTCNN），其在重度抑郁识别中准确率可达95.48%7.31%。行为及ERP数据均可作为重度抑郁辅助诊断的有效生理指标，所提出的BEPTCNN模型有望成为重度抑郁诊断辅助方法。关键词：重度抑郁；行为数据；事件相关电位；卷积神经网络；抑郁识别中图分类号：R318文献标志码：A文章编号：0 2 58-8 0 2 1（2 0 2 3)0 5-0 542-12Recognition of Major Depression Using Machine Learning Methods Based onBehavioral and Event-Related PotentialsHou FengZhang MingLin XiangbinZhang Wei?Ma Rong2*(Department of Psychiatry,Shandong Daizhuang Hospital,Jining 272100,Shandong,China)(School of Information Science and Engineering,Lanzhou University,Lanzhou 730000,China)Abstract:Major depressive disorder(MDD)is a mental disorder caused by a variety of factors,such ascongenital genetic abnormalities,acquired environmental mutations.MDD can cause serious damage topatients daily life and social economy.Therefore,seeking more effective and objective physiological indicatorsand diagnostic methods to assist diagnosis has great significance for the early diagnosis and prevention of MDD.Based on the emotional face-word stroop task,this paper used traditional machine learning,ensemble learningand deep learning methods to study 31 MDD patients and 31 healthy controls by collecting behavioral data andERP data of subjects.The evaluation indicators for different classification methods include accuracy(ACC),Fl-score（F1),r e c a l l （Re c a l l),s p e c i f i c i t y （Sp e c i f i c i t y),p o s i t i v e p r e d i c t i v e v a l u e （PPV),a n d n e g a t i v epredictive value(NPV).The data set was randomly divided into training set,verification set and test set in aratio of 7:2:1.The process was repeated ten times,and the final classification result was the mean standarddeviation of ten times.The results showed that the accuracy of convolutional neural network(CNN)method,which can automatically learn and extract features from the data,achieved 89.76%19.18%in thedoi:10.3969/j.issn.0258-8021.2023.05.004收稿日期：2 0 2 1-11-18，录用日期：2 0 2 3-0 3-19基金项目：国家重点研发计划（2 0 19YFA0706200）；济宁市重点研发计划（2 0 2 1YXNS040）*通信作者（Correspondingauthor），E-ma i l：ma r o n g l z u.e d u.c n543侯5期峰，等：基于行为与事件相关电位的机器学习重度抑郁识别研究identification of MDD based on behavioral data.Based on ERP data,it was found that CNN obtained theoptimal result under all six indicators,and the accuracy of MDD recognition was 90.71%14.17%.Thispaper proposed a multi-modal deep learning neural network based on behavioral data and ERP data,which isreferred as behavior-ERP parallel temporal convolution neural network(BEPTCNN).It achieved excellentresults in all indicators of MDD identification task,and the recognition accuracy could reach 95.48%7.31%.These results showed that both behavioral data and ERP data could be used as effective physiologicalindicators for the auxiliary diagnosis of MDD.In addition,the BEPTCNN model proposed in this paper could beused as an effective method for the recognition of MDD.Key words:major depressive disorder;behavioral data;event related potential;convolution neural network;depression recognition引言抑郁症是世界范围内最普遍的精神疾病之一，据世界卫生组织（WorldHealthOrganization，WHO）统计，全球已有3.5亿人患有不同程度的抑郁症，占据全世界总人口数的4.4%，且其发病率仍在逐年升高，据预测在未来抑郁症将会成为全球范围内第二高发的疾病。重度抑郁症于临床上心理层面的主要表现为显著且持久的情绪消沉、意志减退、认知受损及精力下降等，甚至常伴有自杀企图，生理层面表现为疲劳、失眠、早醒或明显体重减轻等症状2-6 。因此给社会和家庭带来了严重的经济负担，被世界卫生组织列为世界上最具负担的精神疾病7 。基于此，国家卫健委办公厅于2 0 2 0 年9月发布了探索抑郁症防止特色服务工作方案，针对抑郁症的筛查、预防及治疗，提供了一套综合性解决方案。抑郁症的诊断与防治已成为当前重点工作。然而传统重度抑郁症的诊断方法主要为患者自填问卷与基于医生经验问诊，该方法存在诊断效率低、主观性强及误诊率高等问题，且缺乏客观可靠的诊断指标。据统计全科医生只能正确识别47.3%的抑郁症8.9因此，寻找更为有效且客观的辅助诊断生理指标以及更为有效的重度抑郁辅助诊断方法对其早期诊断与防治具有重大现实意义，随着计算机辅助诊断技术的发展，大量研究发现，患者的行为信息和脑电信息能够有效辅助诊断抑郁症10-1。首先，有研究者归纳出抑郁患者在肢体动作、面部表情、语音语调、及反应时间等方面与健康个体存在显著差异12-31。例如Zhu等14 利用卷积神经网络（convolutionalneuralnetwork，CNN）模型，以抑郁量表诊断结果作为数据标签，设计出能够捕捉到抑郁症患者面部动态特征的模型，该模型能够很好的识别抑郁症的外部表情，对于判断和识别抑郁患者具有重大意义。其次，脑电（electroencephalogram，EEG）已被广泛用于抑郁症的识别中，例如刘岩等【15 利用支持向量机（supportvectormachine,SVM）和Logistic分类模型，以患者的脑电数据作为特征，研究显示模型最高准确度为90%，同时利用CNN进行识别分类，准确度达96.7%，但其存在噪声信号庞杂、导联数多及数据维度高等问题。事件相关电位ERP（e v e n t-r e l a t e d p o t e n t i a l,ERP）作为一种特殊的任务诱发电位，可通过赋予任务刺激以特殊的心理意义，从而探究患者认知过程中的神经电生理变化，具有意义性、可控性及数据维度低等特点，可有效弥补EEG信号存在的不足。但ERP数据及行为数据目前较少应用于机器学习的重度抑郁症辅助诊断技术中，执行功能（executive function，EF）作为一种高级认知功能，是指个体对思想和行为施加有意识控制的心理过程16 。执行功能与情绪调节相互作用的功能障碍被认为是抑郁症的病理生理学表征之二17 ，且既往研究已证实抑郁症患者在处理情绪冲突时存在认知功能障碍。词-面孔Stroop范式以面孔的不同情绪效价作为情绪启动材料，同时在悲伤和快乐的面孔表情上附以“悲伤”和“高兴”两种词汇，对于面孔的情绪效价和词汇的情绪效价在相容性上存在差异，即存在一致或不一致两种条件，继而产生情绪冲突18 。近年来，越来越多的研究表明，该范式已经成为研究情绪抑制控制的经典范式192 1。基于此，本研究应用情绪脸-词Stroop任务，通过采集被试的行为数据及ERP数据，使用传统机器学习、集成学习及深度学习方法对31名重度抑郁患者和31名健康对照进行分析，寻找更为有效且客观的辅助诊断生理指标以及更为有效的重度544中生国医42卷程学物报学抑郁辅助诊断方法。1材料与方法1.1材料1.1.1被试招募于天水市第三人民医院招募被试6 2 人，其中包括重度抑郁患者31人，健康对照被试31人，均自愿参与实验。重度抑郁患者由精神科医生通过简明国际神经精神障碍访谈（MiniInternationalNeuropsychi-atricInterview，M INI）中文版、心理障碍诊断与统计手册第四版（Diagnostic andStatistical Manual of Mental Disorders-IV,DSM-IV)及医生从医经验共同确定。重度抑郁患者的入组标准为1)教育程度达小学水平或以上；2）抑郁症筛查量表（patienthealthquestion-naire-9,PHQ-9)得分10 分;3）过去两周内未服用任何精神类相关药物。排除标准为：1）目前患有严重的身体疾病；2）怀孕或目前处于哺乳期的妇女；3)有神经系统相关疾病的病史；4)过去3个月内接受过经颅磁刺激或相关类型治疗；5)存在焦虑症状的重度抑郁患者。健康对照被试在年龄、性别和受教育程度均与重度抑郁组被试相匹配，无精神疾病和抑郁史、无脑外伤或严重躯体疾病,且PHQ-9评分均4分1.1.2人口学变量分析为保证实验不受无关变量的影响，首先对重度抑郁患者及健康对照个体的人口学变量进行统计学分析,其中包含年龄、性别、教育程度及PHQ-9分数。其中，对性别进行卡方检验，其余人口学变量均进行独立样本t检验，以上分析皆在SPSS25.0中进行，具体结果如表1所示。由表可见，两组被试在性别、年龄、教育程度等方面的差异无统计学意义（P0.05）。PH Q-9分数上具有显著的统计学差异（P0.001），这符合相关实验要求。所有实验参与者均为右利手，视力正常或矫正视力正常，在参于研究前均签署书面知情同意书，且此研究已获天水市第三人民医院伦理委员会批准。1.1.3刺激材料使用经标准化处理的情绪面孔图片作为刺激材料，所有情绪面孔均从国际情感图片系统(International Affective Picture System，IA PS）中选取，分别选择情绪效价为高兴及悲伤的面孔各40张。且在情绪面孔的中央，分别标有两种不同情绪效价的词汇，具体为“高兴”与“悲伤”，均以红色字体呈现。1.1.4实验范式使用情绪脸-词Stroop范式，为2（面孔情绪效价：高兴&悲伤）2（相容性：一致&不一致）2（被试类型：重度抑郁&健康对照）三因素混合实验设计，其中相容性由面孔的情绪效价与呈现于面孔中央的词汇情绪效价共同决定。面孔的情绪效价与呈现于其中央文字的情绪效价相同，则为一致条件；面孔的情绪效价与呈现于其中央文字的情绪效价不同，则为不一致条件。例如面孔情绪效价为高兴，呈现于其中央的词汇也为“高兴”，即为一致条件。同时将情绪面孔的情绪效价与相容性相结合，共产生高兴一致、高兴不一致、悲伤一致及悲伤不一致4种刺激条件，具体如图1所示。性别类型在各条件下平衡。实验共包含3个block，分别为一个练习block和两个实验block。练习block包含4个trial，被试需在主试阐明具体操作后，并以7 5%的正确率通过练习block才被视为明晰实验操作，即可进人正式实验。每个实验block各包含8 0 个trial，共16 0 个trial,4种刺激条件下各有40 个trial,在实验中随机出现，每个脸-词刺激呈现时间为1s，两个刺激间由表1人口统计学变量分析Tab.1Analysisofdemographicvariables重度抑郁健康对照X?/P性别X2=0.065,14/1715/16（男/女）P=0.799年龄/岁39.10 9.6035.90 8.40P=0.168教育程度/年10.39 3.859.52 2.16P=0.277PHQ-918.52.4.630.94 1.37P0.001高兴巷伤悲伤高兴(a)(b)(c)(d)图1实验刺激材料。（a）高兴一致；(b)悲伤一致；(c)高兴不一致;(d)悲伤不一致Fig.1Experimental stimulusmaterials(a)Agreement on happiness;（b)Agreementonsadness;（c）D i s a g r e e m e n t o n h a p p i n e s s;（d)Disagreement on sadness设为0 s。s及大于S的反应同样2）将反应时小于0.5455期侯峰，等：基于行为与事件相关电位的机器学习重度抑郁识别研究注视点连接。为确保被试在整个试验过中，均保持较高的注意水平及唤醒度，刺激间隔ISI（i n t e r s t i mu l u s i n t e r v a l，ISI)被设置为3 5s不等，具体流程如图2 所示被试被要求将左手食指置于“F键，右手食指置于“J键”，并对面孔情绪效价做出反应，若面孔情绪效价为“高兴”，则左手按键；若面孔情绪效价为“悲伤”，则右手按键。被试需在忽略文字情绪效价的前提下，又快又准地对面孔情绪效价做出反应。1.1.5数据采集1.1.5.1行为数据采集实验全程在一个干燥、温度适宜且光线柔和的电磁屏蔽室内进行。实验程序由E-prime2.0编制，并由DELL17-1的显示器与IBM计算机呈现。行为数据为被试对实验刺激的按键反应所产生的反应时与正确率，其由E-prime程序在实验过程中自动采集。1.1.5.2ERP类数据采集研究采用ECI（e l e c t r i c a l g e o d e s i c s，i n c）提供脑电采集系统，其由12 8 通道的HCCSN（h y d r o c e lgeodesic sensor net）密集阵列系统（见图3）、NetAmps200脑电信号放大器和基于MAC系统的NetStation（v 4.5.4）控制软件组成。EGI电极帽是12 8 导的生理盐水电极。在实验过程中，所有电极的阻抗均被降至7 0 kQ以下，选用250Hz的采样率采集被试的脑电信号1.1.6数据预处理1.1.6.1行为数据预处理通过E-prime软件采集重度抑郁患者及健康对照个体对4种实验刺激条件（高兴一致、高兴不一1000ms3.0005000ms1000ms30005000ms时间1000ms高兴高兴一致悲伤一致高兴不一致悲伤不一致图2情绪脸-词Stroop具体实验流程Fig.2The specific experimental process ofemotional face-word StroopOOOOOQQOQ图3EGI128-channel密集阵列系统Fig.3EGI128-channel densearray system致、悲伤一致及悲伤不一致）进行按键响应的反应时（reactiontime，RT）以及通过计算得到的每种条件下的响应正确率（accuracy，A CC）。对采集到的反应时进行了以下处理：1)将错误反应的反应时设为0 s；通常统计学分析会将被试的错误反应等相关数据剔除，但此操作将导致被试行为数据量不一致的情况出现。因此，本研究则在保证数据对齐的同时，将正确率信息隐含于行为数据中，即倘若某一被试在实验过程中错误反应越多，其正确率越低，相对应其行为数据内的0 s数据数量也相应增加1.1.6.2ERP数据预处理脑电数据在采集过程中，经常会存在无法避免的噪声干扰，常见的噪声伪迹包括交流电50 Hz干扰、出汗性伪迹（出汗引起的高波幅且不规则的缓慢波动）、肌电伪迹（头皮下的肌肉收缩）、眼动伪迹（包括垂直眼电和水平眼电）以及血管性伪迹（包括脉搏伪迹及心电伪迹）。除此之外，还会有诸如电极故障、被试头部移动导致电极移动甚至放大器饱和等噪声伪迹出现。此类噪声伪迹会导致后续脑电信号分析结果失真，对后续研究影响巨大。因此，为保证研究的有效性及严谨性，本研究在对脑电数据分析前，对其进行预处理，以达到去除伪迹的目的。预处理流程如图4所示，具体流程如下为1）电极校准。由于EGI脑电采集系统的预设546中42卷生医国报学程学物0.1-30Hz带通滤波主成分分析PCA去伪迹原始脑电信号清洗信号检测坏导并插值补全重参考至全脑均值依据mark划分epoch以-2 0 0-0 ms为基线校准提取ERP以10 ouv为阅值剔除epoch同刺激类型叠加平均图4脑电数据预处理流程Fig.4EEGdatapreprocessingprocess电极位置与真实情况可能存在一定差异，因此首先将电极位置文件替换为实验真实采用的电极位置信息。2）带通滤波。通过0.1Hz的高通滤波器和30Hz的低通滤波器对采集的原始EEG数据进行带通滤波，以达到消除低频漂移和高频交流电50 Hz干扰的目的。3）主成分分析（principalcomponentanalysis，PCA）。本研究使用PCA对滤波后的EEG数据进行眼部运动伪迹、心电伪迹及肌电伪迹的检测，后通过人工去除的方式，对6 2 名被试的EEG数据中含有的相关伪迹手工剔除。4)坏道检测。对故障电极或存在接触问题的电极信号进行检测，而后基于其周围电极信号，对问题导联数据进行插值替换，从而消除因电极故障导致的数据失真情况。5）重参考。本研究采用全脑平均参考，即参考数据由全脑所有脑电信号数据的均值计算得出，对经上述预处理步骤的脑电数据进行重参考操作。6)数据分段。本研究共包含四种刺激条件，分别为高兴一致、高兴不一致、悲伤一致以及悲伤不一致（详见2.4），研究为每种刺激类型均编制了不同的Mark信息，并添加进脑电数据，为了测量不同实验刺激出现后的ERP成分，依据Mark信息将EEG数据划分为16 0 个epoch，每个epoch提取了对应实验刺激出现前0.2 s至实验刺激出现后0.8 s，共计1s的EEG信号片段。7)剔除坏段。为保证数据有效性及研究的严谨性，本研究对划分好的信号片段进行“坏段”检测，采用10 0 V为阈值，倘若在信号片段内某电极信号超过这一阅值，则将这段数据进行标注，之后人工对其进行审核，若出现脑电信号大范围漂移等情况，则将这一段数据进行剔除处理8叠加平均。对经上述步骤处理过后的相同刺激条件下的EEG信号片段进行叠加平均，并以实验刺激出现前0.2 s的脑电信号为基线，对叠加平均后的脑电信号执行基线校正操作，之后便得到这一刺激条件下的ERP数据。9)依照每种成分出现的时间顺序，将ERP数据依次排列。以单个被试为例,P1成分选用了3个电极，每个电极有10 个点,则P1成分即为310 的数据。由于情绪脸-词Stroop范式共分为4种条件，因此依照高兴一致、高兴不一致、悲伤一致及悲伤不一致的顺序，将每种刺激条件下的P1成分数据进行纵向拼接，即得到12 10 的数据。而后依次拼接N2、P3b 及LPP成分数据，最终得到4410 的数据本研究一共包含31名重度抑郁患者和31名健康被试，因此总数据量为6 2（4410）。待检测ERP成分选用电极及时间窗见表2。表2 待检测ERP成分选用电极及时间窗Tab.2Electrodes and time windows for ERP componentsto betestedERP成分选用电极时间窗/msP101,0z,0280140N2Fz,FCz,CPz230290P3hP7,P8350410LPPCP1,CPz,CP24507505475期侯峰，等：基于行为与事件相关电位的机学习重度抑郁识别研究值得注意的是，此处各ERP成分均使用EEGlab提取自相应的时间窗下的波幅处。P1、N2、P3b及LPP成分都是经典的ERP成分，其中P或N代表经刺激诱发后产生的电位为正波或负波，后面紧跟的数字代表该成分在刺激出现后呈现的时间。10)数据归一化：为最大限度保留电极与电极间存在的空间特征，本研究对每个被试每一导的ERP数据均使用Z-score分数对数据进行归一化，计算公式如下：一(1)X=式中，为标准差。1.2方法1.2.1基于行为数据的重度抑郁识别实验共有4种条件，每种条件有40 个trial，被试对每个trial均会产生一个反应时数据，则有40 4共计16 0 个反应时数据，重度抑郁患者及健康对照个体各有31人，即总数据量为6 2 16 0。训练集、验证集及测试集均为随机划分，数据量比值为7：2：1。由于该重度抑郁识别实验为小样本实验，故通过K折交叉验证的方式，以使得分类结果更为客观准确，提升结果的说服力，其中K=10。分别选用传统机器学习、集成学习以及深度学习模型进行对比研究。具体而言，选用SVM、极端梯度提升树（extremegradient boosting，XCBo o s t）、轻量级梯度提升机（lightgradientboostingmachine，LightCBM）、CNN、长短期记忆网络（longshort-termmemory，LST M）以及时间卷积网络（temporalconvolutionalnetwork，T CN）模型进行实验，各训练20次，并进行十折交叉验证。其中，SVM模型采用SVC（C，k e r n e l，d e g r e e，g a mma)函数定义二元分类器。其中主要参数设置为C=1.0,kernel=径向基函数（radial basis function，RBF），d e g r e e =3gamma=scale。XCBo o s t 和LightGBM模型则均使用 Scikit-learn(http:/scikit-)中的默认参数进行研究所采用的CNN模型具有两层卷积层，每层filters均选择为32，选用修正线性单元（rectifiedlinearunit,ReLU）作为激活函数。由于输入数据较小，为获取更为全面的特征，本研究使用较小的卷积核进行运算，其大小为3。之后为最大池化层，其中pool_size被设置为2。而后应用Dropout算法并设置为0.2 以防止模型过拟合。最后一层是激活函数为Sigmoid的全连接层，而后输出识别结果。具体模型架构如表3所示。LSTM模型则选用双曲正切函数（hyperbolictangentfunction，T A NH）作为激活函数，每层均有8 0个神经元，且同样应用Dropout算法并将其设置为0.3以防止模型过拟合。最后一层是激活函数为Sigmoid的全连接层，而后输出识别结果。具体模型架构如表4所示。对于TCN模型而言，每层filters被设置为2 4，且均选用ReLU作为激活函数，卷积核大小与CNN保持一致，同样被设置为3，膨胀率则分别为1、2、4和8，在每层后将Dropout_Rate设置为0.2 以防止模型过拟合，并在运算期间使用残差网络，以允许信息的跨层传递。最后一层是激活函数为sigmoid的全连接层，并输出识别结果。具体模型架构如表5所示。表3CNN模型架构Tab.3CNNmodel architectureLayersStructuresConv.+ReLU1(Kernel:32,3)Conv.+ReLU2(Kernel:32,3)Maxpooling3(Pool_size:2)4Dropout(Rate:0.2)5Dense+Sigmoid表4LSTM模型结构Tab.4LSTM model structureLayersStructures1Units:80+tanh2Dropout(Rate:0.3)3Units:80+tanh4Dropout(Rate:0.3)5Dense+Sigmoid表5TCN模型架构Tab.5TCN model architectureLayersStructuresConv.+ReLU1(Kernel:24,3)Dilations:1,2,4,82Dropout(Rate:0.2)Conv.+ReLU3(Kernel:24,3)Dilations:1,2,4,84Dropout(Rate:0.2)5Dense+Sigmoid54842卷中庄报学程医国学物1.2.2基于ERP数据的重度抑郁识别1.2.2.1传统机器学习方法与基于行为数据的抑郁识别一致，本部分同样选择 SVM、XG Bo o s t、Li g h t G BM、CNN、LST M 及 TCN等6 种机器学习模型，对ERP数据进行重度抑郁识别的有效性进行比较检验。因脑电数据是由分布于大脑脑区所对应位置的头皮电极采集，故电极间存在一定的空间特征，为更好的获取这些特征，采用二维CNN网络对脑电信号进行识别研究。具体而言，每层filters均选择为6 4，选用ReLU作为激活函数。与3.1部分一致，由于输人数据较小，同样使用较小的卷积核进行运算，其大小为33。池化方法选用最大池化法，其中pool_size被设置为2 2。并为防止过拟合，使用dropout算法对数据进行调整。最后通过激活函数为Sigmoid的全连接层以输出识别结果，具体模型架构如表6 所示。其余模型架构均与前文采用的模型架构保持一致。表6 二维CNN模型架构Tab.6Two-dimensional CNN model architectureLayersStructuresConv.+ReLU1(Kernel:64,3 3)Conv.+ReLU2(Kernel:64,33)3Dropout(Rate:0.2)Maxpooling4(Pool_size:2 2)5Dense+Sigmoid1.2.2.2行为脑电并行时序卷积神经网络重度抑郁症患者的行为数据及ERP数据中均包含了大量病症相关特征，但目前并没有可同时使用这两类特征的相关模型。同时ERP数据电极与电极之间存在大量空间特征，而单一电极上则存在大量的时序特征。据此，为了更好的进行重度抑郁症的诊断,本研究提出了一种基于行为及ERP数据的多模态深度学习神经网络一一行为脑电并行时序卷积神经网络（behavior-ERPparalleltemporalconvolution neural network,BEPTCNN)BEPTCNN模型架构：采用一维CNN网络以获取患者的行为数据特征，同时使用一个二维CNN网络，以获取电极与电极间的空间信息特征，并且使用一个一维的TCN网络，以获取时序信息特征，最后将由3个网络输出的3种特征拼接处理，作为BEPTCNN模型的特征，最后进行重度抑郁识别。模型结构如图5所示具体模型架构及参数如表7 所示，其中本研究将ERP数据相关的CNN及TCN网络中的激活函数均由常用的ReLU调整为指数线性单元（e x p o n e n t i a l l i n e a r u n i t,ELU）。这是因为ELU如ReLU一致的正值特性，同样可缓解梯度消失的问题，且ELU存在负值，可使得让输出值的均值更趋近于O，从而达到正则化的目的。同时ELU的负值由指数函数计算得出，可有效处理脑电数据存在的噪声干扰。行为数据输入层卷积层池化层2DERP输入层卷积层池化层原始脑电ERP输出1DERP输入层隐含层输出层特征拼接全连接层图5BEPTCNN模型架构Fig.5BEPTCNNmodel architecture5495期侯峰，等：基于行为与事件租关电位的习重度抑郁识别研究表7 BEPTCNN模型架构及参数Tab.7BEPTCNN model architecture and parametersStructuresLayersBehavioral data1D-ERP2D-ERPConv.+ELUConv.+ReLU(Kernel:3,24)Conv.+ELU1st(Kernel:3,32)Dilations:(Kernel:33,64)1,2,4,8Conv.+ReLUDropoutConv.+ELU2nd(Kernel:3,32)(Rate:0.2)(Kernel:33,64)Conv.+ELUMaxpooling(Kernel:3,24)Maxpooling3rd(Pool_size:2)Dilations:(Pool_size:22)1,2,4,8DropoutDropoutDropout4th(Rate:0.2)(Rate:0.2)(Rate:0.2)5thOutputlOutput2Output36thDense（O u t p u t l +O u t p u t 2 +O u t p u t 3)+Si g m o i d为比较BEPTCN与其他机器学习模型的重度抑郁识别性能，采用控制变量法，使用与前文中所提到的相同数据进行对比研究1.2.2.3评价指标以正确率（accuracy，A Cc）、F1分数（Fl-score，F1）、召回率（Recall）、特异率（Specificity）、阳性预测值（positivepredictivevalue，PPV）及阴性预测值（n e g a t i v e p r e d i c t i v e v a l u e,NPV）作为评价指标，判断基于行为数据进行重度抑郁识别的有效性，以及探寻识别效果最优的机器学习模型，以更好地帮助未来计算机辅助诊断重度抑郁工作。1.3验证流程首先使用6 种机器学习模型SVM、XG BO O ST、LightCBM、CNN、LST M、T CN，在6 个评价指标下，采用10 折交叉验证，分别在行为数据和ERP数据上进行重度抑郁识别。然后，基于所提出的BEPTCNN，使用与之前实验的相同脑电及行为数据和评价指标进行重度抑郁识别实验后对比。22结果2.1基于行为数据抑郁识别结果实验结果发现，在6 种机器学习模型中,SVM、XCBOOST、Li g h t G BM、LST M、T CN的重度抑郁识别效果较差。在ACC、F1-s c o r e、Re c a l l、s p e c i f i c i t y、PPV及NPV等6 个指标下，CNN均得到了最优结果。各机器学习模型的对比情况如图6 所示。CNN的重度抑郁识别正确率达8 9.7 6%19.18%,F1分数也F110.90.80.7ACC0:6Recall0.4+SVM0.302-XGBoost0.1-LightGBM0-CNN+ISTMTCNPPVNPVSpecificity图6不同机器学习模型在各指标下的比较情况Fig.6Comparison of different machine learning modelsundervarious indicators表8 基于行为数据的传统机器学习及集成学习重度抑郁识别结果Tab.8Recognition results of severe depression based ontraditional machine learning and integrated learning basedonbehavioral dataSVMXCBoostLightGBMF10.68 0.210.58 0.170.60 0.23ACC/%74.5215.8360.95 16.1662.86 22.79Recall/%60.83 26.6654.1718.1157.5023.06Specificity/%88.33 19.3367.50 27.3468.33 29.87PPV/%87.5022.6566.6724.8567.50 26.77NPV/%72.17 16.8058.67 13.0560.17 25.39注表中加粗为最优结果。NoteThe bold parts in the table represent the optimal results.表9基于行为数据的深度学习重度抑郁识别结果Tab.9Recognition results of major depression based onbehavior