基于多模态生理信号特征融合的情感识别方法.pdf

针对单模态生理信号情感识别率不高，稳定性不足等问题，提出一种基于眼动和光电容积脉搏（Photoplethysmogram，PPG）多模态特征融合的情感识别方法。从眼动和PPG的浅层特征中使用卷积神经网络FECNN提取深层特征，采用特征层融合的方法将深浅层特征进行融合。使用长短期记忆网络（LSTM）作为分类器，将融合后的多模态特征作为LSTM的输人，实现高兴，感兴趣，困惑和无聊四种情感识别。采用在线视频学习场景下采集的数据对上述模型进行训练和评估。使用眼动单模态浅层特征的最高识别率为7 1.2 5%，PPG单模态浅层特征的最高识别率为7 3.40%，基于FECNN-LSTM的眼动和PPG多模态融合情感识别方法取得平均识别准确率达8 4.6 8%，实验结果表明，上述模型能充分利用眼动和PPG中的情感特征信息，提高了情感分类准确率。关键词：情感识别；多模态；卷积神经网络；长短时记忆网络；特征层融合中图分类号：TP399文献标识码：BEmotion Recognition Method Based on Feature Fusionof Multimodal Physiological SignalsCHEN Xin-yi3,TAO Xiao-mei*1,2(1.School of Computer Science and Engineering&School of Software,Guangxi Normal University,Guilin Guangxi 541000,China;2.Guangxi Key Lab of Multi-Source Information Mining and Security,Guangxi Normal University,Guilin Guangxi 541000,China;3.School of Information Science and Engineering,Guilin University of Technology,Guilin Guangxi 541000,China)ABSTRACT:Aiming at the problems of low emotion recognition rate and insufficient stability of single-modal physi-ological signals,an emotion recognition method based on multi-modal feature fusion of eye movement and photople-thysmogram(PPG)is proposed.From the shallow features of eye movement and PPG,the convolution neural networkFECNN is used to extract the deep features and the feature layer fusion method is used to fuse the deep and shallowfeatures.The long-term and short-term memory network(LSTM)is used as the classifier,and the fused multimodalfeatures are used as the input of LSTM to realize four emotion recognition:happiness,interest,confusion andboredom.The model is trained and evaluated by using the data collected in the online video learning scene.The high-est recognition rate of eye movement single-mode shallow features is 71.25%,and the highest recognition rate of PPGsingle-mode shallow features is 73.40%.The average recognition accuracy of eye movement and PPG multimodal fu-sion emotion recognition method based on FECNN-LSTM is 84.68%.The experimental results show that the modelcan make full use of the emotional feature information in eye movement and PPG and improve the accuracy of emotion基金项目：国家自然科学基金项目（6 190 6 0 51）；广西自然科学基金项目（2 0 18 GXNSFBA050029）；桂林理工大学博士科研启动基金(GUTQDJJ2005015)收稿日期：2 0 2 1-11-11修回日期：2 0 2 2-0 2-11176classification.KEYWORDS:Emotion recognition;Multimodal;Convolutional neural network;Long and short memory network;Feature-level fusion1引言随着人工智能的快速发展，情感智能也逐渐受到研究者的重视。情感计算是赋予计算机识别，理解，表达和适应人情感的能力1，使其能够感知用户的情感状态，适时做出正确的响应。情感识别是情感计算研究的关键问题之一，对人机交互等各种不同场景下都具有重要意义。生理信号的变化由人体生理系统自发产生，不受个人主观意愿控制2 ,能为情感识别提供准确可靠的依据。此外，随着科学技术的发展，采集生理信号的设备日渐完善，具有便于携带，非侵人式，信号稳定的特点，因此基于生理信号的情感识别研究具有很大的实用价值。当前国内外融合眼动和PPG两个模态的情感识别研究较少，多是使用眼动单模态分类情感或者眼动融合脑电等其它生理信号或者PPG融合其它生理信号来提升识别准确率。如Bradley3的研究表明瞳孔的扩张与情感状态相关。Tarnowski41使用注视扫视和瞳孔直径相关特征实现三种情感分类,支持向量机最高识别率8 0%。ZhengWei-Long5使用深度神经网络融合EEG和眼动信号识别4种情感，平均识别率为8 5.11%。上述研究表明眼动数据中包含丰富的情感信息，融合其它生理信号能提高识别率，因此本文尝试将眼动与PPG信号融合进行情感分类。PPG是一种叫做光电容积脉搏波描记的容积测量方法，通过光学技术测量血流速率以及血液中容量的变化。心率（H e a r t R a t e,H R）、心搏间期和心率变异性（Heart RateVaria-bility,HRV)等与情感变化相关的生理指标均可以通过光电脉搏信号计算得出6 。HRV是指连续心跳之间的时间间隔变化，是个体情绪和心理状态的重要指标，能够很好的表征情感状态的变化7 。此外，脉搏信号相比脑电，呼吸等生理信号，采集方式更便捷，包含的情感特征更丰富8 。研究中常用PPG的深度层次特征9,10 、时频域特征1 以及心率相关的特征进行情感分类。然而单个模态的生理信号进行情感识别的研究具有一定的局限性，不同模态的生理信号具有互补性和相关性。以上文献只是使用了单一模态生理信号的时频域特征或者单一模态的时频域特征融合深层特征或者多种模态生理信号的时域特征，未进行多模态生理信号的时频域特征融合深层特征，因此本文尝试使用眼动和PPG双模态生理信号的时频域特征融合深层特征进行情感分类。本文采用眼动信号与PPG信号进行分析，提取与情感状态相关性显著的眼动时域特征和PPG信号的时域、频域特征，进行浅层特征融合，提出特征提取卷积神经网络(Feature Extraction Convolutional Neural Network,FECNN)进行深度特征提取，使用LSTM进行情感分类，最终验证了眼则动和PPG信号的特征之间存在互补性，以及本文的基于FECNN-LSTM的眼动和PPG多模态融合模型的有效性。当前基于PPG信号等生理信号的研究识别的情感种类较少，且识别率较低，与眼动特征融合后，识别性能得到较大提高。2数据采集与特征提取2.1数据采集实验及预处理本研究开展了一个数据采集实验，采集了6 2 名在校大学生在使用计算机观看学习视频时的表情、眼动和PPG等数据。选取四个不同主题总时长约为35分钟的视频作为刺激素材来引发困惑，感兴趣，高兴，无聊四种情感。实验前被试签署了知情同意书，允许数据用作科研目的。由于PPG原始数据的采集过程中会受到电磁干扰，光照影响，运动伪差等干扰而产生噪音，而PPG信号的有效带通在0.8-10 Hz之间，因此设定高通过滤器阈值为1Hz过滤掉信号在低频处产生的漂移，设定低通过滤阈值为10 过滤高于10 Hz的噪声干扰。并使用5s的滑动窗口划分时间片段。2.2特征提取2.2.1浅层特征提取浅层特征由同步时间窗口内的PPG时频域特征和眼动时域统计特征构成。对每个时间窗口的脉搏序列信号等间距采样选取N点构成离散序列，进行离散傅里叶变换得到频域序列，其中k为离散频率变量，W为正变换核，j为虚数单位。计算公式如下式(1)(6)N-11X(k)x(n)Wn,k=o,1,.,N-1(1)/Nn=02TnkWexpN由欧拉公式e=cos n jsin n(2)W=exp(-j2nk)=cos2nk-jsin2nk(3)此时X(k)为复数，X(k)=R(k)+jl(k)(4)R(k)为实部,I(k）为虚部。则频域序列的每个点的相位值为I(k)p(k)arctan(5)R(k)频率谱为：I X(k)I=VR(k)+(k)(6)下图1示的是某被试在观看刺激素材时的HRV频域数据根据高低频率划分若干频段。图中PSD代表HRV的总功177率密度谱，VLF表示处在频段0-0.0 4Hz的极低频功率，LF表示处在0.0 4-0.15Hz的低频功率，HF表示处在0.15-0.5Hz的高频功率，LF/HF表示低频和高频功率的比值。YunitXUnitH0.000.050.100.150.200.250.300.350.40Total Power:40068.72msLF/HF:0.72图1HRV频域划分设HRV序列为R=R,R,.R,R 表示i时刻HRV的值，N代表序列长度。HRV时域特征计算公式如下式（7)（10）。R R 间期差值均方根RMSSD的计算公式如下式(7),其中 RR,=R(i+1)-R;。1NRMSSD=(RRi+1-RR?)(7)Ni=1标准差SDNN公式如下NZ(RR,-MEAN)1SDNN(8)N其中NRRi=1MEAN=(9)N峰值间期大于50 ms的百分比PNN50RR;50PNN50100%(10)N根据每个模态得到的特征采用主成分分析（PCA）法筛选出与情感状态显著相关的眼动和PPG特征。实验分析最终选取了32 个眼动特征以及40 个PPG特征，具体列举如下表1所示。表1通过PCA方法选取的浅层特征模态指标浅层特征注视次数，注视时长，注视速度等的统计眼动注视特征扫视次数，扫视时长，扫视速度等的统计扫视特征左右瞳孔直径变化率，左右瞳孔直径，瞳瞳孔直径孔均值等的统计特征HR均值,HR最值,HR一阶差分,HR二PPGHR阶差分等时域特征模态指标浅层特征HRV一阶差分，二阶差分,SDNN,RMSSD，HRVPNN50,PNN20等时域特征;PSD,LF,HF,VLF,LF/HF五个频域特征RPeaks峰值和，峰值一阶差分等时域特征将同步时间窗口内的眼动统计特征和PPG时频域特征进行特征层融合后构成浅层特征，得到一个7 2 维的组合特征向量。由于存在个体差异，不同人的生理信号基线值不同，因此需要去除个体的基线值，将眼动和PPG的每种情感特征用平静状态下的相应特征值作标准化，用min-max归一化将特征值映射到0,1 区间内。2.2.2深层特征提取针对人工提取特征容易受到多方因素影响的问题，情感识别领域中的研究常采用CNN,DBN等自适应提取特征，以减少手工设计特征的不完整性，消除手工特征提取过程中产生的伪影12-15,如Mohammad16等人使用无监督深度信念网络从EDA，PPG 和EMG中提取深层特征，然后将三种模态的深层特征与统计特征进行特征层融合，实现五种情感的分类。陈景霞等17 基于EEG的时频域以及组合特征，提出使用CNN进行特征学习与分类。上述研究表明CNN能有效提取各种模态信号的深层特征。因此将CNN应用到本研究中，将眼动、HR和RPeaks的相关特征以及HRV时频域特征作为深度模型的输人，探究这些特征的深层特征是否与情感状态显著相关。本文通过改进MinSeop18提出的一维深层卷积神经网络结构构建了一个FECNN网络模型（FeatureExtractionCon-volutionalNeuralNetwork，FECNN）用来自适应提取眼动和PPG的深度特征，FECNN网络结构如下图2 所示。FECNN网络中特征提取部分由连续的卷积层和池化层构成，卷积层用来提取输人数据的深层信息，池化层用于对获得的特征图进行降采样处理，以减轻网络过拟合程度。FECNN的输人是一个7 2 1的向量，共有4个卷积层，分别是Convl,Conv2，Conv3,Conv4。每个卷积层都包含一个一维大小为31的卷积核，一个带有2 1过滤器的最大池化层和一个正则化Dropout层。Dropout层以概率0.5使部分神经元失活以防止模型出现过拟合。每个卷积层的步长设为1,使用Relu作为激活函数。卷积层Conv4后叠加一个Flatten展平层，然后用一个Dense层把Flatten层输出特征压缩成6 41维的深层特征。用皮尔逊相关系数选取与情感状态相关的深层特征，共Fulconnedted layerSolumaxcasulferiput71dimenakonafCoyaPoling loyerPoolne layervector32:3*1PoolinglayerPooling layerCoNv3Coniv4Con2128:31256:33164.31图2FECNN网络结构图17857维，再与浅层特征进行特征层融合，输出一个12 91维的特征向量，用于下一步情感分类器的输人。3基于FECNN-LSTM的多模态融合情感识别模型3.1长短时记忆单元长短时记忆网络（LongShort-TermMemory，LST M）是循环神经网络的一种变形，常用于分析时间序列数据。近年来研究中常用LSTM分析生理信号,如朱兆坤等19 使用LSTM学习经过融合的ECG和呼吸信号的浅层特征，胡章芳等2 0 使用LSTM实现脑电特征分类。考虑到PPG信号和眼动信号也具有时序特性，因此本文使用LSTM作为情感分类器。LSTM由输人门，遗忘门，输出门和内部记忆单元组成，通过有效利用计算机内存，决定网络何时遗忘以前的隐藏状态，何时更新隐藏状态，用于解决RNN在处理有限长度的序列数据在反向传播过程中出现的梯度消失和爆炸问题。LSTM网络结构单元如下图3所示。图3中其i代表输人门单元的输出，f代表遗忘门单元的输出，o，代表输出门单元的输出，c，代表内部记忆单元，h，为隐藏单元的输出。图中g代表sigmoid激活函数。tanhtanhh遗忘门输入门输出门图3LSTM结构图假设x，为t时刻LSTM单元的输人，W和U表示权重，h,-1为上一层隐藏单元的输出。具体描述如下式（11）（16)所示。i,=o(w(W,x)+u(U,ht-1)(11)f.=o(入w(Wfx,)+入u(Uht-1)(12)0,=o(入w(W,x。)+A u.(U.h t-1)(13)c,=tanh(w(W,x,)+ue(U,ht-1)(14)c,=fct-1+ic(15)h,=o,tanh(c,)(16)由式（14）（16），时刻t隐藏单元的最终输出h，由前一个时间点隐藏单元输出h-和当前时间点输入x，共同决定，实现了记忆功能。通过3个门控单元的设计，LSTM记忆单元能选择性保存和更新长距离的信息，这有利于学习PPG信号和眼动的序列特征信息。3.2基于FECNN-LSTM的双模态情感识别本节主要介绍利用FECNN-LSTM模型进行双模态情感识别的过程。如下图4所示为本文提出的基于CNN-LSTM的眼动和PPG多模态融合情感识别模型结构图。使用图2所示的FECNN提取没有伪影的深层特征，经过FECNN网络的全连接层输出，然后与浅层特征进行特征层融合得到浅层+深层特征向量，输人到LSTM进行训练，以捕捉特征信号在时间序列上的变化规律并学习多个特征在同步时间窗口内的关系。本文设计的LSTM网络具有3个隐藏层，隐藏单元数分别为32,6 4,7 2。将表1展示的浅层特征和FECNN提取的深层特征作为LSTM的输人，训练阶段通过反向梯度传播更新网络权重，为了优化损失函数摆动幅度过大的问题，加快函数收敛速度，选择自适应学习率动态调整算法作为优化算法。使用多分类的交叉摘损失函数来评估当前训练得到的概率分布与真实分布的差异情况。在每个LSTM层后使用dropout防止训练过拟合减少特征的相互作用。输出层使用softmax激活函数进行分类,输出一个由4个概率组成的二维数组,代表样本数据属于某种情感的概率值。LSTM最后输出感兴趣、高兴、困惑和无聊四种情感状态中的一种4实实验结果分析4.1基于浅层特征的单模态情感识别实验为验证眼动和PPG融合能提升识别性能，本文选取了目前在PPG信号情感识别研究中分类性能较好的支持向量注视、瞳孔和扫视眼动信号的统计特征FECNN情感状态分类：HR、H R V和peak感兴趣浅层的时域特征特征深层特征浅层+深层特征LSTM快乐/困惑/无聊PPG信号HRV的领域特征特征层融合图4基于CNN-LSTM的眼动和PPG多模态融合的情感识别方法模型结构图179机(Support VectorMachine,SVM），随机森林（RandomForest,RF）,K 近邻（k-Nearest Neighbor,KNN），和多层感知机（Mul-tilayerPerceptron，M LP）四种机器学习算法作对比实验。分别对17 96 个窗口下的眼动和PPG特征按照8:2 划分训练集和验证集，并使用十折交叉进行验证。表2 展示了对5s的时间窗口内的眼动特征和PPG特征分别使用上述分类器进行情感分类得到的平均识别率，平均召回率和F1分值。表2眼动和PPG单模态浅层特征识别结果模态分类器平均识别率/%平均召回率/%平均F1分值眼动RF7169.2570SVM69.756969.25KNN69.7568.7567.75MLP71.257271.5PPGRF73.47473SVM60.560.2560.5KNN67.567.567MLP70.2763.2563上述实验结果表明5s时间窗口的眼动单模态特征总体平均识别率为7 0.44%高于PPG单模态特征总体平均识别率6 7.91%。眼动和PPG单模态特征在RF分类器的分类效果较好，眼动模态在MLP的识别率最高为7 1.2 5%，PPG模态在RF的识别率最高为7 3.4%。PPG模态和眼动模态都适合使用随机森林算法进行分类。如下图5所示为PPG和眼动单模态用随机森林的分类结果用混淆矩阵表示，其中0代表感兴趣，1代表困惑，2 代表无聊，3代表高兴。由图5可以看出相比眼动信号,PPC与困惑和高兴两种情感相关性较高；相比PPG信号，眼动与感兴趣和无聊两种情感状态相关性较高，同时两种模态下困惑的识别率较低，有可能是因为采集的样本数量有限；选取的引发这两种情感的刺激材料不够准确，导致引发的这两种情感强度不够高；也有可能是被试之间存在个体差异导致引发的情感不一样等原因。4.2基于眼动和PPG特征融合情感识别实验本章节使用KNN、R F、SVM、M LP四种机器学习算法和LSTM网络分别对浅层特征、深层特征以及浅层+深层融合特征进行分类，实验结果如下表3所示。表3深层特征、浅层特征识别结果特征分类器平均识别率/%浅层特征KNN78.3RF79SVM73.5MLP76LSTM68.3深层特征KNN79.1RF80.3特征分类器平均识别率/%SVM78MLP77.4LSTM81浅层+深层特征KNN80.8RF81SVM79MLP81.3LSTM84.68confusionmatrix0.8080.0530.110.038-0.70.60.120610.230.035-0.5n.n0.420.0950.0780780.043-0.3-0.230.070.0180.088082-0.10123predict(a)PPG单模态的混淆矩阵confusionmatrix0.80.0680.0420.0170.70.60.23056020.0160.50.420.0960.10.0080.3020.180.0180.089-0.10123predict(b)眼动单模态的混淆矩阵图5PPG单模态(a)和眼动单模态(b)的混淆矩阵对表3进行分析，眼动和PPG的深层特征在四种机器学习算法中的平均识别率都高于其浅层特征在相应机器学习算法的平均识别率。说明深层特征比人工提取的浅层特征蕴含更多的情感信息，FECNN提取的深层特征能有效表征情感状态。同时深层特征使用LSTM网络的平均识别率比其在四种机器学习算法的平均识别率高，说明LSTM网络设计具有一定的合理性且LSTM能学习眼动和PPG数据的时序信息。特征层融合方法可以利用不同模态之间的相互联系。180对表2 和表3进行分析，通过计算浅层特征、深层特征在五种分类器下的平均识别率的均值，得出眼动和PPG浅层特征的平均识别率为7 5.0 2%，深层特征平均识别率为79.16%，浅层+深层特征融合平均识别率为8 1.36%，比只使用眼动或者PPG单一模态特征平均识别率高。其中RF、KNN、M LP的多模态准确率相比单模态都有所提升。实验结果表明眼动和PPG各自都提供了一部分独有的生理信息，通过这两种模态的融合，识别率明显提高，可见眼动和PPG特征之间存在互补性和相关性。使用LSTM网络对构成的浅层深层特征融合矩阵进行分类识别，识别准确率和损失值如下图6 所示。经多次试验，该模型在迭代到6 0 0 次后的准确率和损失值趋于稳定。迭代6 0 0 次后训练的该模型在验证集上的四种情感的平均识别率为8 4.6 8%，损失值为0.43。本文还将上述浅层融合深层特征进行跨模态转换为2 2 42 2 43的3维图片，作为深度学习模型的输人。微调了VGG16和ResNet50两个深度学习模型作为对比，模型使用早停法避免过拟合。如图7，8 所示分别为使用VGG16和ResNet50对提取的浅层+深层特征作分类得到的准确率和损失值。由图7,8 可以看出，VGG在选代到7 0 0 次时，验证集准确率稳定在7 4%，而ResNet模型在迭代到50 0 次时，验证集准确率稳定在7 0%左右。上述实验结果表明浅层+深层特征融合方法的识别率比只进行浅层特征融合或只进行深层特征融合的识别率高，FECNN-LSTMModelaccuracyTrain0.8Valid0.70.60.50.40.30100200300400500600Epoch(a)准确率Model loss1.4TrainValid1.21.0SSOT0.8-0.6100200300400500600Epoch(b)损失值图6基于浅层+深层特征多模态特征融合LSTM的准确率和损失值网络对于眼动和PPG多模态融合进行情感分类过程中分析长周期数据具有优势Model accuracy0.8Trainvalid070.60.50.40.3100200300400500600700Epoch(a)准确率Model loss1.4TrainValid1.21.01SSOT0.80.6100200300400500600700Epoch(b)损失值图7基于浅层+深层特征多模态特征融合的VGG16模型准确率和损失值ModelaccuracyTrain0.7Valid0.60.50.40.30100200300400500Epoch(a)准确率Model lossTrain1.4Valid1.31.21.1SSOT1.00.90.80.70100200300400500Epoch(b)损失值图：基于浅层+深层特征多模态特征融合的ResNet50模型准确率和损失值1814.3讨论与分析为了检验本研究方法中基于眼动和PPG模态融合情感识别的有效性，以及使用FECNN提取的深层特征与情感状态相关，能提高识别性能，下表4展示了一些使用其它生理信号（如EMG,EEG,ECG）进行情感识别的研究。从生理信号模态、情感类别、分类方法以及平均识别率四个角度进行对比。其中文献2 1 使用的是公开数据集SEED,其余研究使用的是实验室自建数据集。表4的前四项研究都是进行四种情感分类,从文献2 2 、【2 3 以及本文的识别率说明PPG单模态的识别率较低，融合了EMG或PPG,识别率提升了，说明了单模态情感识别分类效果较弱。从表4列举的七种方法中可以看出，眼动和PPG融合情感识别能有效提高可识别的情感分类和分类性能，且相比其它生理信号，眼动和PPG的采集过程比较简单，随情感变化较为灵敏，可在人机交互等多种场景下广泛应用。表4情感识别研究结果对比方法：模态情感分类分类方法平均识别率/%Lee 23PPG,EMG高/低效价，高/低唤醒CNN83Jiang-Jian 21EEG，眼动，眼部图片高兴，恐惧，伤心，厌恶DNN77.3JuSiHang 24 EEG,ECG高兴，放松，愤怒和悲伤DBN-LISVM80.47Zhaohui-DU22PPG愤怒，悲伤，兴奋，平静SVM62.17Seungji Lee 25瞳孔直径,EEG,PPG是否焦虑逻辑回归71.78Soleymani26EEG,瞳孔，注视效价，唤醒SVM72.45本文眼动、PPG高兴，感兴趣，无聊，疲劳FECNN-LSTM84.685结论本文提出一种基于CNN-LSTM的眼动和PPG多模态融合的情感识别方法。该方法利用CNN和LSTM提取眼动和PPG信号的深层特征，将深层和浅层特征融合后用LSTM实现情感分类。该方法为多模态生理信号特征融合提供了一种新思路。实验分别采用浅层特征、通过FECNN提取的深层特征，以及深浅层融合后的特征结合SVM、K NN、R F、M LP和LSTM五种分类模型进行情感分类，结果显示采用深层特征的识别准确率高于采用浅层特征，采用深浅层特征融合后识别准确率较两者有所提升，证实了眼动和PPG两种模态经过融合后可以有效提升识别性能。此外在LSTM模型上对眼动和PPG两种信号的分类效果优于VCG16、R e s Ne t 50等模型，其主要原因是眼动和PPG中包含时序信息，而LSTM能充分利用时序信息。今后，将探索更多模态的融合方式以及构建更好的模型来提升识别性能。参考文献：1 Jiang H,Jiao R,Wang Z,et al.Construction and Analysis ofEmotion Computing Model Based on LSTM J.Complexity,2021,2021.2Wen W,Liu G,Cheng N,et al.Emotion recognition based on multi-variant correlation of physiological signals J.IEEE Transactionson Affective Computing,2014,5(2):126-140.3Bradley M M,Miccoli L,Escrig M A,et al.The pupil as a measureofemotional arousalandautonomicactivationJ.Psychophysiology,2008,45:602-607.4Tarnowski P,Koodziej M,Majkowski A,et al.Eye-TrackingAnalysis for Emotion Recognition J.Computational Intelligenceand Neuroscience,2020:1-13.5Zheng W L,Liu W,Lu Y,et al.EmotionMeter:A multimodalframework for recognizing human emotionsJ.IEEE Transactionson Cybernetics,2018,49(3):1110-1122.6Lee H M,Kim D J,Yang H K,et al.Human sensibility evaluationusing Photoplethysmogram(PPG)C.International Conference onComplex,2009:149-153.7Rakshit R,Reddy V R,Deshpande P.Emotion detection and recog-nition using HRV features derived from photoplethysmogram signalsJ.Emotion Representations and Modelling for Companion Sys-tems,2016:1-6.8杨超.基于改进的EMD脉搏信号特征的情感识别方法D.重庆理工大学,2 0 15.9显浩，刘永利，连卫芳.EEG情感识别中基于集成深度学习模型的多分析域特征融合J.控制与决策，2 0 2 0,35（7）：141-147.10张娜，唐贤伦,刘庆.基于半监督学习的脑电信号特征提取及识别J.工程科学与技术,2 0 17,S2（49）：2 33-2 40.11葛臣，刘光远，龙正吉.情感识别中脉搏信号的特征提取与分析J.西南师范大学学报（自然科学版），2 0 10,35（3）：2 43-246.12田莉莉，邹俊忠，张见，等.基于改进的卷积神经网络脑电信号情感识别J.计算机工程与应用，2 0 19,55（2 2）：99-10 5.13卢官明,丛文康，魏金生，等.基于CNN和LSTM的脑电信号情感识别J.南京邮电大学学报（自然科学版），2 0 2 1,2 0 2 1(1):1-7.14陈田，陈占刚，袁晓辉，等。基于脑电信号瞬时能量的情感识别方法J.计算机工程与应用,2 0 19,45（4）：196-2 0 4.15刘国华.基于卷积神经网络的脉搏波时频域特征混叠分类J.吉林大学学报（工学版），2 0 2 0,50（5）：18 18-18 2 5.(下转第18 6 页)186上接第18 1页）顿，原始视频中第99顿 12 8 顿恰巧是3个周期，但因图像顿的插人破坏了连接处的像素带相关度，使数据的周期性发生了改变，因此像素带相关度的极小值为第95和第12 4个像素带的序列上。5结束语为了对被篡改的视频进行检测，提出融合顿内与间技术的数字视频篡改检测方法。该算法的核心是对时域上被篡改的可疑顿进行定位，再通过空域上定位出可疑顿的具体位置。利用顿间篡改方法的特点，利用直方图相交法对视频进行检测。为了验证本文方法的有效性，分别选择长度为266和412 顿的视频进行压缩，分别对原始视频中的第171帧、第2 0 1顿的运动物体进行移除操作，对第99顿 12 8进行替换操作，实验结果表明，本文方法可以准确定位出被篡改的视频顿，具有显著的有效性。参考文献：1 Index C V N.Forecast and methodology,2016-2021R.WhitePaper,2017-6.2卢贺楠，黄添强，林晶。基于动态阈值的顿复制粘贴篡改检测J.计算机系统应用,2 0 16,2 5(12)：10 8-116.3Iuliani M,Shullani D,Fontani M,et al.A video forensic frameworkfor the unsupervised analysis of MP4-like file containerJ.IEEE16Hassan M M,Alam M G R,Uddin MZ,et al.Human emotion rec-ognition using deep belief network architecture J.informationfusion,2019,51:10-18.17陈景霞，等.基于深度卷积神经网络的脑电信号情感识别J。计算机工程与应用，2 0 19,55（18）：10 3-110.18Lee M S,Lee Y K,Lim M T,et al.Emotion Recognition UsingConvolutional Neural Network with Selected Statistical Photople-thysmogram Features J.Applied Sciences,2020,10(10):3501.19 朱兆坤，李金宝.多特征信息融合LSTM-RNN检测OSA方法J.计算机研究与发展，2 0 2 0,57（12）：7 1-7 9.20胡章芳，崔婷婷，罗元，等.基于CBLSTM算法的脑电信号特征分类J.计算机工程与应用，2 0 19,55（2 4）：110-116.21Jiang-Jian,Guo,Rong,et al.Multimodal Emotion Recognitionfrom Eye Image,Eye Movement and EEG Using Deep Neural Net-works C.2019 41st Annual International Conference of theIEEE Engineering in Medicine&Biology Society（EM BC),2019:3071-3074.22杜昭慧.基于层次支持向量机的脉搏信号情感识别J.吉林大学学报,2 0 17,35(1)：37-42.Transactions on Information Forensics and Security,2018,14(3):635-645.4Afchar D,Nozick V,Yamagishi J,et al.Mesonet:a compact facialvideo forgery detection network C.2018 IEEE InternationalWorkshop on Information Forensics and Security(WIFS).2018:1-7.5Subramanyam A V,Emmanuel S.Video forgery detection usingHOG features and compression properties J.IEEE 14th Interna-tional Workshop on Multimedia Signal Processing.Banff,C