基于多模态情绪识别的研究进展.pdf

生 物 医 学 工 程 研 究 ():./.空军军医大学军事医学珠峰工程()通信作者:.基于多模态情绪识别的研究进展殷梦馨倪娜尉怀怀安飞许欣悦武圣君刘旭峰王秀超(.陕西中医药大学 公共卫生学院咸阳.空军军医大学 军事医学心理学系西安)摘要:情绪是对一系列主观认知经验的高度概括对人类的发展意义重大 而在人机交互领域情绪识别是实现机器智能化的关键一步 随着信息技术的发展目前针对该领域的研究主要集中在基于神经生理模态、基于外在行为表现模态以及基于多模态的情绪识别 本文从以上角度出发分别梳理了近年来情绪识别领域的发展进程和研究现状并对未来的研究方向进行了展望关键词:情绪识别多生理信号行为表现单模态多模态融合神经网络特征提取中图分类号:.文献标志码:文章编号:()(.):.:引言情绪是人对客观事物的态度体验以及相应的行为反应通常包含主观体验、外在表现和生理唤醒三部分 情绪无论在个体还是人际交往中都具有重要意义 因此近年来对情绪识别的研究逐渐成为不同领域的研究焦点在现有研究中根据采集信号的性质情绪识别方法一般分为两大类:一种是基于人体的行为学指标进行识别如易于采集的面部表情、手势、姿势等表现信号 另一种是基于生理信号进行识别如脑电、肌电、皮肤电等这类信号虽然采集条件极为严格但由于其难以被掩饰因而具有可靠的识别结果 近几年研究者在将情绪变化与各类信号建立稳定的联系时发现仅靠单一信号难以全面反应情绪状态 等分别探讨了现有的单模态和多模态情绪识别方法并进行批判性分析后证实多模态情绪识别的性能优于单模态 鉴于多模态情绪识别优势本文将重点对基于神经生理、外在行为表现模态及基于多模态情绪识别的常用方法和研究现状生物医学工程研究第 卷进行梳理并对未来的研究方向进行展望 基于神经生理信号的情绪识别研究情绪的发生发展与神经系统的活动相互影响因此可以在情绪变化和生理信号之间建立一个标准的固定关系以此判断情绪状态 为更好地区分生理信号根据神经系统产生的机理不同人体的生理信号可分为两类:一类与中枢神经系相关包括脑电信号及大脑的磁场活动等指标另一类则与周围神经系统相联系包括皮肤电信号、心电信号、呼吸信号、体表温度和肌电信号等.脑电信号已有研究表明情绪起源于大脑皮层和皮层下神经的协同作用过程也受下丘脑、边缘系统、网状结构和神经内分泌系统的共同调节 当神经系统受到情绪刺激时很难控制和伪装神经系统的活动因此来自人脑的脑电信号可真实、可靠地实现情绪识别脑电信号可在二维模型(效价和唤醒)上独立进行情绪识别因此是情绪识别最常用的生理信号之一 近年来随着脑科学的不断发展和信号处理技术的不断进步该领域也取得了一定的研究成果 王斌等面向多通道脑电信号提出一种基于条件格兰杰因果检验()的因果网络情绪识别方法将节点之间的因果连接关系作为特征分别输入支持向量机和 最近邻分类器进行分类训练识别率分别为.和.此外由于脑电信号的频率、时间和空间特征对情绪识别至关重要为更全面地获取多通道脑电信号的频率、空间和时间信息有研究选择多维特征结构作为人工神经网络的输入提出一种基于深度可分离卷积的神经网络模型提取输入结构的频率和空间特征最后使用有序神经元长短期记忆()网络进行建模 利用所提模型在 数据集上进行实验唤醒和效价的情绪识别平均准确率分别为.和.心电信号典型心电图心动周期中的波形是有规律可循的通常含有 波、波和 波其中以 波群最为显著 在 波段中 峰最为明显可通过测量 峰出现的时间间隔确定心率变异性不同的心率变异性对应不同的情绪状态 在一些关于焦虑和抑郁的研究中发现心率变异性也是诊断焦虑和抑郁等负性情绪的有效指标 因此越来越多的心理学研究支持心率变异性与情绪反应之间的联系为探究主观情绪与客观生理信号间的联系进一步丰富情绪识别相关研究 易慧等提出基于心率变异性特征信息进行多种情绪分类的识别方法 在实验条件下采用小波变换技术进行降噪处理提取心率变异性的时域、频域等特征参数最后利用改进的支持向量机算法实现情绪分类对于不同情绪的识别精度可达到 然而现实应用中为满足实时性要求多选择在线识别情绪因此减小个体差异建立一个可泛化的情绪识别模型将成为必要 等为解决现实需求采用一种基于心电信号的在线跨主体的情绪识别方法 在分类器训练阶段无监督域自适应()通过将源数据和目标数据投影到可以训练分类器的共享子空间以减少主体间差异在线识别阶段引入在线数据自适应()方法减少主体内差异以自适应时变心电信号然后通过训练的分类器可获得在线情绪识别结果 该方法在 上识别准确率分别为 和 并且对在线场景中的时变心电信号具有鲁棒性.皮肤电信号相比脑电和心电信号皮肤电信号是易被忽视的一项生理指标 在人体情绪发生变化时会影响皮肤的汗液分泌导致皮肤电水平变化对皮肤电信号进行采集根据其变化特征可对情绪进行分类研究 其中皮肤电导水平和电导反应是反应情绪的良好指标 国内有研究发现皮肤电反应基础水平的个体差异明显且与个性特征相关基础水平越高表明越紧张、内向、情绪不稳定、反应越敏感、越焦虑不安基础水平越低表明越外向、开朗、自信、心态比较平衡、心理适应好皮肤电信号通常与情绪的唤醒程度密切相关 鉴于皮肤电信号自身特性单模态下进行情绪识别的准确率较低且因个体差异性识别模型泛化能力差 何国柱等为提高皮肤电信号的情绪识别准确率和泛化能力通过皮肤电信号构建情绪识别机器学习模型对皮肤电信号进行多维度特征提取、归一化处理以及情感标签分析并在此基础上采用基于树模型的决策树和随机森林算法实现情绪的有效分类获得了较好的分类准确率和泛化能力在唤醒和效价度维度上的分类准确率分别达到.和.第 期殷梦馨等:基于多模态情绪识别的研究进展.呼吸信号在呼吸信号的各项参数中由于呼吸频率在不同情绪状态下存在差异性因此可作为情绪识别的重要特征参数之一 呼吸频率降低说明处于放松状态深呼吸、急促呼吸可表示快乐或愤怒呼吸暂时中断表示紧张不规则呼吸节律是负效价和唤醒的信号其中浅而急促的呼吸暗示集中注意或恐惧浅呼吸和缓呼吸与消极情绪有关在现有研究中基于呼吸信号进行情绪识别的研究文献匮乏呼吸信号的特征库特征数量不够丰富因此在已有的大部分研究中通常将呼吸信号的各项参数结合其他信号特征以实现情绪识别 但近些年也有针对上述问题提出基于呼吸信号进行情绪识别的新方法 相关研究引入 信息熵算法将构成呼吸信号的 信息熵特征集输入支持向量机和随机森林采用十折交叉检验与网格寻优确定最优算法参数构建呼吸信号的情绪识别模型一对一情绪识别率最高达到了.皮肤温度皮肤温度会随情绪状态不同而产生变化 当人处于极度兴奋的状态时常常会变得面红耳赤这是由于血液循环加速会导致皮肤温度上升而受到惊吓时产生恐惧情绪会使人面无血色体温下降 通过测量指尖皮肤温度发现在放松状态下扩张的血管会使指尖变暖在压力或焦虑时血管收缩指尖变冷皮肤温度在情绪效价识别中有一定偏向性相对于消极状态更容易识别积极状态在情绪识别中只能用于探测唤醒维度 此外皮肤温度的变化需要一定时间且整体变化幅度较小因此皮肤温度常作为辅助手段用于提高情绪识别的准确率 在最近的一项研究中 等采用脉冲神经网络()为多模态数据建立一个情感识别系统具体使用 框架对皮肤温度、呼吸信号、心电信号等情绪特征进行分类 结果表明在应用特征级融合 时 该 方 法 对 二 元 效 价 分 类 的 准 确 率 为.肌电信号肌电信号主要用于研究认知情绪和生理反应之间的相关性 其采集电极的放置位置范围较广包括咀嚼肌、皱眉肌、颧大肌和斜方肌等 有研究表明皱眉肌的电信号活动与愤怒和惊讶等情绪状态间存在显著相关性面部的肌电信号与不同情绪状态(快乐或不快乐)相关检测咀嚼肌的肌电图可确定受试者是否处于愤怒状态在情绪识别研究中肌电信号可对情绪一维效价进行较为准确的测量 因此在实验条件允许下肌电信号常作为辅助信号协同其他生理电信号进行情绪识别 目前由于采集眼电和肌电信号的设备成本低、无线便携、可穿戴已被广泛应用于情感识别 等使用人工神经网络和时域特征组合实现了眼电信号和肌电信号的最大分类精度整体识别准确率达到 此外由于人机界面和医疗保健等领域的发展利用肌电信号单模态进行情绪识别的潜能也逐渐被发掘 等尝试在效价情感维度中使用面部肌电图信号的光谱特征对情绪进行分类对采集的信号进行短时傅立叶变换并以 的间隔从信号中提取峰值频率值利用支持向量机分类器对提取的特征进行分类识别准确率达到.基于行为表现的情绪识别研究情绪有多种表达方式除在情绪产生时伴有生理指标的变化同时也伴有一定外在行为表现的变化 因此可通过身体的某些变化来进行情绪识别在以往研究中情绪的自动识别研究主要集中于面部表情和语音语调上但随着动作捕捉技术的发展姿态情绪识别成为情绪识别中不可或缺的一环 据不同文献研究发现在众多行为表现模态中面部表情、语音语调、身体姿态在情绪识别中可取得良好的识别效果 本节将简要综述该类模态的识别准确率.身体姿态目前关于非语言情绪识别的研究大多集中于面部表情但事实上一些情绪可能更易被肢体动作所表征 目前的研究表明特定的身体姿态可被视为特定情绪状态的表达 相对于情绪识别的其他行为模态人体姿态更具有直观性、不易被隐藏且由于不受大脑皮层直接控制能更真实地反应原始情绪过程近年来图卷积网络越来越受到研究人员的关注而人体骨骼结构是一种天然的图数据为基于骨骼点的肢体情绪识别提供了一个新途径 等在考虑关节的非局部相关性以及输入的噪音时提出全局图卷积收缩网络()其中全局连接用于构建适用于情感识别的骨架自然连接图将情感作为一个整体来感知图卷积收缩块减少噪音影生物医学工程研究第 卷响从而有效提取与情感相关的特征 在步态情绪数据集()上的识别准确率达到.面部表情心理学家通过研究发现日常生活中人们通过语言进行信息传递的信息量仅占总信息量的 而通过表情传递的信息量则占 通常情况下个体可表现出大量的面部表情并且多数情况下面部表情与情绪的对应关系趋于稳定且面部表情对六种基本情绪的表现具有普遍性 因此分析面部表情蕴涵的信息可很好地了解人类的意识和心理活动对于面部表情进行情绪识别的研究开始较早技术也相对成熟目前面部表情识别方法主要分为:传统方法和深度学习方法 传统方法主要使用手工特征或浅层学习进行面部表情识别 等提出了一种改进的人脸裁剪方案利用主成分分析法将变换后的手工特征与深度特征相结合在静态图像中识别六种基本面部表情 该方案在和 数据库上取得了较高的准确性识别准确率达到.然而随着图像数据的增多、数据集的扩充深度学习网络特别是卷积神经网络优势逐渐体现将基于卷积神经网络的深度神经网络应用到面部表情识别可同时提取数据集的特征和对数据集进行分类 等利用此优势提出基于深度学习的框架以提取更具特色和鉴别力的特征该识别系统在 数据集上识别准确率达到.语音语音在交流过程中承载着重要信息不仅包含文字符号信息也含有人们在不同情绪状态下的情绪信息 既往研究发现情绪变化和认知功能损伤均会对语音产生的生理机制(如与发声相关的肌肉系统、神经系统)和协调过程产生直接影响 此外语音语调对基本情绪和非基本情绪的识别有着良好表现其中悲伤和愤怒最容易识别其次是恐惧和快乐因此情绪的语音声学特征成为情绪识别的另一重要途径由于说话者之间的情感差异其性能非常依赖于从语音信号中提取的特征如韵律特征、音质特征以及谱特征三种声学特征参数因此建立有效的特征提取和分类模型仍是一项具有挑战性的任务 等提出一种基于深度卷积神经网络和双向长短时记忆网络的注意力模型用于语音情绪识别通过提取三通道对数梅尔频谱图(静态、增量和增量增量)作为深度卷积神经网络的输入特征在 和 数据库上的实验分别获得了.和.的平均识别准确率 近年也有研究将语音情绪识别应用于实际场景 李尚卿等通过分析驾驶员语音的频谱特征利用萤火虫算法优化概率神经网络并构建识别模型实现驾驶员路怒情绪的识别模型的识别准确率为.眼动眼动信号可以提供丰富的情绪特征信号包括瞳孔直径、注视信息和扫视信号三个常见的基本特征以及相关的统计特征 其中瞳孔直径在情绪识别中被广泛关注由于眼动信号会根据不同的情绪状态在时域和频域上发生变化仅采用时域或频域分析对于性能的提升有很大局限性 因此 等综合利用眼动信号时域和频域特征的变化来检测青少年情绪状态使用短时傅立叶变换对原始眼动数据进行处理和转换随后提取扫视、注视和瞳孔直径等时域和频域特征利用支持向量机在特征级融合策略上对积极、消极、中性三种情绪状态识别的准确率达到.为挖掘眼动信号的深层特征得到更好的情绪识别准确率有研究提出一种带恒等映射的浅层卷积神经网络的情绪识别方法 该方法与当前最先进的算法相比在 数据集上情绪识别准确率在效价和唤醒度上分别提升了.和.基于多模态的情绪识别研究迄今为止大多数研究工作都集中在单模态数据的使用尽管已在各模态信号处理方面取得了很大进展但使用单模态数据进行情绪识别仍有局限性 为提升情绪识别的准确性、鲁棒性以及应用性利用多模态进行情绪识别逐渐被广泛采用在神经生理模态中脑电和个别与心肺相关的信号如心电或脉搏信号因其生理特点可独立识别情绪的二维效价和唤醒程度 呼吸信号对于不同情绪状态的检测有限仅限于对恐慌、恐惧、注意集中或抑郁的识别 皮肤电信号和皮肤温度仅能检测唤醒程度而肌电信号只能检测效价水平因此需结合其它生理信号进行情绪识别以提高识别率在生理信号融合方面通常将周围生理信号进行融合或者结合中枢生理信号以提高情绪识别的精确度和多样化的情绪分类 在最新研究中 第 期殷梦馨等:基于多模态情绪识别的研究进展等使用客观的脑电信号和外周生理信号来识别情绪对提取的关键特征创新性地采用平均阈值法获得每个参与者的标记阈值解决个体差异最后采用决策级融合算法开发用于情绪识别的集成学习模型 研究发现多模态融合优于单模态分类效价和唤醒分别可达.和.虽然目前常用的情绪识别方案大多结合脑电信号且已获得了良好的识别结果但脑电信号相较于外周生理信号采集困难因此有研究把外周生理信号作为一种有效的补充方案来进行情绪识别 等利用肌电、心电、呼吸和皮肤电导率等外周生理信号提出一种融合非线性特征和团队协作识别策略的新方法该方法的有效性和普适性通过奥格斯堡数据库和生理信号情感分析数据库得到验证同时也间接证明了融合多种外周生理信号进行情绪识别有巨大的潜能虽然身体姿态、面部表情、语音及眼动四种模态在情绪识别中取得了较好效果但在模态选择与融合上仍需注意一些问题 首先面部表情可独立识别二维模型中的情绪但面部表情本身可能包含多种误导信息仅用单模态进行情绪识别会造成一定误差 而在语音方面的研究中由于声学特征提取具有很大的主观性因此在识别准确率上相较于面部表情存在很大差距 眼动信号和身体姿态对情绪识别的研究较浅大多数研究将眼动信号和脑电信号相结合进行情绪识别因此对于单独使用眼动追踪信号进行情绪识别是否可靠尚无定论 利用身体姿态进行情绪识别的相关研究发现在维度情感预测方面姿态比面部表情能提供更多的预测信息因此很多维度情感预测是基于身体姿态进行 等的研究也表明鉴于单峰情感识别系统的性能基于手势的情感识别效果最优其次是基于语音的情感识别系统和面部表情的情感识别系统 因此为克服单模态信息的偏差当前情绪识别的研究工作应更关注于将面部表情、语音、肢体动作等特征信息融合以提高情绪识别的鲁棒性和准确性 受多模态信息集成性和互补性的优势启发等提出融合语音、肢体动作和面部表情的两阶段多模式情绪识别神经网络通过神经网络与自组织映射层融合特征后识别率可达.与单峰方法相比识别精度最高可提高 在实际应用中对模型进行测试结果表明其可快速稳定地识别人类情绪此外基本情绪理论表明情绪被激发的同时会伴随各种神经生理和外部行为反应系统的活动因此将内部信号特征和外部信号特征结合可在一定程度上提升情绪的识别率 在诸多研究中脑电信号与眼动信号或面部表情信号相融合进行情绪识别均展现出良好的识别率 等基于涉及情绪的脑功能连接网络利用深度典型相关分析将脑电信号的功能连通性特征与眼动或其他生理信号的特征相结合构建了多通道情绪识别模型识别准确率在 数据集上为(.)结果表明脑电功能连接网络特征与眼动数据具有互补性 目前在行为与神经生理模态的情绪识别方案大多仅采用两种模态融合 但在最近一项研究中研究者为语音、脑电以及面部表情三种模态分别设计了一个深度学习模型通过最优权重分布算法搜寻各模态的可信度并进行决策级融合以获得更全面、准确的结果 该融合方法在 数据库的唤醒效价两个维度上分别得到了.与.的准确率综上所述虽然单模态通过改进计算建模可达到较高的识别率但缺乏实际应用价值 具体来说单模态在人机交互过程中存在一定局限且效率低而多模态融合技术通过充分利用情绪信息之间的互补性可提高交互效率提高识别率 在模态融合方面通过回顾国内外研究发现在众多生理信号中脑电信号作为中枢神经系统信号比其他信号能更准确、更客观地反映人的情绪状态变化因此可认为基于脑电信号的多模态融合能显著提高情绪识别的结果 在行为模态中通常会选择眼动和面部表情信号与其他信号进行融合 例如融合眼动、面部表情和脑电信号进行情绪识别既可避免受试者伪装情绪又可以反应其潜意识行为从多方面、多角度考察受试者的情绪状态 展望本文基于多模态情绪识别研究的三个主要层面对情绪识别的主要方法进行了综述概述了不同方法自身的特性及其在单一模态和多模态下的识别率 随着深度学习算法的快速发展情绪识别无论采用单模态还是多模态方案识别率均得到提高 由于单模态始终缺乏多样性仅通过单一模态信号无法全面理解复杂的人类活动相较之下多模态的应用更具优势 因此跨模态学习作为一种让人工智能可以更准确模拟人类实际行为和心理活动的技术有望在未来获得全面发展 后续可基于模态自身特点并结合单模态的表现针对不同应用场生物医学工程研究第 卷景选择合适的模态进行混合识别提高现实应用的可靠性和可行性 例如在精神疾病领域因抑郁患者的脑电和眼动指标明显异于常人可将它们作为区分正常和异常的辅助性指标 此外未来也应推动情绪模型的量化研究 当前进行的情绪识别工作大多是对情绪的效价进行区分在情绪唤醒层面的研究不多 然而对于情绪唤醒程度的准确识别能更加明确情绪状态期待未来能进一步探索模型的量化问题深化情绪识别领域研究的现实意义参考文献 .:.:.王笛.基于生理信号的飞行员心理状态评估方法研究.哈尔滨工业大学.?.():.:.:.王斌王忠民张荣.基于多通道脑电信号的因果网络情绪识别.计算机工程():.():.():.易慧陈瑞娟邓光华等.基于心率变异性的情绪识别研究.生物医学工程研究():./().:.韩颖董玉琦毕景刚.学习分析中情绪的生理数据表征:皮肤电反应的应用前瞻.现代教育技术():.:.何国柱乔晓艳.基于树模型机器学习的皮肤电信号情绪识别.测试技术学报():.():.王浩源.基于 和信息熵的呼吸信号情绪识别研究.山东大学.:.():./().:.():.:.:/.:.胡心约张恬路李英武.基于 的情绪识别在组织中的实践:现状、未来和挑战.中国人力资源开发():.().:.():.:.李尚卿王晓原张杨等.基于改进 融合特征及 的驾驶员路怒情绪识别.计算机工程与应用():.():.第 期殷梦馨等:基于多模态情绪识别的研究进展金珊.基于深度学习与眼动信号的情绪识别研究.华南理工大学.:.:.().():.():.李霞卢官明闫静杰等.多模态维度情感预测综述.自动化学报():.:/.:.:.():.():.方伟杰张志航王恒畅等.融合语音、脑电和人脸表情的多模态情绪识别.计算机系统应用():.(收稿日期:)