基于多特征融合的藏语语音情感识别.pdf

现代电子技术Modern Electronics Technique2023年11月1日第46卷第21期Nov.2023Vol.46 No.210 引 言语音情感识别（Speech Emotion Recognition,SER）是实现人机交互的重要发展方向，其主要有语音情感数据库构建、语音情感特征提取和分类模型三大方面1。由于影响语音情感识别的因素很多，其中不同的语言对情感的表达影响是很大的，这就让语音情感特征提取成为一个重要的研究方向。深度学习的发展让提取特征变得容易，但是只有输入最能表征语音情感的手工特征，深度学习模型才能从中提取最好的深度特征，得到更好的效果。为了提高藏语语音情感识别率，本文提出了一种基于藏语的语音情感特征提取方法，通过藏语本身的语言特点手工提取出一个 312维的藏语语音情感特征集（TPEFS），再通过长短时记忆网络（Long Short Term Memory Network,LSTM）提取深度特征，最后对该特征进行分类。藏语语音情感识别结构如图1所示。基于多特征融合的藏语语音情感识别谷泽月1，边巴旺堆1，2，祁晋东1（1.西藏大学 信息科学技术学院，西藏 拉萨 850000；2.信息技术国家级实验教学示范中心，西藏 拉萨 850000）摘 要：藏语语音情感识别是语音情感识别在少数民族语音处理上的应用，语音情感识别是人机交互的重要研究方向，提取最能表征语音情感的特征并构建具有较强鲁棒性和泛化性的声学模型是语音情感识别的重要研究内容。基于此，为了构建具有高效性和针对性的藏语语音情感识别模型，文中构建了一种藏语语音情感数据集（TBSEC001），并提出一种适合于藏语的手工语音情感特征集（TPEFS），该特征集是在藏语与其他语言的共性和特性的基础上手工提取得到的，TPEFS特征集在支持向量机（SVM）、多层感知机（MLP）、卷积神经网络（CNN）、长短时记忆网络（LSTM）这些经典网络中都取得了不错的效果。所提出的方法在藏语语音数据集（TBSEC001）上取得了88.4%的识别结果，以及在EMODB、RAVDESS、CASIA数据库上分别取得了 84.1%、74.3%以及 82.5%的识别结果。实验结果表明，该特征集在保证识别率的情况下，对藏语语音情感识别具有一定针对性。关键词：语音情感识别；特征提取；深度学习；深度特征；声音质量；多模态情感识别中图分类号：TN919.534；TP391 文献标识码：A 文章编号：1004373X（2023）21012905Tibetan speech emotion recognition based on multifeature fusionGU Zeyue1,BIANBA Wangdui1,2,QI Jindong1(1.School of Information Science and Technology,Tibet University,Lhasa 850000,China;2.National Experimental Teaching Demonstration Center of Information Technology,Lhasa 850000,China)Abstract：Tibetan speech emotion recognition(SER)is the application of SER in minority speech processing.SER is an important research direction of humancomputer interaction.It is an important research content of SER to extract the features that can characterize speech emotion best and build an acoustic model with strong robustness and generalization.Therefore,a Tibetan speech emotion dataset TBSEC001 is constructed and a manual speech emotion feature set TPEFS suitable for Tibetan is proposed to construct an efficient and targeted Tibetan SER model.The feature set is manually extracted on the basis of the commonalities and characteristics between Tibetan and other languages.The feature set TPEFS has achieved good results in classical networks,such as support vector machine(SVM),multilayer perceptron(MLP),convolutional neural network(CNN)and long shortterm memory network(LSTM).The proposed method achieves 88.4%recognition results on Tibetan speech dataset TBSEC001,and 84.1%,74.3%and 82.5%recognition rate on databases EMODB,RAVDESS and CASIA,respectively.The experimental results show that the feature set has certain pertinence for Tibetan SER under the condition of ensuring recognition rate.Keywords：SER;feature extraction;deep learning;deep feature;sound quality;multimodal emotion recognitionDOI：10.16652/j.issn.1004373x.2023.21.024引用格式：谷泽月，边巴旺堆，祁晋东.基于多特征融合的藏语语音情感识别J.现代电子技术，2023，46（21）：129133.收稿日期：20230302 修回日期：20230330基金项目：西藏自治区高原通信科研创新团队项目（XZZZQ2018003）；西藏大学研究生高水平人才培养计划项目(2021GSPS121)129129现代电子技术2023年第46卷图1 藏语语音情感识别结构1 语音情感数据集为了实现藏语语音情感识别，构建了一个藏语的语音情感数据集 TBSEC001，其是一个只包含藏语语音的单模态数据集，其语言是藏语中的卫藏方言。如图2所示，该数据集由6位女性和6位男性演员进行录制，每位演员分别对愤怒、悲伤、快乐、中性、害怕 5种情感录制100条语音，总共6 000条语音。TBSEC001数据集的性能非常具有说服力，因为它不受性别不平衡的影响，包括广泛的情绪和不同程度的情绪强度，并且所有情绪类别都是平均分配的（20%），因此它不会遇到任何类别不平衡问题。此外对 TBSEC001 数据集也进行了广泛的验证和可靠性测试。从TBSEC001中随机选出600条语音，让 30名演员对语音的三个类别（情绪的类别、情绪的强度和情绪的真实性）进行判断，结果显示除了在情绪的真实性上略微有所欠缺，在情绪的类别、情绪的强度两方面表现都很好。本文还用其他三种不同语音情感数据库做对比验证，分别是EMODB2柏林情感数据集（德语，含7种情感）、RAVDESS3情感数据库（英语，含8种情感）、CASIA情感数据库（汉语，含6种情感）。图2 TBSEC001数据集情感类别和性别分布2 藏语语音信号特征提取特征提取是语音情感识别最关键的部分，提取到的特征对识别结果起到决定性的作用，特征提取包括由手工提取的低水平描述特征（Lowlevel Descriptors,LLDs）或高水平统计特征（Highlevel Statistic Functionals,HSFs），还有由深度神经网络提取的深度特征4。LLDs特征将语音信号以时间为单位分割为很多帧，对每帧提取其能量、时频、倒谱系数5等特征，HSFs特征是对 LLDs特征求最大值、最小值、均值、方差等得到的统计特征。在语音情感识别系统中通常存在一个问题，就是相同的语音情感识别系统用在不同的数据集上效果往往会有很大的偏差，这是由于数据集的差异造成的，不同的数据集中的语言种类、说话人、表达情绪不同，所以在相同的系统中所得到的结果也会不同。本文提出了一种基于藏语的语音情感特征集，该特征集中的特征包含了藏语本身特点和语音信号的共同特点，再通过长短时记忆网络（LSTM）提取其深度特征进行情感分类。2.1 浅层特征语音信号包含的信息主要包括语义信息和声学信息。语义即语音中语言文字的信息，目前，通过语音文本内容识别本文情感的研究较多。相比语义信息，语音声学特征包含了更多的情感相关信息，传统的声学特征可分为韵律学特征6、音质特征7和基于谱的相关性分析特征8。韵律决定着一句话是否听起来自然顺耳、抑扬顿挫，是语音中的音高、音长、快慢和轻重等方面的变化，它的情感区分能力已得到语音情感识别领域研究者们的广泛认可，其中最为常用的韵律特征有时长（duration）、基频（pitch）、能量（energy）等；声音质量是人们对语音的一种主观评价指标，用于衡量语音是否纯净、清晰、容易辨识等。对声音质量产生影响的声学表现有喘息、颤音、哽咽等，这些特征在表征情感方面也起着重要作用。在语音情感识别研究中，用于衡量声音质量的声学特征一般有：共 振 峰 频 率 及 其 带 宽（Format Frequency and Bandwidth）、频率微扰和振幅微扰（Jitter and Shimmer）、声门参数（Glottal Parameter）等；基于谱的相关特征可以揭示声道形状变化与发声运动之间的相关性9，谱特征参数反映了语音信号在不同频谱间的能量分布，不同情感的语音信号在频谱能量分布上也有所不同，例如表达欢快的语音在高频区间能量较高，而表达悲伤的语音在同样的频段能量较低。谱特征主要分为线性频谱特征和倒谱特征。其中：线性谱包括线性预测系数、对数频率功率系数和单边自相关线性预测系数等；倒谱包括线性预测倒谱系数、单边自相关线性预测倒谱系数、感知线性预测和梅尔频率倒谱系数（MelFrequency Cepstrum Coefficient,MFCC）等，在倒谱中MFCC最为经典。藏语属汉藏语系藏缅语族藏语支，现代藏语有以下特点：浊辅音声母趋于清化，局部地区所保留的浊声母都是来源于古复辅音声母中的浊基本辅音；复辅声母趋于简化和消失10；单元音韵母增多，特别是鼻化元音；元音有长短区别，并与声调有互补关系等。本文根据藏语独130第21期特的发音特点，提出了一个更适用于藏语语音情感特征提取的藏语语音特征集（TPEFS），使用一个非常强大的Python语音信号处理的第三方库librosa，librosa对于语音信号处理和语音特征提取有着非常强大的功能。具体而言，该特征集选取10个低水平特征（LLD），由10个低水平特征经统计特征（HSF）计算后得到21个HSF特征。10 个低水平特征分别为：帧能量的均方根（RootmeanSquare Energy,RMS）、基音频率（Pitch）、频谱质心（Spectral Centroid）、MFCC 系数、复数图谱的幅度值、色谱频率（Chroma Frequencies）、梅尔频率（Mel Spectrogram）、谱对比度（Spectral Contrast）、频谱平坦度（Spectral Flatness）、时间信号的过零率（Zero Crossing Rate,ZCR）。然后将10个低水平特征的均值、标准差、最小值和最大值按表1所示的方式进行组合，最后得到一个312维的特征集。表1 TPEFS特征集包含特征及维度LLD均方根能量（RMS）基音频率（F0）频谱质心（SC）MFCC系数复数图谱的幅度值色谱频率（CF）梅尔频率谱对比度频谱平坦度（SF）过零率（ZCR）HFS均值最大值标准差均值最大值标准差曲调均值最大值标准差均值最大值标准差均值最大值标准差均值均值均值均值均值特征个数3433311111特征维度3431503121287111）均方根能量（RMS）表达的是一帧内所有样本点的一个综合信息，特别是在能量方面，高兴和悲伤的能量均方根完全不一样。2）基频（F0）包含了表征语音情感的大量有用信息，是反映情感变化的重要特征之一11，人们在不同情感状态下基音周期（pitch）也会发生变化，并且基音周期也会受发音词汇的影响。3）谱质心（SC）是声音信号的频率分布和能量分布的重要信息，在主观感知领域，谱质心描述了声音的明亮度，具有低沉品质的声音有较多低频内容，谱质心相对较低，具有欢快品质的多数集中在高频，谱质心相对较高。4）色度频率将音频信号分解成一系列频率带，并计算每个频率带的能量，从而产生一个与时间和频率相关的二维表示。与传统的音频信号处理技术相比，Chroma Frequencies 在音乐信息检索、音乐分类和自动化伴奏生成等方面具有广泛的应用。5）过零率是在声音信号的每一帧中声音信号的采样值通过零点的次数，一般而言，噪音及清音（Unvoiced Sound）的过零率均大于浊音（Voiced Sound），能够清晰辨别清音和浊音。6）通常频谱平坦度（FS）用来区分语音和噪声，因为语音比噪声有着更多的谐波，其表现就是语音信号在基频和谐波处会有许多能量峰值，而噪声信号的频谱则相对平坦，不同情感的语音频谱平坦程度有所差异。7）谱对比度将频谱的每个帧都分为子带，对于每个子带，通过将峰值能量与谷能量进行比较来估计能量对比。8）目前，MFCC和语谱图（Mel Spectrogram）是使用最广泛的特征，它们都包含了很多的语音特征信息，MFCC是最符合人类听觉的特征，它包含了很多的声学特 征，但 同 时 也 包 含 了 很 多 无 用 的 特 征，Mel Spectrogram 是目前在语音识别和环境声音识别中很常用的一个特征，由于CNN（Convolutional Neural Network）在处理图像上展现出了强大的能力，使得音频信号频谱图特征的使用愈加广泛，甚至比MFCC使用的更多。MFCC和Mel Spectrogram的提取过程如图3所示。图3 MFCC和Mel Spectrogram的提取过程2.2 深度特征随着近几年深度学习的崛起，许多学者使用卷积神经网络（CNN）、长短时记忆网络（LSTM）、门控循环单元（GRU）等深度学习网络提取语音信号的特征，并取得了不错的效果。文献12使用 CNN+语谱图，在 RAVDESS数据集上达到了81.00%的平均识别率。但是该方法没有充分考虑语音信号的时序信息，而循环神经网络模型（LSTM 和 GRU）可以学习到语音信号中的时间信息。文献13比较了 CNN、LSTM和 CNN+LSTM三个模型，结果显示在输入相同的情况下，CNN+LSTM模型的识别率比单独的CNN网络和单独的LSTM网络分别提高了7%谷泽月，等：基于多特征融合的藏语语音情感识别131现代电子技术2023年第46卷和 9%。考虑到不是整条语音都带有情感信息，而是集中在语音的某个片段，文献14在 CNN+GRU 网络中引入了传统的注意力机制来获取这些片段的情感相关特征，并且相比没有引入注意力机制的模型，取得了 7%的加权平均识别率提升。本文将手工提取的特征集（TPEFS）分别输入到支持向量机（Support Vector Machine,SVM）、多层感知机（Multilayer Perceptron,MLP）、卷积神经网络（CNN）和长短时记忆网络（LSTM）中提取深度情感特征，验证该特征集的性能，再经过分类层进行分类，结果显示该特征集在以上网络都展现出了很好的效果，特别是在LSTM上识别率达到了88.4%。3 实验与分析3.1 感情数据库本文为了验证该模型的有效性和针对性，所用的情感数据库是第 1 节介绍的 TBSEC001（藏语）、EMODB（德语）、RAVDESS（英语）、CASIA（中文）四种不同语言的语音情感数据库，由于 RAVDESS（英语）数据库中平静和中性两种情感容易混淆，把该数据库中的平静和中性两种情感合为中性。把这些数据集都按照 8 2的比例将其划分为训练集和测试集。3.2 参数设置模型参数如表2所示。表2 模型参数设置模型搭建TensorFlow优化器Adam学习率10-4批次128训练轮数1003.3 实验设置为了验证本文所提出框架的有效性和针对性，分别设计了三组对比实验。实验一：为了展现本文提出的藏语情感特征集（TPEFS）相较于其他特征具有更好的效果，在相同网络中对比了不同特征的分类结果，在本次实验中均用藏语数据集TBSEC001。实验二：为了体现本文的藏语情感特征集（TPEFS）在 LSTM 上取得的效果，对比了 TPEFS 在 SVM、MLP、CNN、LSTM上的分类结果，四个模型中均使用在藏语数据集TBSEC001提取的特征集（TPEFS）。实验三：为了体现本文的藏语情感特征集（TPEFS）对于藏语语音情感识别有一定的针对性，使用相同的深度学习模型对比了该特征集在四种不同语言的语音情感数据库上的分类结果。3.4 实验结果与分析实验一的结果如表 3所示。从表中可以看出，相较于 MFCC和 Log Mel Spectogram 这两种应用最广泛的特征，提出的特征集 TPEFS在 MLP、CNN这些经典网络中有了明显的提升，证明TPEFS特征集能够更好地表征情感信息，从而提升语音情感的识别性能。表3 不同特征结果对比数据集TBSEC001特征MFCCMFCC语谱图TPEFSTPEFSTPEFS模型MLPCNNCNNMLPCNNLSTM准确率/%77.7357.37885.284.488.4实验二的结果如表 4 所示。从表中可以看出，LSTM 在特征集 TPEFS 上的识别率最高达到 88.4%，相较于SVM、MLP、CNN分别提升了5.3%、3.2%、4.0%的识别率。证明了该数据集在 LSTM 网络上有着很好的性能。图 4为特征集 TPEFS在模型 LSTM中训练 100轮的准确率和损失曲线，从图中可以看出在训练到 18轮左右开始出现过拟合，训练 40轮前后训练集的准确率可以达到99%左右，测试集的准确率在86%上下浮动。表4 不同模型结果对比数据集TBSEC001特征TPEFSTPEFSTPEFSTPEFS模型SVMMLPCNNLSTM准确率/%83.185.284.488.4图4 LSTM的准确率和损失曲线132第21期实 验 三 的 结 果 如 表 5 所 示。所 提 出 的 特 征 集TPEFS 在英文数据集 RAVDESS、德语数据集 EMODB、中文数据集 CASIA上的平均识别率分别达到了 74.3%、84.1%、82.5%；在藏语数据集 TBSEC001 上的平均识别率高达 88.4%。这说明了本文的特征集 TPEFS 在对于其他语种的数据集也有不低的识别率的基础上更适用于藏语语音情感识别。表5 不同数据集结果对比数据集EMODB（德语）CASIA（中文）RAVDESS（英语）TBSEC001（藏语）特征TPEFSTPEFSTPEFSTPEFS模型SVMMLPCNNLSTMSVMMLPCNNLSTMSVMMLPCNNLSTMSVMMLPCNNLSTM准确率/%79.484.175.884.176.280.082.581.254.969.174.374.083.185.284.488.44 结 论目前对于不同语种的语音情感识别研究较少，针对不同语言特点应该提取不同的特征来表征情感信息，特征的提取是语音情感识别最关键的研究步骤，提取到什么样的特征直接决定了识别结果的好坏。对于藏语语音情感识别，目前还存在如下问题：1）藏语语音数据集不足，构建合理有效的数据集是首要问题。2）给数据集打标签是一个重要问题，因为不同的人对不同情感的表达和感受不一样。3）提取最能表征情感的特征，目前没有最具有表征情感信息的特征。多模态情感识别是一个新的研究方向，语音文本、语音视频、语音图片等多种模态结合将会更加准确地理解人类表达的感情。注：本文通讯作者为边巴旺堆。参考文献1 张雪英，孙颖，张卫，等.语音情感识别的关键技术J.太原理工大学学报，2015，46（6）：629636.2 BURKHARDT F,PAESCHKE A,ROLFES M,et al.A database of German emotional speech C/Ninth European Conference on Speech Communication and Technology.Singapore:ISCA,2005:15171520.3 LIVINGSTONE S R,RUSSO F A.The Ryerson audiovisual database of emotional speech and song(RAVDESS):A dynamic,multimodal set of facial and vocal expressions in North American English J.PloS one,2018,13(5):e0196391.4 孙晓虎，李洪均.语音情感识别综述J.计算机工程与应用，2020，56（11）：19.5 GUO L,WANG L,DANG J,et al.A feature fusion method based on extreme learning machine for speech emotion recognition C/2018 IEEE International Conference on Acoustics,Speech and Signal Processing(ICASSP).New York:IEEE,2018:26662670.6 RAO K S,KOOLAGUDI S G.Robust emotion recognition using spectral and prosodic features M.Heidelberg,Germany:Springer Science&Business Media,2013.7 SHRIBERG E,FERRER L,KAJAREKAR S,et al.Modeling prosodic feature sequences for speaker recognition J.Speech communication,2005,46(3/4):455472.8 韩文静，李海峰，阮华斌，等.语音情感识别研究进展综述J.软件学报，2014，25（1）：3750.9 BENESTY J,SONDHI M,HUANG Y.Springer handbook of speech processing M.Berlin:SpringerVerlag,2008:1219.10 李赵，家红，尹辉，等.藏、汉、英三种语言的特点与对比分析J.今日中国论坛，2013（9）：138139.11 PAN Y,SHEN P,SHEN L.Speech emotion recognition using support vector machine J.International journal of smart home,2012,6(2):101108.12 MUSTAQEEM,KWON S.A CNNassisted enhanced audio signal processing for speech emotion recognition J.Sensors,2020,20(1):183.13 PANDEY S K,SHEKHAWAT H S,PRASANNA S R M.Deep learning techniques for speech emotion recognition:A review C/2019 29th International Conference Radioelektronika(RADIOELEKTRONIKA).New York:IEEE,2019:16.14 ZHONG Y,HU Y,HUANG H,et al.A lightweight model based on separable convolution for speech emotion recognition C/21st Annual Conference of the International Speech Communication Association.Singapore:ISCA,2020:33313335.作者简介：谷泽月（1999），男，云南昆明人，硕士研究生在读，研究方向为通信网络与安全和藏语语音情感识别。边巴旺堆（1970），男，藏族，西藏拉萨人，硕士，教授，研究方向为藏文信息处理和通信网络与安全。谷泽月，等：基于多特征融合的藏语语音情感识别133