基于模型聚类的说话人识别研究.pdf

2023 年第 8 期计算机与数字工程收稿日期：2023年2月6日，修回日期：2023年3月12日作者简介：陈秉沃，男，硕士研究生，研究方向：说话人识别。张二华，男，博士研究生，副教授，研究方向：语音识别、图象处理与分析。唐振民，男，博士研究生，教授，研究方向：智能机器人与目标识别、图象处理与模式识别、智能信息系统、故障诊断与容错技术等。1引言传统说话人识别技术是通过采集说话人语音数据，然后从语音数据中提取特征参数，并代入到训练好的高斯混合模型中进行逐一打分，得分最高的即是所匹配的说话人。随着说话人识别技术的广泛应用，说话人模型数量不断增长，若依然采用传统的说话人识别方法，就会造成两个问题。其一是说话人识别的耗时过长，效率低下；其二是说话人识别的准确性大大降低。为了解决这两个问题，本文对不同距离定义的聚类效果进行对比，选取一种最佳的聚类方法，将其应用于说话人识别中。使得识别效率大大提高，识别准确率也有所提高。2大规模条件下的说话人识别2.1传统说话人识别存在的问题传统的说话人识别技术分为两个部分。第一部分是利用所有说话人的训练语音建立各人的高斯混合模型，作为后端模型数据库。第二部分是前端处理，采集说话人的语音，进而提取特征参数，再将数据逐一代入后端说话人模型中，取得最高分模型，如果此模型对应的说话人与前端所采集的说话人为同一人，则表明识别准确。大规模条件下的说话人识别，采用传统的逐一基于模型聚类的说话人识别研究陈秉沃张二华唐振民（南京理工大学计算机科学与工程学院南京210094）摘要随着说话人识别技术的广泛应用，说话人规模不断增长，若采用传统的说话人辨别方式逐一比较，则计算量较大，难以实时响应，使说话人识别系统的性能与实用性大大降低。传统的K-L散度距离由于非对称性，并不是一种很好的聚类距离度量，聚类效果不佳。论文提出了一种基于Wasserstein distance聚类方法，相比于传统说话人识别方法，该方法的识别准确率提升了近4.7%，并且识别耗时仅为传统识别方法的25.5%，大大提升了说话人识别系统的性能与实用性。关键词模型聚类；推土机距离；Wasserstein distance；说话人识别；高斯混合模型中图分类号TP391DOI：10.3969/j.issn.1672-9722.2023.08.011Research on Speaker Recognition Based on Model ClusteringCHEN BingwoZHANG ErhuaTANG Zhenmin（School of Computer Science and Engineering，Nanjing University of Science and Technology，Nanjing210094）AbstractWith the wide application of speaker recognition technology，the scale of back-end speakers is growing.If the traditional speaker recognition methods are compared one by one，the amount of calculation is large and it is difficult to respond in realtime，which greatly reduces the performance and practicability of the speaker recognition system.Therefore，this paper proposes aspeaker recognition method based on model clustering.And because the traditional K-L divergence distance is not a good clusteringdistance measure because of its asymmetry，the clustering effect is poor.In this paper，a Wasserstein distance clustering methodbased on approximate model is proposed.Compared with the traditional speaker recognition method，the recognition accuracy of thismethod is improved by nearly 4.7%，and the recognition time is only 25.5%of the traditional recognition method，which greatly improves the performance and practicability of the speaker recognition system.Key Wordsmodel clustering，bulldozer distance，Wasserstein distance，speaker recognition，Gaussian mixture modelClass NumberTP391总第 406期2023 年第 8 期计算机与数字工程Computer&Digital EngineeringVol.51No.81745第 51 卷匹配方式会使单人识别耗时随后端说话人数量成正比增长，即当说话人规模扩大时，单人识别耗时也会随之大幅提升，这严重影响系统的实用性。另外，随着说话人规模的不断扩大，说话人识别准确率也随之降低。本文的传统说话人识别中，使用N阶高斯混合模型，其中 N 为 32，训练语音为 10s，测试语音为10s。在不同规模下的说话人识别的平均单人识别耗时，以及识别的准确率，如表1所示。表1不同说话人规模的识别耗时以及总体识别准确率说话人规模/人数200500945单人识别耗时/s3.067.5113.77识别准确率/%97.5090.2085.08由表1可见，当说话人规模（Speaker Count，SPKC）为数百人的时候，单人识别时长仅需数秒，总体识别耗时为数百秒，说话人识别的准确率也尚可。但是当说话人规模达到近千级别时，单人识别耗时已经达到了十几秒，总体识别耗时达到上万秒，识别准确率也明显降低，这严重影响了说话人识别系统的实用性。一个好的说话人识别系统，不仅要考虑高效性，而且需要考虑准确性。在大规模说话人的背景下，显然使用传统的说话人识别系统无法满足系统的实用性要求。因此本文考虑采用模型聚类的方法，对传统识别方法进行改进。2.2说话人识别聚类算法简单来说，聚类思想就是把一些相似的对象归为到同一簇中。簇内的对象越相似，并且不同簇之间的距离越远，那么聚类的效果就越好。在说话人识别中也是如此，将聚类思想应用于说话人识别就是进行两步判别，第一步，先判别待识别的说话人对象最接近哪一类的类中心，其中，类中心指的是某一类的代表。第二步，对类中所包含的说话人模型再使用传统方法进行逐一判别。由此可见，聚类的效果以及聚类的数目直接影响到说话人识别系统的总体性能。由于聚类算法的局限，聚类结果中每一类的规模可能大小不一，因此，在识别中的第二步所对应的最近一类的说话人规模大小也呈现不确定性。因此，引入搜索率的概念。搜索率，指的就是此次识别搜索的说话人规模Q1与总体说话人规模Q的比例，那么搜索率Z如式（1）所示。Z=Q1Q100%（1）每次搜索，都由距离由近及远进行搜索，先从距离模型最近的类开始搜索，直到搜索的说话人规模占比达到预先给定的搜索率。从林文勇3的论文可知，在说话人模型匹配中，有十分之一的模型得分比较高，说明每次匹配具有十分之一的模型比较相似，因此，本文设置搜索率为10%。在基于聚类的说话人识别中，聚类效果的好坏使用命中率来衡量。一次命中指的是，在一次搜索中，所搜索的说话人模型中，正好包含着与测试说话人相对应的说话人模型。命中率（Accuracy Rate，AR）则是说话人测试集合中，命中个数的占比。命中率越高，说明聚类的效果就越好。命中率公式如式（2）所示。AR=ACSPKC（2）其中，AR为命中率，AC为说话人测试集中命中的个数（Accuracy Count，AC），SPKC 为 说 话 人 规 模（Speaker Count，SPKC）的缩写。基于模型聚类的说话人识别的第二步识别步骤和传统说话人识别方式一样，都是进行传统的逐一匹配，但经过聚类后所需匹配的说话人模型规模大为减少。由此可见，第一步聚类效果的好坏直接影响到最后识别的效果。在聚类过程中，常用并且高效的算法为k-means算法，可以适用于大规模条件下的说话人识别系统。因此，本文采用k-means算法作为说话人模型聚类的算法，总体流程如下：1）初始化类，确定聚类数目，并随机选取k类作为初始类。2）求剩余的说话人与每一类的类中心的距离，并并入最近的一类。3）更新每一类的类中心Ci，并令D等于目前的说话人数量。4）而后随机抽取任意一类的任意样本，即某一说话人模型，求得模型离本类中心的距离以及和其他类的类中心的距离。如果离本类的类中心距离是最近的，则让D自减1，当自减至0时退出循环。如果不是则将此说话人归入最近的一类中，然后跳到3）重新循环3）4）步骤。2.3聚类距离选取的研究2.3.1基于KL散度的聚类方法相对熵又称为交叉熵，Kullback-Leible 散度（即KL散度）等。设p（x）和q（x）是两个概率分布，则p对q的K-L散度如式（3）所示。D(p|q)=p(x)logp()xq()x（3）KL散度是两个概率分布P和Q差别的非对称陈秉沃等：基于模型聚类的说话人识别研究17462023 年第 8 期计算机与数字工程性的度量，在一定程度上可以来衡量两个分布之间的距离。但是，尽管KL散度从直观上是个度量或距离函数，但它实际上并不是一个真正的距离尺度，因为它并不具备对称性，如式（4）所示。D(p|q D(q|p（4）因此在聚类中，将KL散度运用到高斯混合模型的KL距离时，可以采用加权公式来计算，如此两个模型之间的距离便变为固定值，如式（5）所示。DisKL=12()D(p|q+D(q|p)（5）目前已经有两个多元高斯混合模型的KL散度数学解析形式。如式（6）所示。D(p|q=12log|2|1n+tr()121+()u2u1T12(u2u1)（6）其中，Sm和um分别是第m个说话人的一阶高斯混合模型的协方差和均值向量。但是，说话人识别所用的是 N 阶高斯混合模型S=aiii，如式（7）所示。S=i=1NaiN(ii)（7）其中i=1Nai=1，ai是是N阶多维高斯混合模型的混合加权系数，也可以理解为观测数据属于第i个子模型的概率。因此，本文使用近似的加权均值和加权协方差值作为N阶高斯混合模型的近似单高斯混合模型的均值和协方差值。采用423人份固定电话信道，每人用1min的固定电话语音训练高斯混合模型，并且测试语音的测试时长同样为1min。并且，在每一类中，选取离该类其他说话人距离之和最近的点作为该类中心，设置搜索率为10%。可以得到基于KL散度的模型聚类方法的命中率，如表2所示。表2基于KL散度的模型聚类方法聚类数目/个2080100120命中率/%72.1069.0367.1365.01由表2可以看出，命中率并不理想，原因是KL散度并不具备对称性，即使采用了加权的算法，也依然不是一个很好的距离定义。并且随着聚类数目增多，命中率逐渐降低。原因是使用一个并不精准的距离定义进行聚类，随着聚类数目越多，聚类效果就越差，因此命中率会随着聚类数目的增多而下降。因此KL散度并不适用于作为模型聚类的距离定义。2.3.2基于替代模型 Wasserstein distance 的聚类方法因为KL散度不具备对称性，所以KL散度并不适用于计算两个分布之间的距离。通常，可以使用具有对称性的Wasserstein距离来计算两个分布之间的代价距离。Wasserstein距离也叫做推土机距离（Earth Movers distance），这是因为该距离定义中由一个分布转变为另一个分布所需要的代价和挖土填土的过程十分相似。目前已经有两个一阶多元高斯混合模型之间的Wasserstein距离的数学解析形式16，如式（8）所示。d2=u1u222+1211222F（8）其中Sm和um分别是第m个说话人的一阶高斯混合模型的协方差和均值向量，F是Frobenius范式。式（7）中i=1Nai=1，ai是观测数据属于第i个子模型的概率，说明此系数代表着属于该一阶高斯混合模型的样本数占全部样本数的比例，那么如果想要取得近似的模型均值向量，便可考虑用权值乘以所对应的模型均值向量后进行求和，其结果作为近似模型的均值向量。所以，可以尝试使用近似的加权均值和加权协方差值作为N阶多元高斯混合模型的参数代入式（8）计算两个GMM模型之间的距离。对于说话人模型S=aiuii，加权平均向量以及加权协方差的计算方法分别如式（9）以及式（10）所示。u m=i=1Naiui（9）m=i=1Naii（10）得到第 m 个说话人模型S=aiuii的替代模型S=u mm后，就可以直接使用 Wassersteindistance 在多元高斯混合模型的解析公式进行计算，解析公式见式（8）。并且在聚类过程中，某一个类的类中心同样采用加权的算法，假设第k类的说话人个数为Lk，那么第k类的类中心Ck=uk，Sk 的加权平均向量uk和加权协方差Sk计算公式则如式（11）以及式（12）所示。uk=1Lki=1Lku i（11）k=1Lki=1Lk-（12）1747第 51 卷得到第k类的类中心的参数后，用该参数对应的一阶多元高模型来作为该类的类中心模型，可以得到说话人替代模型S=u mm与第k类的类中心的替代模型Ck=uk，Sk 之间的距离d2(SCk)，如式（13）所示。d2()SCk=()u mukT()u muk+m12k122F（13）采用423人份1min训练时长的电话语音对N阶高斯混合模型进行训练，测试时长也为1min，搜索率设置为 10%，基于近似模型 Wasserstein distance的聚类方法的命中率如表3所示。表3基于替代模型Wasserstein distance的聚类方法的命中率（%）聚类数目/个2080100120命中率/%90.4591.8391.3090.88从表3得知，在不同的聚类数目下，命中率都相当高且没有太大的变化，说明基于替代模型Wasserstein distance 的聚类方法的聚类效果比较好。本文将两种方案进行对比，方案一为基于KL散度的聚类方法，方案二为基于替代模型Wasserstein distance 的聚类方法。两种方案都采用 423人，信道为固定电话信道，并且设置搜索率为10%，使用的训练语音以及测试语音所用的时长都为1min。所得的两种聚类方案的命中率对比如表 4所示。表4两种方案的聚类命中率对比（%）采取方案方案一方案二聚类数目1074.2389.922072.1090.455070.9291.098069.0391.8310067.1391.3012065.0190.8815064.0690.34从表4可得，相对于第一种方案，第二种方案聚类效果较佳，并且计算量较小，因此本文选择第二种方案作为说话人聚类所使用的距离定义。2.4传统识别与聚类识别的对比实验在Window10系统下，基于VS2020中MFC框架完成。主机配置为CPU为Intel（R）Core（TM）i7-9750H CPU 2.60GHz，RAM 为 32GB。采用的是945人电话信道下的说话人语音。采用N阶多元高斯混合模型，其中 N为 32。并且训练时长为10s，测试语音也为10s。为了对比传统说话人识别和基于模型聚类的说话人识别的差异，首先要得出传统说话人识别系统下的识别准确率和识别耗时，如表5所示。表5传统GMM模型说话人识别系统的识别准确率和识别耗时识别准确率/%85.08识别耗时/s12984聚类后，可以得到在不同搜索率下的说话人识别准确率如表6所示。表6不同搜索率下的说话人识别准确率（%）搜索率/%581015聚类数目/个1082.6485.1485.6184.042083.2484.7285.7985.365084.1687.3887.7086.638084.5488.0188.7586.2410085.4088.1289.8186.6512085.1588.0289.5086.2815084.2085.0487.5186.34如表6所示，在聚类数目一定的时候，从低往高设定递增的搜索率，基于近似模型 Wassersteindistance聚类算法的说话人识别的识别准确率总能在搜索率为10%左右时达到峰值，并在达到峰值后再提升搜索率，识别准确率反而下降。这是因为，设定搜索率为峰值所对应的搜索率时，被搜索的说话人模型中正巧包含与测试说话人相对应的说话人模型。在此基础上继续扩大搜索范围，就多增加了不相匹配的干扰项，因此说话人识别的准确率反而降低。本文通过设置不同的聚类数目以及搜索率，可以得出当聚类数目为100的时候，最佳识别准确率为89.81%。显然，对比传统的说话人识别，在相同的说话人规模、训练语音以及测试语音情况下，基于聚类方法的识别准确率有着较高的提升，即从85.08%提升至89.81%。另一方面，由于搜索率为10%左右时，识别准确率达到峰值，因此，我们可以获取在同样实验情况下，基于聚类算法的说话人识别耗时以及模型训练的耗时，如表7所示。并且可以得到传统GMM识别与聚类识别的耗时对比如表8所示。表7建模耗时以及识别耗时（s）说话人建模1845说话人匹配1465表8传统GMM识别与聚类识别的耗时对比单人识别耗时/s总体识别耗时/s传统识别耗时/s13.7612984聚类后识别耗时/s1.553310陈秉沃等：基于模型聚类的说话人识别研究17482023 年第 8 期计算机与数字工程如表7及表8所示，说话人建模与说话人匹配分别需要耗时 1845s与 1465s，即聚类后的识别过程一共需要耗时3310s，比起传统说话人识别所需的12984s，识别效率有着显著的提升。3结语本文针对传统说话人识别在大规模说话人规模下的识别准确率下降，以及识别耗时过长的情况，提出了一种基于模型聚类的说话人识别方法，对传统的说话人识别方法进行改进。相比于传统说话人识别方法，该方法的识别准确率提升了近4.7%，并且识别耗时仅为传统识别方法的25.5%，大大提升了说话人识别系统的实用性。参 考 文 献1Kinnunen T，Karpov E，Franti P.Real-Time Speaker Identification and VerificationJ.IEEE Trans on Audio，Speech，and Language Processing，2006，14（1）：277-288.2苑新宇.说话人辨认加速方法研究 D.兰州：西北民族大学，2021.YUAN Xinyu.Research on acceleration method of speakerrecognitionD.Lanzhou：Northwest Minzu University，2021.3林文勇.语者识别系统快速匹配机制的设计与实施D.北京：北京邮电大学，2016.LIN Wenyong.Design and implementation of fast matching mechanism for speaker recognition systemD.Beijing：Beijing University of Posts and Telecommunications，2016.4郑艳，姜源祥.基于特征融合的说话人聚类算法 J.东北大学学报，2021，42（07）：952-959.ZHENG Yan，JIANG Yuanxiang.Speaker clustering algorithm based on Feature FusionJ.Journal of NortheastUniversity，2021，42（07）：952-959.5罗春梅.基于改进 MFCC 与 RCNN 的说话人识别算法J.数学的实践与认识，2021，51（17）：102-110.LUO Chunmei.Speaker recognition algorithm based on improved MFCC and RCNN J.Practice and understandingof Mathematics，2021，51（17）：102-110.6何建军.基于GMM的说话人识别系统研究及其MATLAB实现 J.软件导刊，2021，20（08）：49-57.HE Jianjun.Research on speaker recognition systembased on GMM and its MATLAB implementation J.Software Guide，2021，20（08）：49-57.7李佰玲.说话人识别聚类算法研究 D.成都：电子科技大学，2021.LI Bailin.Research on clustering algorithm for speakerrecognitionD.Chengdu：University of Electronic Science and Technology of China，2021.8Xiong Zhenyu，Zheng T F，Song Zhanjiang.Combining Selection Tree with Observation Reordering Pruning for Efficient Speaker Identification Using GMM-UBM Proc of theIEEE International Conference on Acoustics，Speech andSignal Processing C/Philadelphia，USA，2005.9Liu Wenju，Sun Bin，Zhong Qiuhai.Research on Hierarchical Speaker Recognition Based on Speaker ClusteringTechnologyJ.ActaElectronica Sinica，2005，33（7）：1230-1233.10丛亚欢.说话人聚类系统关键技术研究与实现 D.北京：北京邮电大学，2020.CONG Yahuan.Research and implementation of keytechnologies of speaker clustering systemD.Beijing：Beijing University of Posts and Telecommunications，2020.11黄俊.I-vector聚类字典及注意力机制框架的说话人自适应J.小型微型计算机系统，2019，40（02）：460-464.HUANG Jun.Speaker adaptation based on I-vector clustering dictionary and attention mechanism framework J.Minicomputer system，2019，40（02）：460-464.12李湾湾.说话人声纹识别的算法研究 D.杭州：浙江大学，2017.LI Wanwan.Algorithm Research on speaker voiceprintrecognition D.Hangzhou：Zhejiang University，2017.13周萍.基于MFCC与GFCC混合特征参数的说话人识别 J.应用科学学报，2019，37（01）：24-32.ZHOU Ping.Speaker recognition based on MFCC andGFCC mixed feature parameters J.Journal of AppliedScience，2019，37（01）：24-32.14徐珑婷.基于稀疏分解的说话人识别技术研究 D.南京：南京邮电大学，2017.XU Longting.Research on speaker recognition technology based on sparse decomposition D.Nanjing：NanjingUniversity of Posts and Telecommunications，2017.15翟玉杰.基于GMM-SVM说话人识别的信道算法研究D.长春：吉林大学，2015.ZHAI Yujie.Research on channel algorithm of speakerrecognition based on GMM-SVM D.Changchun：JilinUniversity，2015.16Li P，Wang Q，Lei Z.A Novel Earth Movers DistanceMethodology for Image Matching with Gaussian MixtureModels C/IEEE International Conference on Computer Vision.IEEE，2014.17Wieting J，Bansal M，Gimpel K，et al.Charagram：Embedding Words and Sentences via Character n-grams（下转第1831页）17492023 年第 8 期计算机与数字工程参 考 文 献1 WANG Zhiheng，LIU Hongmin，XUE Xiao.HSICT：Amethod for romoving highlight and shading in color imageC/International Conference on Wavelet Analysis andPattern Recognition，Baoding，China，2009：51-56.2Q Yang，J Tang，N Ahuja.Efficient and Robust SpecularHighlight RemovalC/In IEEE Transactions on PatternAnalysisandMachineIntelligence，2015，37（6）：1304-1311.3W Xia，E C S Chen，S E Pautler，T M Peters.A Global Optimization Method for Specular Highlight Removal From aSingleImage C/InIEEEAccess，2019（7）：125976-125990.4朱俊.基于Retinex的改进夜视高光抑制视频增强算法J.计算机与数字工程，2018，46（06）：1208-1211.ZHU Jun.improved night vision highlight suppression video enhancement algorithm based on RetinexJ.Computer and Digital Engineering，2018，46（06）：1208-1211.5Pont S C，Doorn A J V，Wijntjes M W A，et al.Texture，illumination and material perception J.Human Vision andElectronic Imaging，2015：1-10.6Pesal，Koirala，Paras，et al.Highlight detection and removal from spectral image J.Journal of the Optical Society ofAmerica A，2011，28（11）：2284-2291.7Rong，Lu，Jan，et al.Surface roughness from highlightstructure J.Applied Optics，1999，38（13）：2886-2894.8袁震，廖宏谊.电子束扫描抛光技术工艺参数的正交试验及优化 J.铸造技术，2016，37（07）：1477-1480.YUAN Zhen，LIAO Hongyi.Orthogonal test and optimization of process parameters of electron beam scanning polishing technologyJ.Foundry Technology，2016，37（07）：1477-1480.9Phu P，Ishimaru A，Kuga Y.Controlled millimeter-waveexperiments and numerical simulations on the enhancedbackscattering from one-dimensional very rough surfacesJ.Radio Science，2016，28（4）：533-548.10李振宇，崔长彩，黄辉，等.基于轮廓法的金刚石线锯整周三维表面形貌测量和评价 J.机械工程学报，2019，55（20）：107-115.LI Zhenyu，CUI Changcai，HUANG Hui，et al.Measurement and evaluation of 3D surface topography of diamond wire saw based on contour methodJ.ChineseJournal of Mechanical Engineering，2019，55（20）：107-115.11赵博华，王伯雄，张金，等.粗糙金属表面光条中心提取方法 J.光学精密工程，2011，19（09）：2138-2145.ZHAO Bohua，WANG Boxiong，ZHANG Jin，et al.Extraction method of light stripe center on rough metal surfaceJ.Optical Precision Engineering，2011，19（09）：2138-2145.12刘晨，卢荣胜，陈磊，等.基于光学法表面粗糙度的测量研究进展 J.半导体光电，2010，31（04）：495-500.LIU Chen，LU Rongsheng，CHEN Lei，et al.Researchprogress of surface roughness measurement based on optical methodJ.Semiconductor Optoelectronics，2010，31（04）：495-500.13衷雪莲，李郝林.基于图像处理的磨削件表面粗糙度在线检测研究 J.计算机与数字工程，2019，47（06）：1482-1486，1554.ZHONG Xuelian，LI Haolin.Research on on-line detection of surface roughness of grinding parts based on image processingJ.Computer and Digital Engineering，2019，47（06）：1482-1486，1554.14汪锡平，任明武.基于Tamura纹理特征的人民币识别J.计算机与数字工程，2020，48（07）：1757-1759，1789.WANG Xiping，REN Mingwu.RMB recognition basedon Tamura texture featureJ.Computer and Digital Engineering，2020，48（07）：1757-1759，1789.15 Qinggang Wu.Remote Sensing Image Classificationbased on Fusion of ATLTP and Tamura Texture FeaturesJ.International Journal of Performability Engineering，2020，16（1）：59-66.J.ArXiv：1607.02789（cs），2016：1504-1513.18Wang R，Utiyama M，Goto I，et al.Converting Continuous-Space Language Models into N-gram LanguageModels with Efficient Bilingual Pruning for StatisticalMachine Translation C/ACM，2016：1-26.19Li X，Ding Y.Method and Research on Automatic Generation and Fluency Discrimination of Movie Word Sequence Based on NNLMC/2019 4th InternationalConference on Mechanical，Control and Computer Engineering（ICMCCE），2019：567-570.20Abdel-Hamid O，Mohamed AR，Jiang H，et al.Convolutional Neural Networks for Speech RecognitionJ.IEEE/ACM Transactions on Audio，Speech，and Language Processing，2014，22（10）：1533-1545.（上接第1749页）1831