第3章 语音信号的模型.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,第,3,章语音信号的模型,3.2,语音信号的无损声管模型,3.1,声在声管中的传播特性,3.4,无损声管模型的传输函数,3.3,级联无损声管与数字滤波器的关系,3.5,语音信号的数字模型,3.6,语音信号的共振峰模型,3.7,语音信号的非线性模型,（略）,第,3,章语音信号的模型,语音模型化，便于数字处理。,对模型的要求：,精确描述语音产生过程、尽可能地简单，,便于处理和实现。,已提出许多种不同的语音信号模型。,线性模型：,广泛使用,级联无损声管,模型和,共振峰,模型。,理论基础：,发音过程中声道处于运动状态，这种运动与语音信号相比,变化缓慢,，故可用,时变,的,线性系统,来,模拟,。,更精细分析时，发现语音中也存在较大的非线性现象，,某些应用需考虑这些因素对所研究问题的影响。,非线性模型：,有多种，,调频,-,调幅模型,受到广泛关注。,本章讨论：,级联无损声管模型,、,共振峰模型,、,调频,-,调幅模型,第,2,章,数字语音处理基础,第,3,章语音信号的模型,3.1,声在声管中的传播特性,物理学的定律是描述声道中声音的,产生,和,传播,的基础。,包括：,质量守恒,、,动量守恒,、,能量守恒,的基本定律，,热力学,、,流体力学,的定律等。,空气是一种流体,，也是声音赖以传播的介质。,应用物理原理，可得描述发音系统中空气运动,偏微分方程组,。,精确的方程,表达,和,求解,都是,极端困难,的，需,简化假设条件,。,因,周密的声学理论,必须考虑以下各种影响：,(1),声道形状的,时变性质,；,(2),声道壁的,热传导,和,粘滞摩擦损耗,；,(3),声音在嘴唇处的,辐射,；,(4),声道壁的,柔度,；,(5),鼻腔的,耦合,；,(6),声道中的,激励,。,目前，没有全面考虑各因素影响的声学理论，,应用中对这些因素给出,适当的说明,或者给出,定性的讨论,。,第,2,章,数字语音处理基础,3.1,声在声管中的传播特性,图,3.1,：,语音产生过程的最简单的,物理模型,。,假设：,声道被看成是,不均匀截面,的声管；,沿管轴传播的声波是,平面波,；,在流体中或管壁上不存在,热传导,和,粘滞损耗,。,根据假设及守恒定律，,Portnoff,证明声波满足,偏微分方程组,：,式中，,p,u,为声管内,x,位置处,t,时刻的,声压,和,体积速度,，,p=,p,(,x,t,),，,u=,u,(,x,t,),；,A,为声管内,x,位置处,t,时刻的管的,横截面面积,，,A=,A,(,x,t,),；,为声管内空气的,密度,；,c,为声的,传播速度,(,空气中声速,340m/s),。,第,2,章,数字语音处理基础,3.1,声在声管中的传播特性,图,3.1,语音生成过程的物理模型,A,(,x,),声门 嘴唇,(a),A,(,x,),0,l,x,(b),0,l,x,(c),给定声管的边界条件和面积函数后，可求得方程组的,闭式解,。,解的,表达式,非常,复杂,，但可以,采用数值解,。,应用中，某一特定时刻，,面积函数,可看成,不随时间变化,。,可借助于,各种合理,的,近似,和,简化,来使方程的求解成为可能。,并由此得到,语音信号的模型,（后续讨论该问题）。,声管中,声传播特性,与传输线中,电流传播特性,有很强的,类比关系,。,表,3.1,：,声学量,与,电学量,之间的,类比关系。,第,2,章,数字语音处理基础,3.1,声在声管中的传播特性,表,3.1,声学量与电学量之间物理量的类比,声学量,电学量,声学量,电学量,压力,p,电压,v,特性声阻抗,Z,0,=,c/A,特性电阻抗,Z,0,体积速度,u,电流,i,声激励角频率,电激励角频率,声感,/A,电感,L,单位长度声阻抗粹,Z=,j,/A,复阻抗,Z,声容,A/,(,c,2,),电容,C,单位长度声导纳,Y=,j,A/,(,c,2,),复导纳,Y,第,3,章语音信号的模型,3.2,语音信号的无损声管模型,无损声管模型,（,行波型模型,）：由多个,不同截面积,的,无损耗,管子,串联而成的系统。是最简单的声道模型。,图,3.2,：,10,级的,无损声管级联模型,。,语音信号的某一,“短时”,期间，声道可表示为,形状稳定,的,管道,。,该“短时”期间，管截面,A,是,常数,。偏微分方程以写成：,若第,m,段管子处，,A,(,x,t,),=A,m,，,u,(,x,t,),=u,m,，,p,(,x,t,),=p,m,，上式可以写成,第,2,章,数字语音处理基础,3.2,语音信号的无损声管模型,图,3.2,10,级无损声管级联,声门,嘴唇,A,1,l,1,A,2,l,2,A,3,l,3,A,4,l,4,A,5,l,5,A,6,l,6,A,7,l,7,A,8,l,8,A,9,l,9,A,10,l,10,解偏微分方程组，得：,式中，,l,m,第,m,节声管的,长度,；,和,第,m,节声管中的,正向行波,和,反向行波,。,在两个不同截面积的声管联接处，,行波表达,如,图,3.3,。,连续条件：,第,m,和,m,+1,节声管,联接处的,声压,和,体积速度连续,。,设第,m,节声管左端点为坐标,0,点，,右端点为,l,m,，则有,第,2,章,数字语音处理基础,3.2,语音信号的无损声管模型,图,3.3,两个无损声管之间的节点,l,m,A,m,l,m,+1,A,m,+1,结合两式，可进一步求解，见下页,重要表达式，后续求解要用到！,令,声波,通过长为,l,m,的第,m,节声管,需要的时间,为 ，,由上页两式，得：,解得：,式中,k,m,第,m,节节点的,反射系数；,k,m,是 在节点处,反射回波,的,倍数,。,图,3.4,：,两级声管的,流图,。,第,2,章,数字语音处理基础,3.2,语音信号的无损声管模型,图,3.4,两个无损声管节点信号流图点,1+,k,m,-,k,m,k,m,1,k,m,m,m,+1,m,m,+1,3.2.1,嘴唇端,N,段,无损声管,，,声门,处为,第一段,，,嘴唇,处为,第,N,段,。,声学理论：,嘴唇处的,声压,和,体积速度,间存在,正弦稳态关系,，即,式中，,Z,L,嘴唇处的,辐射阻抗,，或,辐射负载,。,假定,Z,L,(,)=,Z,L,是实数，令,N,=L,N,/c,，联立上式和,8,页偏微分方程,组的解，得：,即：,式中，,k,L,嘴唇处的,反射系数,，,嘴唇处的,体积速度,为：,图,3.5,：,级联无损声管在,嘴唇处,的,流图,。,第,2,章,数字语音处理基础,3.2,语音信号的无损声管模型,该式与电学的,欧姆定律,相对应,（,声压,对应,电压,，,体积速度,对应,电流,）,图,3.5,级联无损声管,在嘴唇处的流图,1+,k,L,k,L,N,N,3.2.2,声门端,声门可以看成是控制送入声道气流的,阻碍,。,电模拟：,声门处存在一个,内阻抗,（,感性,阻抗），,阻抗值,为声门处,声压,与,气流体积速度,之,比，,即：,Z,G,=,R,G,+,j,L,G,，,R,G,和,L,G,是,常数,。,图,3.6,：,声门端的,电模拟图,。由图得：,式中，,U,1,(0,),声门处的,体积速度,u,1,(0,t,),的,Laplace,变换；,P,1,(0,),声门处的,声压,p,1,(0,t,),的,Laplace,变换；,U,G,(,),等效体积速度源,u,G,(,t,),的,Laplace,变换。,第,2,章,数字语音处理基础,3.2,语音信号的无损声管模型,图,3.6,声门对应等效电路图,I,1,Z,G,I,G,U,1,如果,Z,G,是实数，令,m,=1,x,=0,，,则由上页式和,8,页,偏微分方程组的解,，有：,解得：,式中,k,G,声门处的,反射系数,，,图,3.7,：,声门端,级联无损声管的,流图,。,第,2,章,数字语音处理基础,3.2,语音信号的无损声管模型,图,3.7,级联无损声管在声门处的流图,k,G,1,1,将,两级声管级联,、,声门端,和,嘴唇端,与,声管级联,的结果合成，,可以画出基于声管理论的整个,流图,。,图,3.8,：,无损声管模型图,。,图,3.8,是,无损条件下,的结果；,若考虑空气与,管壁间的摩擦,、,穿过管壁的热传导,以及,管壁振动,等损耗，也可以解出前述方程式（结果复杂，不再赘述）。,管壁振动的影响最大，使低频端,谐振频率提高,；,其它两种损耗的影响较少；两者的净影响只是使低端的,谐振频率,比刚性无损声管壁模型的情况,稍有上移,。,图,3.8,无损声管模型图,1,1,2,2,1+,k,1,k,1,k,1,1,k,1,1+,k,N-,1,k,N-,1,k,N-,1,1,k,N-,1,1+,k,L,k,L,第,2,章,数字语音处理基础,3.2,语音信号的无损声管模型,例：,图,3.9,的,两级无损声管,的流图，,在嘴唇处的,体积速度,为,u,L,(,t,),=,u,L,(,l,L,t,),，,系统的,频率响应,为,令,s,=j,，代入上式得该系统的,系统函数,为：,第,2,章,数字语音处理基础,3.2,语音信号的无损声管模型,图,3.9,两级无损声管流图,1+,k,1,k,1,k,1,1,k,1,1+,k,L,k,L,1,2,1,2,第,3,章语音信号的模型,3.3,级联无损声管与数字滤波器的关系,工程上常将声道用,10,级等长无损声管,的,级联模型,来表征。,每节声管长度,均为,x,，,x,=,c,=l/N,l,10,级声管,总长度,，,一节声管中声,传播时间,。,声门处加,单位冲激序列,u,G,=,(,t,),，冲激沿声管传播，,在节点处，一部分被,反射，,另一部分,继续传播,。,分析传播过程：,(1),声波无反射，直接到达嘴唇的,幅度叠加,为,0,，,时延,为,N,，,则嘴唇处的,单位冲激,为：,0,(,t,-,N,),；,(2),一次反射的冲激到达嘴唇处多延迟,2,，,幅度叠加,为,1,，,则嘴唇处的,单位冲激,为：,1,(,t,-,N,-,2,),；,(3),某一节两次反射，或某两节各一次反射，,延迟,为,2,2,，,幅度叠加,为,2,，则嘴唇处的,单位冲激,为：,2,(,t,-,N,-,2,2,),。,第,2,章,数字语音处理基础,3.3,级联无损声管与数字滤波器的关系,依此分析，无损声管级联系统的,冲激响应,及,Laplace,变换,为：,式中，,e,-,N,s,传播,N,段管子所需的,延迟时间,，,如果设：,其,频率响应,为：,于是：,由上式看出，若系统输入是,频带有限信号,，即,/T,，,且取样周期,T,=2,，则,上述系统,和下面的,离散系统,等效：,式中，,n,0,，,z,k,1,。,即：,离散时域模型,的极点必,在单位圆内,，由稳定性所要求。,第,2,章,数字语音处理基础,3.5,语音信号的数字模型,图,3.15,声道谐振在,s,和,z,平面的表示图,j,/T,2,F,k,k,0,2,F,k,/T,s,平面,|,z,k,|,k,Re,z,平面,图,3.17,全极点,V,(,z,),的级联式实现,G,1,z,-1,z,-1,G,2,z,-1,z,-1,G,M,z,-1,z,-1,利用,数字滤波器,的各种实现方法可以实现,声道,的,时变滤波器。,时变数字滤波器,的,系数,是,随时间缓变,，,10 20 ms,内不变。,例：,用,直接形式,来实现，如,图,3.16,。,也可以用,二阶系统,的,级联,来实现,V,(,z,),，即：,，其中，,式中，,M,为,(,N,+1)/2,的,整数部分,。,图,3.17,：,上式的实现,级联流图,（特点是硬件可时分复用，对参数变化较,敏感，没有并联形式好）,。,第,2,章,数字语音处理基础,3.5,语音信号的数字模型,图,3.16,全极点,V,(,z,),直接式实现,G,z,-1,a,1,z,-1,a,2,a,N,1,z,-1,a,N,以上讨论了声道的数字模型，,下面分别讨论在嘴唇和声门处的,数字模型,。,嘴唇处的数字模型：,根据式 ，,嘴唇处的,声压,、,体积速度,与,辐射阻抗,的,关系式,及,z,变换,为：,由于的实部随频率增高而增高，故上式是一种高通滤波运算，,可以证明嘴唇辐射的影响可表示为：,第,2,章,数字语音处理基础,3.5,语音信号的数字模型,声门处激励的数字模型：,语音分成,清音,和,浊音,，清音由,随机噪声,激励产生,浊音由,准周期脉冲串,激励产生，其周期称为,基音周期,。,图,3.18,：,浊音情况下，,激励信号,的产生示意图。,冲激串发生器输出的,单位冲激序列,（冲激间隔为,基音周期,）。,线性,激励系统函数,为,G,(,z,),，经,幅度控制,后输出为,浊音激励,。,G,(,z,),的,反变换,g,(,n,),可以用,Rosenberg,函数,近似表示：,式中，,N,1,斜三角波,上升部分,的时间，约占基音周期的,50,；,N,2,斜三角波,下降部分,的时间，约占基音周期的,35,。,第,2,章,数字语音处理基础,3.5,语音信号的数字模型,图,3.18,浊音信号激励的产生,基音周期,增益控制,A,v,冲激串发生器,G,(,z,),斜三角波,的,占时比例,关系与声带开启面积的与时间关系对应。,图,3.19,：,单斜三角波,波形,及,频谱,。,是,低通滤波器,。,其,z,变换,的,全极点（二极点）模型,：,式中，,C,是一个,常数,。,斜三角波串,可看成,加权单位脉冲,激励,单斜三角波模型,的结果。,A,v,是,单位脉冲串,的,幅度因子,；,单位脉冲串的,z,变换,为：,完整的,激励模型,为：,第,2,章,数字语音处理基础,3.5,语音信号的数字模型,图,3.19,单个斜三角波及其频谱,1.0,0.8,0.6,0.4,0.2,0,5 10 15,20,t,/ms,g,(,n,),20,lg,G,(e,j,),30,20,10,0,10,20,30,1,2,3,f,/kHz,清音情况下，发,塞音,或,摩擦音,，声道被阻形成,湍流,。,激励可模拟成,随机白噪声,，,用,均值,为,0,、,方差,为,1,，,时间,或,/,和,幅值,为,白色分布,的序列。,图,3.20,：,考虑所有的激励因素，,语音产生的数字模型,。,特点：,二元激励,，浊音、清音激励,交替进行,。,声道可以用多种滤波器来模拟，,通常，把,辐射,和,声道,等因素全部结合，表示为,全极点函数,：,第,2,章,数字语音处理基础,3.5,语音信号的数字模型,图,3.20,语音产生的数学模型,基音周期,增益控制,A,v,a,m,G,P,L,(,n,),增益控制,A,N,冲激串发生器,G,(,z,),白噪声发生器,V,(,z,),R,(,z,),结论：,优点：,该模型对大多数语音是一个好模型，,能合成出,较满意,的,语音,，是分析语音最重要的基础。,缺点：,二元激励模型有,局限性。,模型建立,“短时”,平衡为前提，,不完全符合实际,；,理论上,鼻音,和,擦音,需,有零点,，,浊擦音,不是简单的浊音和清音的叠加。,该模型不能给出模拟。,第,2,章,数字语音处理基础,3.5,语音信号的数字模型,第,3,章语音信号的模型,3.6,语音信号的共振峰模型,将,声道,看成为,谐振腔,，,共振峰,是该腔体的,谐振频率,。,柯蒂氏器官,的,纤毛细胞,按频率感受排列，故,共振峰模型,有效。,实践证明：,元音,用前,3,个,共振峰,。,辅音,或,鼻音,，用到,5,个以上的,共振峰,。,应用物理学，,易推导出均匀断面声管的,共振峰频率,。,例：,成人,声道,约为,17.5,cm,，,可计算出：,f,1,=,500,Hz,，,f,2,=1500,Hz,，,f,3,=,2500,Hz,。,发,e,时声道最接近,均匀断面,，其,共振峰,最接近上述值。,从语音信号求出,共振峰频率,、,带宽,和,幅度,的方法是重要的。,三种实用的共振峰模型：,级联型,、,并联型,、,混合型,。,第,2,章,数字语音处理基础,3.6,语音信号的共振峰模型,3.6.1,级联型共振峰模型,级联型共振峰模型,认为声道是一组串联的,二阶谐振器,。,声道,有多个,谐振频率,和,反谐振频率,，可模拟为,零极点模型,。,一般元音,，使用,全极点模型,，其,传输函数,如下：,式中，,N,极点个数,；,，,G,幅值因子,；,a,k,多项式系数,。,可将传输函数分解为多个,二阶极点,的网络的,串联,，即：,式中，,M,是,(,N,+1)/2,的整数部分。,第,2,章,数字语音处理基础,3.6,语音信号的共振峰模型,第,k,个,极点,z,k,为,，,T,是,取样周期,，是,带宽,的,1/2,。,取上式中的,某一级,，设为：,则其,幅频特性,及其,流图,如,图,3.21,所示。,图,3.22,：,级联型共振峰模型,（取,N,=10,，则,M,=5,）,。,激励模型,和,辐射模型,参照前述的结果，,G,是,幅值因子,。,第,2,章,数字语音处理基础,3.6,语音信号的共振峰模型,图,3.22,级联型共振峰模型,G,激励模型,V,1,语音,V,2,V,3,V,4,V,5,辐射模型,图,3.21,二阶谐振器,|,V,i,(e,j,)|/dB,20,0,20,40,1,2,3,4 5,f,/kHz,二阶谐振器的幅频特性,d,b,c,二阶谐振器的流图,3.6.2,并联型共振峰模型,非一般元音,和,大部分辅音,，必须考虑,零极点模型,。,零极点模型,传输函数,V,(,z,),为：,(,分子与分母无公因子及分母无重根,),后面的等式是,并联型共振峰模型,，,图,3.23,是,M=5,时的示例。,第,2,章,数字语音处理基础,3.6,语音信号的共振峰模型,图,3.23,级联型共振峰模型,语音,A,1,V,1,A,2,V,2,A,3,V,3,A,4,V,4,A,5,V,5,G,激励模型,辐射模型,3.6.3,混合型共振峰模型,级联型简单,，可描述一般,元音,。级数取决于,声道长度,，取,35,级,鼻音,、,塞音,或,摩擦音,时，,级联模型,不能胜任。,采用,并联型,可解决其不足。它比级联型复杂些。,混合型：,级联型,与,并联型,相,混合,。一种,较完备共振峰模型,。,图,3.24,：,混合型共振峰模型,。,第,2,章,数字语音处理基础,3.6,语音信号的共振峰模型,图,3.24,混合型共振峰模型,语音,A,1,V,1,A,2,V,2,A,3,V,3,A,4,V,4,A,5,V,5,A,F,辐射模型,随机噪声,发生器,低通,滤波,V,2,V,3,V,4,V,5,V,1,A,v,冲激序列,发生器,低通,滤波,A,B,音调周期 浊,/,清开关,第,3,章语音信号的模型,3.7,语音信号的非线性模型,（略）,第,2,章,数字语音处理基础,3.7,语音信号的非线性模型,谢 谢,!,