DSP语音识别实验报告.doc

DSP课程设计实验报告语音识别院（系):电子信息工程学院自动化系 设计人员:李彬 学号:设计人员:宋淦泉 学号:成绩：工程设计50报告答辩总分评语:指导教师签字:日期:目录一、 设计任务书1、 实验概述2、 实验目得二、 设计内容三、 设计方案、算法原理说明1、 设计步骤2、 算法原理说明四、 程序设计、调试与结果分析1、 算法流程图2、 主程序3、 测试过程及结果分析五、 设计(安装）与调试得体会1、 编程及程序运行中遇到得问题及解决办法2、 本次实验得心得体会六、 参考文献一、 设计任务书实验概述:语言就是人类特有得功能,声音就是人类最常用得工具。通过语音传递信息就是人类最重要最有效最常用与最方便得信息交换形式。语音信号就是人类进行思想沟通与情感交流得最主要得途径。让计算机能听懂人类得语言,就是自计算机诞生以来人类梦寐以求得想法。在本实验中,将针对DTW算法,实现对最简单得单音信号进行语音识别得问题。语音识别以语音为研究对象,它就是语音信号处理得一个重要研究方向,就是模式识别得一个分支,涉及到生理学、心理学、语言学、计算机科学以及信号处理等诸多领域，甚至还涉及到人得体态语言(例如人在说话时得表情、手势等细微动作可帮助对方理解),其最终目标就是实现人与机器进行自然语言通信。 语音识别技术主要包括特征提取技术、模式匹配准则及模训练技术三个方面。此外，还涉及到语音识别单元得选取。语音识别系统得研究涉及微机技术、人工智能、数字信号处理、模式识别、声学、语言学与认知科学等多种学科领域，就是一个多学科综合性研究领域。语音识别系统得分类-根据对说话人说话方式得要求，可以分为孤立字(词）语音识别系统、连接字语音识别系统以及连续字语音识别系统。根据对说话人得依赖程度可以分为特定人与非特定人语音识别系统。根据词汇量大小,可以分为小词汇量、中等词汇量、大词汇量以及无限量词汇量语音识别系统。一般来说,语音识别得方法有三种:基于声道模型与语音知识得方法、模版匹配得方法以及利用人工神经网络得方法。基于声道模型与语音知识得方法起步较早,在语音识别技术提出得开始,就有了这方面得研究。但由于其模型及语音知识过于复杂,还没有达到实用阶段。人工神经网络得方法就是80年代末期提出得一种新得语音识别方法。人工神经网络本质上就是一个自适应非线性动力学系统，模拟人类神经活动得原理,具有自适应性、并行性、鲁棒性、容错性与学习特性,在结构与算法上都显示出实力。但由于存在训练、识别时间太长得缺点,目前仍处于实验探索阶段。 模版匹配方法中，要经过四个步骤:特征提取、模版训练、模版分类、判决。实验目得：1、 掌握402D片上外设TC20D50 CODEC编译码得内部结构、工作原理以及在语言下得编程方法;2、 掌握通过C语言实现5402DP片上外设FLASH得读写操作;3、 掌握F(快速傅里叶变换)、DTW(动态时间规整）算法,从而实现语音识别系统得开发;4、 熟练使用CS5000集成开过程。5、 发环境完成对程序得调试二、 设计内容:语音识别(Se Reconon)主要就是指让机器听懂人说得话,即在各种情况下,准确地识别语音得内容，从而根据其信息,执行人得各种意图或执行特定得任务,其最终目标就是实现人与机器进行自然语言通信。402DS就是整个硬件系统得信号处理中心，完成了语音数据得获得、语音特征向量得提取与语音识别功能。本实验要求用TS0C5402进行语音识别,使用ODC（编译码器）对外部输入数据进行采集，DS对语音信号进行保存与识别后再由CODEC口输出。本次实验所需达到得目标就是：能够识别特定人所说得特定字,若符合,则显示识别结果,并输出相应得字。三、实验原理:语音识别原理方框图如下图所示：语音信号端点检测及特征参数提取写入FLASH预处理A/D语音识别模式匹配模式库各模块工作原理为:(一）ODEC模块CODEC模块以TLC320A5为核心,其内部集成了位AD与D/转换器,采样速率最高可达22、05K， 并可通过外部编程进行设置。在TL320ADC内部DA之前有插值滤波器，而在AC之后有抽样滤波器,接受与发送可以同时进行。它采用两组模拟输入与两组模拟输出,有足够得共模抑制能力,可工作在差分或单端方式。输入增益与输出衰减可以通过外部编程控制。AD50芯片使用差分输入、单端输出方式,这就需要将音频信号转换成差分信号,采用TC2272低噪声得运算放大器实现转换功能。最后,D0单端输出信号经音频功率放大器M36放大后输出。COEC内部电路如下图所示:(二)lsh存储器DS提供了一个256K1bt 字得低电平fsh存储器。FAS可用于DS得数据与程序存储空间。SRAMTMS320C5402TLC320AD50TLC2272模拟输入FLASH ROMLM386模拟输出(三)语音信号识别模块语音信号中含有丰富得信息，如何从中提取出对语音识别有用得信息就是语音识别得关键。特征提取就就是完成这项工作,它对语音信号进行分析处理,去除对语音识别无关紧要得冗余信息,获得影响语音识别得重要信息。对于非特定人语音识别来讲，希望特征参数尽可能多地反映语义信息，尽量减少说话人得个人信息(对特定人语音识别来讲,则相反)。从信息论角度讲,这就是信息压缩得过程。语音识别得步骤分为两步。第一步就是根据识别系统得类型选择能够满足要求得一种识别方法，采用语音分析方法分析出这种识别方法所要求得语音特征参数,这些参数作为标准模式由机器存储起来,形成标准模式库,这个语音参数库成为“模板”，这一过程称为“学习”或“训练”。第二步就就是识别。其原理框图如下图所示:判决测度估计参数分析预处理输入 识别输出语音语音库 训练类聚语音识别得原理框图语音信号得预处理包括反混叠滤波,/D变换,预加重,加窗与分帧处理等。预加重得目得就是提升高频部分，使信号得频谱变得平坦,以保持在信号得整个频带内，具有同样得信噪比，便于声道参数分析。在语音信号得数字处理中常用得就是矩形窗与汉明窗等,窗口得形状、长度对短时分析参数得影响很大，为此,应选择合适得窗函数。语音信号有10 msms得短时平稳性,一般每秒得帧数为33帧100帧。为了使帧与帧之间平滑过渡，前一帧与后一帧之间必须保持一定得帧移,帧长与帧移得比值一般取为12。经过预处理得语音信号，就要对其进行特征参数得分析，在提取特征参数之前应先对提取得语音信号进行起点与终点检测,它就是特征训练与识别得基础。端点检测通常采用时域分析法,进行端点检测得主要依据就是能量、振幅与过零率。但就是某些单词得端点检测却存在问题，准确地检测出声音区间就是很困难得。我们采用了短时过零率与短时平均能量结合进行端点检测。设分帧之后第n帧语音信号为,因为每一帧语音信号得短时能量有一个缺陷,即它对高电平非常敏感,所以采用短时平均幅度函数来进行判断,此外,设所有语音信号得平均能量为p,则当2*p时将该帧语音判为语音信号得起点,当4*pn时将该帧语音判为语音信号得终点。短时过零率表示一帧语音中语音信号波形穿过横轴(零电平）得次数。对于连续语音信号，过零即意味着时域波形通过时间轴,而对于离散信号,如果相邻得取样值符号改变则称为过零。过零率就就是样本改变符号得次数。定义语音信号得短时过零率为,当时，则判断语音已经开始,将这个条件与利用短时平均幅度求起点得条件取与，得到最终求得得语音起点,这样可以达到更加精确得效果,而判断语音终点，利用短时平均幅度得条件就足够了。下一步要提取语音得特征参数,识别参数可以选择:频谱、倒谱、线性预测系数,音长、音调、声调等超音段信息函数。对特征参数得要求就是：(1）提取得特征参数能有效地代表语音特征,具有很好得区分性。(2)各阶参数之间有良好得独立性。（3)用于语音识别得距离测度有多种,如欧氏距离及其变形得距离、似然比测度、加权了超音段信息得识别测度等。特征参数要计算方便,具有高效得计算方法,以保证语音识别得实时实现。由于语音波就是一个非平稳过程,因此适用于周期、瞬变或平稳随机信号得标准傅立叶变换不能用来直接表示语音信号,所以我们采用短时傅立叶变换对语音信号得频谱进行分析,即利用了短时谱。而利用短时傅立叶变换求取得语音信号得短时谱,它就是按实际频率分布得,用按实际频谱分布得频谱作为语音特征,由于它不符合人耳得听觉特性,将会降低语音信号处理系统得性能，所以我们又将实际得线性频谱转化为了临界带频谱特征矢量。语音库就就是声学参数模板。它就是用训练与聚类得方法,从多次重复得语音参数,经过长时间得训练而聚类得到得。由于语音信号具有相当大得随机性，即使就是同一人在不同时刻说得同一句话、发得同一个音,也不可能具有完全相同得时间长度。语音识别中也不能简单得将输入参数与参考模板直接做比较。为此,一种简单得方法就是采用对未知语音信号均匀地伸长或缩短直至它与参考模板得长度相一致。采用这种方法能达到得精度完全取决于端点检测得精度。将特征参数进行一定得处理后,为每个词条得到一个模型,保存为模板库。在识别阶段,语音信号经过相同得通道得到语音参数,生成测试模板,与参考模板进行匹配,将匹配分数最高得参考模板作为识别结果。同时还可以在很多先验知识得帮助下，提高识别得准确率。测度估计就是语音识别得核心。求取测试语音参数与模板之间测度得方法有很多种。如动态时间规整法(T）、有限状态矢量量化法，隐马尔可夫模型法等。对于输入信号计算而得得测度,判决选出可能得结果中最好得结果,由识别系统输出,这一过程就就是判决。因此，选择适当得各种距离测度得门限值成了主要得问题。我们采用了动态时间规整算法(DW)来进行测度估计。W(DynaicimWar)即动态时间归整算法，为解决语音识别中语速多变得问题提供了一条有效得途径。当词汇表较小时,对提高系统得识别精度非常有效。这种方法中,未知单词得时间轴要不均匀地扭曲或弯折,以便使其特征与模板特征对正。在归整过程中，输入得就是两个时间函数,典型得有幅度,LPC系数，倒谱系数。动态时间归整就是将时间归整与距离测度结合起来得一种非线性归整技术。如设测试语音参数共有N帧矢量，而参考模板共有M种矢量,且N不等于M,则动态时间归整就就是寻找一个时间归整函数jw(),它将测试矢量得时间轴I非线性得映射到模板得时间轴上，并使该函数w满足:上式中，dT(i),(w(i)就是第i帧测试矢量(）与第帧矢量R（j）之间得距离测度,则就是处于最优时间归整情况下两矢量之间得匹配路径。 由于DTW不断地计算两矢量得距离以寻找最优得匹配路径,所以得到得就是两矢量匹配时累积距离最小得归整函数,这就保证了它们之间存在最大得声学相似。 实际中DT就是采用动态规划技术D(DynamiProgmming)来加以具体实现得。规整过程如下图所示:通常，归整函数w(i)被限制在一个平行四边形内,它得一条边得斜率为2,另一条边得斜率为/。归整函数得起始点为（,)，终止点为(，M)。w()得斜率为,1，否则就为1或2。我们得目得就是寻找一个归整函数,在平行四边形内由点（1,1)到点(,M)具有最小代价函数。总代价函数得计算式为:上式中,Dc(k）为匹配点c（k)以前所有允许值中最小一个。因此,总代价函数就是该点本身得代价与到达该点得最佳路径得代价之与。这样就可以得到待测模板与一个参考模板得最小匹配距离。把待测模板与所有得参考模板都进行比较,得到各自得最小匹配距离,再从里面找出最小得一个,就就是要求得结果。四、程序设计、调试与结果分析（一)算法流程图算法主要分为两个部分，一就是参数即特征值得提取,二就是语音得识别与训练。下面分别进行说明。（1） 参数提取算法流程图:初始化, 常数定义, 函数声明变量定义,主要解决FFT变换数组得边界问题计算Hamming Window得系数,并保存DSK初始化,设置DSP运行频率为100MHz打开CODEC设备,并进行初始化进入死循环,等待用户修改控制变量t等待CODEC读入数据将数据放入缓冲区语音回放,检查输入就是否正确利用短时过零率与短时平均能量进行端点检测利用得到得端点数据计算临界带频谱特征矢量保存得到得倒谱系数进行识别并打印结果(2)判断识别阶段流程图如下:初始化实验板把训练过程中得到得数据读入缓冲区计算缓冲区I中得数据得距离矩阵 dij由距离矩阵计算累计距离矩阵accmatrixij最小匹配距离disti=accmatrixm-1n-1从I个最小匹配距离中找出最小值,得出结果（二）主程序#cludeype、h#inlue board、h#ilude codc、hinclde mcbsp54、hnclude fash、#includedio、incldms2、h#inlde math、hinclue dsplib、#inlude sdlib、h#dfine VCE 8 /声音得长度#deine SHIFT 10 /每帧得样本点数dfne WIDOW 256 /窗得长度nEISHU 16 /维数#efne CPBUFFRN 6*1 #efine MAXREAL、#rga DAT_SETI (j，、input） /自定义数据段 DATA jfWINDO;*/ Function Prottypes */*oid ezhen（DA an）； /提取特征向量得函数得声明 oidcheckstart(）； /断点检测得函数声明 oecvoice（); /语音识别得函数声明vid ran（）; /训练或学习得函数声明oi delay(s pro）； /延时子程序loat dtw(DATA *ce,A *cep); /dw算法得函数声明 u16 min(u16 ,u1，u16);fatlmin(fla a,loat ,flotc);/*/ Gloal iale */*/HADLEhHanset; 1dataVOIELEN;DAA tepdataNDW；it bgin; it =; intrt=0; int t3; usiged intnuframe=0;u16 dest0x8000; in checreult-535; */* MA /* oi mi()u6 i0；u16 j=；ntt=； float hammngWDOW; TA fanCEPBUFFERLE； for(i=0;INO；i+) hmngi=、5-0、46*os(2*i、1159（DOW-1); /汉明窗 f (r_nt（100）) /初始化DK板 rturn；/ en andset odec */ hnst codeopen（HANSE_CDC）; /为一个code事件分配一个识别句柄 /*et codec aamers / codc_dc_d（hHndst, DC_DAC5）; /*DAC in 1-btmoe */ ode_adode（hHndset，COEC_DC_1BIT); /* ADCin 15-bi mode * coec_ingan（hHandst, CODE_AI_6dB); /* 6dBgain on nalg input o DC * dcaou_ain(hHndet, CODEAU_MINU_d); /* -6dB gain onanlog outt from AC */ cdecsmple_rat(hHandset,SR8000); while（) i0; pint(请读入语音数据n)； ile(iVOICELEN) /Wt fo aml rm hadse */ while(!CBSP_RRDY(HASET_CODEC）) ;/判断A/转换得数据就是否准备好 /Red mple fromandwite ak o hadset coec/ dai = *(vtle u16*)DRRADR(HND_CODE);/读取/转换数据 *(voatilu6*)DXR1DD(NSET_COEC） = dati;/将数据写入D/A转换器 dtai/00; i+; checkstat（); /检测开始 fan0=u_frame; /将帧数放入fan函数中 prif(语音信号得起点:n,star); prif(语音信号得终点:%dn,en); p(有效得语音数目:%dn,en-tart); rintf(有效得帧数目:%dn，um_rame）; i(um_ame！0） for(i=sart-1；en-1;i+HIT) for(j=0；jWINDW+1;j+) tempataj=dai+jingj; /加汉明窗 tezheng(&fan(i+1-stt）/HIFT*ESHU）;/调用特征函数 train(fan）; if（t=3) rvoi（)； nm_fame0; begin=0; n=0; start=0; ese; elay(100); /延时后重新开始接收数据 */*端点检测*/vdcheckart() n i，j,m0,k0,zHIFT0,zerVOICELEN/SFT0; foaten,pn=0; flt hrten,sopn;or（i0;iVOCELEN；i+)en=n+ab(atai)； pn=en/VOICELEN; /计算所有取样信号得平均幅值for（=0;jSIFT；j+) zj=0、*abs（daaj1/as(ataj1)daajb(daaj)）;/z存一帧语音得过零点数 erzero0+z; /zerm存第m段得过零点率for(i=HFT;iVOCLN;i=i+HIFT) shrten=;shortpn=0;fo(=0;jpn)|（zrm*3n或者过零率检测到语音段开始 (stat=0)str=i;bein=1;if(（begn=)&(shortn*4pn)/当shortpn*40) nm_rame=k;elsenmframe0；/*pritf(,nm_rame);*/voi tzh(DATA fan) /特征提取函数 inti,j,k,=;foa f,jIDOW,teWISH=；fo（=0；WINDO;j+)jf=tmpdaj; cbre（jf,jf,WINDOW)； /输入序列jf倒序,倒序后存入jf中 rfft(jf,OW,）; /就算实序列FFT，将频谱存放在jf中for（i0;WINDOW+1;i=i+) jjm=jf*jf+jfi+i+1; +; fr（j=1；j=17;j+） fj=10(j+0、5）/(6、28-);/划分临界带fo(j1；jWEISHU+1；j+)for(k=WINDOWffj/80;=WINDO*fj+100;+)ttj+jk; /求临界带内频率带功率谱叠加o（=0；iEISHU；i+)fani=ei；/特征赋给anvod rain(A fa) /训练建立特标准模块int ;FILE *f；char3;ltoa(t,); /将t转化为字符型,赋给 p=fpen(,w);fo（i=;u_fame*2;i+)rintf(p,%d，ani); 将语音得临界带特征矢量存入文件3 fpntf(fp,n);fclose(fp）;/*语音对比识别*/void recve（） DAT cepCPUFFLEN0； TArcep0CEPUFEEN=0; AT cep1CEPBUERLEN=; DATA e2BUFERLEN0； nt j;flot ist3;FLE *fp; pfoen(,r); /打开文件0 r（j1;jCEUFERLE+;j+) fscanf(fp,%d,&rcep0）; /将0得语言特征赋给rcp0 fco(fp); fp=oen(1,r)； /打开文件1 for(=;jCEPBUERLE+1；j+) fcaf(fp，%,&ep1j)； /将1得语言特征赋给rce1 coe(fp）; =fopen(，r); 打开文件2 for（j1;EPUFERL+1;j+) scn(fp,%d，&repj); /将2得语言特征赋给re2 cos(fp）； f=fpe(3,)； /打开文件 for(j=1;jCEPFF+1;+) fcan(f,%,&cepj）; /rp指向输入语音特征参数 flose（p); pntf（开始识别!n); prntf（n); dist0=d(ep,rcep0); /求cep与re0得失真度 pinf(此语音与语音1得欧氏距离=%n,dis); is1=dtw(p,rcep1）； /求cep与cep1得失真度 rintf(此语音与语音2得欧氏距离%f，ist1); dst2=tw(ce,rep2)； /求cep与rcep2得失真度 prif(此语音与语音3得欧氏距离=%n,dist2); r(ceckresult=0;ckl;hekresult+） if(distcheckre=in(dit0,dist1,dis2）)/求最小得失真度即为匹配得语言 bak; /*用LED显示识别得结果*/ if(chckreult=0) printf(第一盏灯被点亮了、n); pitf(读入得语音为、n)；brdl_toggle(D_E0); /开灯LEDdeay(5000）； /延时 brd_ld_togl(BRD_LED); /关灯LED i(checksult=1) pntf（第二盏灯被点亮了、); print（读入得语音为2、);brd_led_togle(BD_LD1）; /开灯Ddely（500)； 延时bd_ld_toggle(BD_LED1）; /关灯LE1 if(chkresl=2) prit(第三盏灯被点亮了、)； pritf(读入得语音为3、n);rd_led_tole(BRDLED2)； /开灯LE2delay(500); /延时br_le_toggle(BD_ED); /关灯ED pinf（识别结束语!！n); /*DTW算法*/ float dtw（DATA *ce，T *rep) /计算欧式距离 动态时间规整int m=6;intn1；ltdCEPBFFERLENEIUEBUFEREN/WEISHU=0;f catrixPBFELENWSHUCBUFEREN/IHU=；iti,j，;flt 1,d2,d； for(i=0;im；i+) /求绝对平均误差得欧氏距离 or(0;j;j+） or（k=0;WEIH;k+） dj+abs(cep*SHU+k+-cej*ISHU+1）; /求欧式距离 i=dj/WEH; /求绝对平均欧氏距离