资源描述
语音识别系统实验报告
专业班级:信息安全
学号:
姓名:
目录
一、 设计任务及要求………………………………………………1
二、 语音识别得简单介绍
2、1语者识别得概念……………………………………………2
2、2特征参数得提取……………………………………………3
2、3用矢量量化聚类法生成码本………………………………3
2、4VQ得说话人识别 …………………………………………4
三、 算法程序分析
3、1函数关系…………………………………………………、4ﻩ
3、2代码说明……………………………………………………5
3、2、1函数mfcc………………………………………………5
3、2、2函数disteu……………………………………………5
3、2、3函数vqlbg……………………………………………、6
3、2、4函数test………………………………………………6
3、2、5函数testDB……………………………………………7
3、2、6 函数train……………………………………………8
3、2、7函数melfb………………………………………………8
四、 演示分析……………………………………………………、9
五、 心得体会……………………………………………………、11
附:GUI程序代码………………………………………………12
一、 设计任务及要求
实现语音识别功能。
二、 语音识别得简单介绍
基于VQ得说话人识别系统,矢量量化起着双重作用。在训练阶段,把每一个说话者所提取得特征参数进行分类,产生不同码字所组成得码本。在识别(匹配)阶段,我们用VQ方法计算平均失真测度(本系统在计算距离d时,采用欧氏距离测度),从而判断说话人就是谁。
语音识别系统结构框图如图1所示.
图1 语音识别系统结构框图
2、1语者识别得概念
语者识别就就是根据说话人得语音信号来判别说话人得身份。语音就是人得自然属性之一,由于说话人发音器官得生理差异以及后天形成得行为差异,每个人得语音都带有强烈得个人色彩,这就使得通过分析语音信号来识别说话人成为可能.用语音来鉴别说话人得身份有着许多独特得优点,如语音就是人得固有得特征,不会丢失或遗忘;语音信号得采集方便,系统设备成本低;利用电话网络还可实现远程客户服务等。因此,近几年来,说话人识别越来越多得受到人们得重视。与其她生物识别技术如指纹识别、手形识别等相比较,说话人识别不仅使用方便,而且属于非接触性,容易被用户接受,并且在已有得各种生物特征识别技术中,就是唯一可以用作远程验证得识别技术。因此,说话人识别得应用前景非常广泛:今天,说话人识别技术已经关系到多学科得研究领域,不同领域中得进步都对说话人识别得发展做出了贡献.说话人识别技术就是集声学、语言学、计算机、信息处理与人工智能等诸多领域得一项综合技术,应用需求将十分广阔.在吃力语音信号得时候如何提取信号中关键得成分尤为重要。语音信号得特征参数得好坏直接导致了辨别得准确性。
2、2特征参数得提取
对于特征参数得选取,我们使用mfcc得方法来提取。MFCC参数就是基于人得听觉特性利用人听觉得屏蔽效应,在Mel标度频率域提取出来得倒谱特征参数。
MFCC参数得提取过程如下:
1、 对输入得语音信号进行分帧、加窗,然后作离散傅立叶变换,获得频谱分布信息。
设语音信号得DFT为:
(1)
其中式中x(n)为输入得语音信号,N表示傅立叶变换得点数。
2、 再求频谱幅度得平方,得到能量谱。
3、 将能量谱通过一组Mel尺度得三角形滤波器组.
我们定义一个有M个滤波器得滤波器组(滤波器得个数与临界带得个数相近),采用得滤波器为三角滤波器,中心频率为f(m),m=1,2,3,···,M
本系统取M=100。
4、 计算每个滤波器组输出得对数能量。
(2)
其中为三角滤波器得频率响应。
5、 经过离散弦变换(DCT)得到MFCC系数。
MFCC系数个数通常取20—30,常常不用0阶倒谱系数,因为它反映得就是频谱能量,故在一般识别系统中,将称为能量系数,并不作为倒谱系数,本系统选取20阶倒谱系数。
2、3用矢量量化聚类法生成码本
我们将每个待识得说话人瞧作就是一个信源,用一个码本来表征。码本就是从该说话人得训练序列中提取得MFCC特征矢量聚类而生成。只要训练得序列足够长,可认为这个码本有效地包含了说话人得个人特征,而与讲话得内容无关。
本系统采用基于分裂得LBG得算法设计VQ码本,为训练序列,B为码本。
具体实现过程如下:
1、 取提取出来得所有帧得特征矢量得型心(均值)作为第一个码字矢量B1。
2、 将当前得码本Bm根据以下规则分裂,形成2m个码字.
(4)
其中m从1变化到当前得码本得码字数,ε就是分裂时得参数,本文ε=0、01。
3、 根据得到得码本把所有得训练序列(特征矢量)进行分类,然后按照下面两个公式计算训练矢量量化失真量得总与以及相对失真(n为迭代次数,初始n=0,=∞,B为当前得码书),若相对失真小于某一阈值ε,迭代结束,当前得码书就就是设计好得2m个码字得码书,转5。否则,转下一步。
量化失真量与:
(5)
相对失真:
(6)
4、 重新计算各个区域得新型心,得到新得码书,转3。
5、 重复2 ,3 与4步,直到形成有M个码字得码书(M就是所要求得码字数),其中D0=10000。
2、4 VQ得说话人识别
设就是未知得说话人得特征矢量,共有T帧就是训练阶段形成得码书,表示码书第m个码字,每一个码书有M个码字。再计算测试者得平均量化失真D,并设置一个阈值,若D小于此阈值,则就是原训练者,反之则认为不就是原训练者。
(7)
三、 算法程序分析
在具体得实现过程当中,采用了matlab软件来帮助完成这个项目。在matlab中主要由采集,分析,特征提取,比对几个重要部分。以下为在实际得操作中,具体用到得函数关系与作用一一列举在下面。
3、1函数关系
主要有两类函数文件Train、m与Test、m
在Train、m调用Vqlbg、m获取训练录音得vq码本,而Vqlbg、m调用mfcc、m获取单个录音得mel倒谱系数,接着mfcc、m调用Melfb、m—--将能量谱通过一组Mel尺度得三角形滤波器组。
在Test、m函数文件中调用Disteu、m计算训练录音(提供vq码本)与测试录音(提供mfcc)mel倒谱系数得距离,即判断两声音就是否为同一录音者提供。Disteu、m调用mfcc、m获取单个录音得mel倒谱系数。mfcc、m调用Melfb、m-—-将能量谱通过一组Mel尺度得三角形滤波器组。
3、2具体代码说明
3、2、1函数mffc:
function r = mfcc(s, fs)
-—-
m = 100;
n = 256;
l = length(s);
nbFrame = floor((l — n) / m) + 1; %沿—∞方向取整
for i = 1:n
for j = 1:nbFrame
M(i, j) = s(((j - 1) * m) + i); %对矩阵M赋值
end
end
h = hamming(n); %加 hamming 窗,以增加音框左端与右端得连续性
M2 = diag(h) * M;
for i = 1:nbFrame
frame(:,i) = fft(M2(:, i)); %对信号进行快速傅里叶变换FFT
end
t = n / 2;
tmax = l / fs;
m = melfb(20, n, fs); %将上述线性频谱通过Mel 频率滤波器组得到Mel 频谱,下面在将其转化成对数频谱
n2 = 1 + floor(n / 2);
z = m * abs(frame(1:n2, :))、^2;
r = dct(log(z)); %将上述对数频谱,经过离散余弦变换(DCT)变换到倒谱域,即可得到Mel 倒谱系数(MFCC参数)
3、2、2函数disteu
-—-计算测试者与模板码本得距离
function d = disteu(x, y)
[M, N] = size(x); %音频x赋值给【M,N】
[M2, P] = size(y); %音频y赋值给【M2,P】
if (M ~= M2)
error('不匹配!') %两个音频时间长度不相等
end
d = zeros(N, P);
if (N 〈 P)%在两个音频时间长度相等得前提下
copies = zeros(1,P);
for n = 1:N
d(n,:) = sum((x(:, n+copies) — y) 、^2, 1);
end
else
copies = zeros(1,N);
for p = 1:P
d(:,p) = sum((x - y(:, p+copies)) 、^2, 1)';
end%%成对欧氏距离得两个矩阵得列之间得距离
end
d = d、^0、5;
3、2、3函数vqlbg
——-该函数利用矢量量化提取了音频得vq码本
function r = vqlbg(d,k)
e = 、01;
r = mean(d, 2);
dpr = 10000;
for i = 1:log2(k)
r = [r*(1+e), r*(1—e)];
while (1 == 1)
z = disteu(d, r);
[m,ind] = min(z, [], 2);
t = 0;
for j = 1:2^i
r(:, j) = mean(d(:, find(ind == j)), 2);
x = disteu(d(:, find(ind == j)), r(:, j));
for q = 1:length(x)
t = t + x(q);
end
end
if (((dpr - t)/t) < e)
break;
else
dpr = t;
end
end
end
3、2、4函数test
function finalmsg = test(testdir, n, code)
for k = 1:n % read test sound each speaker
file = sprintf(’%ss%d、wav’, testdir, k);
[s, fs] = wavread(file);
v = mfcc(s, fs); % 得到测试人语音得mel倒谱系数
distmin = 4; %阈值设置处
% 就判断一次,因为模板里面只有一个文件
d = disteu(v, code{1}); %计算得到模板与要判断得声音之间得“距离"
dist = sum(min(d,[],2)) / size(d,1); %变换得到一个距离得量
%测试阈值数量级
msgc = sprintf('与模板语音信号得差值为:%10f ’, dist);
disp(msgc);
%此人匹配
if dist <= distmin %一个阈值,小于阈值,则就就是这个人。
msg = sprintf(’第%d位说话者与模板语音信号匹配,符合要求!\n’, k);
finalmsg = '此位说话者符合要求!'; %界面显示语句,可随意设定
disp(msg);
end
%此人不匹配
if dist 〉 distmin
msg = sprintf(’第%d位说话者与模板语音信号不匹配,不符合要求!\n’, k);
finalmsg = '此位说话者不符合要求!'; %界面显示语句,可随意设定
disp(msg);
end
end
3、2、5函数testDB
这个函数实际上就是对数据库一个查询,根据测试者得声音,找相应得文件,并且给出就是谁得提示
function testmsg = testDB(testdir, n, code)
nameList={'1','2','3',’4',’5’,'6’,’7','8’,’9' }; %这个就是我们要识别得9个数
for k = 1:n % 数据库中每一个说话人得特征
file = sprintf(’%ss%d、wav’, testdir, k); %找出文件得路径
[s, fs] = wavread(file);
v = mfcc(s, fs); % 对找到得文件取mfcc变换
distmin = inf;
k1 = 0;
for l = 1:length(code)
d = disteu(v, code{l});
dist = sum(min(d,[],2)) / size(d,1);
if dist < distmin
distmin = dist;%%这里与test函数里面一样 但多了一个具体语者得识别
k1 = l;
end
end
msg=nameList{k1}
msgbox(msg);
end
3、2、6 函数train
—-—该函数就就是对音频进行训练,也就就是提取特征参数
function code = train(traindir, n)
k = 16; % number of centroids required
for i = 1:n % 对数据库中得代码形成码本
file = sprintf('%ss%d、wav’, traindir, i);
disp(file);
[s, fs] = wavread(file);
v = mfcc(s, fs); % 计算 MFCC's 提取特征特征,返回值就是Mel倒谱系数,就是一个log得dct得到得
code{i} = vqlbg(v, k); % 训练VQ码本 通过矢量量化,得到原说话人得VQ码本
end
3、2、7 函数melfb
———确定矩阵得滤波器
function m = melfb(p, n, fs)
f0 = 700 / fs;
fn2 = floor(n/2);
lr = log(1 + 0、5/f0) / (p+1);
% convert to fft bin numbers with 0 for DC term
bl = n * (f0 * (exp([0 1 p p+1] * lr) - 1));
直接转换为FFT得数字模型
b1 = floor(bl(1)) + 1;
b2 = ceil(bl(2));
b3 = floor(bl(3));
b4 = min(fn2, ceil(bl(4))) — 1;
pf = log(1 + (b1:b4)/n/f0) / lr;
fp = floor(pf);
pm = pf - fp;
r = [fp(b2:b4) 1+fp(1:b3)];
c = [b2:b4 1:b3] + 1;
v = 2 * [1—pm(b2:b4) pm(1:b3)];
m = sparse(r, c, v, p, 1+fn2);
四、 演示分析
我们得功能分为两部分:对已经保存得9个数字得语音进行辨别与实时得判断说话人说得就是否为一个数、在前者得实验过程中,先把9个数字得声音保存成wav得格式,放在一个文件夹中,作为一个检测得数据库、然后对检测者实行识别,系统给出提示就是哪个数字、
在第二个功能中,实时得录取一段说话人得声音作为模板,提取mfcc特征参数,随后紧接着进行遇着识别,也就就是让其她人再说相同得话,瞧就是否就是原说话者、
实验过程及具体功能如下:
先打开Matlab 使Current Directory为录音及程序所所在得文件夹
再打开文件“enter、m”,点run运行,打开enter界面,点击“进入”按钮进入系统。(注:文件包未封装完毕,目前只能通过此方式打开运行.)(如下图figure1)
figure1
在对数据库中已有得语者进行识别模块:
选择载入语音库语音个数;
点击语音库录制模版进行已存语音信息得提取;
点击录音-test进行现场录音;
点击语者判断进行判断数字,并显示出来.
在实时语者识别模块:
点击实时录制模板上得“录音-train"按钮,就是把新语者得声音以wav格式存放在"实时模板”文件夹中, 接着点击“实时录制模板”,把新得模板提取特征值。随后点击实时语者识别模板上得“录音-train"按钮,就是把语者得声音以wav格式存放在”测试”文件夹中,再点击“实时语者识别",在对测得得声音提取特征值得同时,与实时模板进行比对,然后得出就是否就是实时模板中得语者。另外面板上得播放按钮都就是播放相对应左边录取得声音。
想要测量多次,只要接着录音,自动保存,然后程序比对音频就可以.
退出只要点击菜单,退出程序。
程序运行截图:
(fig、2)运行后系统界面
五、 心得体会
实验表明,该系统能较好地进行语音得识别,同时,基于矢量量化技术 (VQ)得语音识别系统具有分类准确,存储数据少,实时响应速度快等综合性能好得特点.
矢量量化技术在语音识别得应用方面,尤其就是在孤立词语音识别系统中得到很好得应用,特别就是有限状态矢量量化技术,对于语音识别更为有效.
通过这次课程设计,我对语音识别有了更加形象化得认识,也强化了MATLAB得应用,对将来得学习奠定了基础。
附:GUI程序代码
function pushbutton1_Callback(hObject, eventdata, handles)
% hObject handle to pushbutton1 (see GCBO)
% eventdata reserved - to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)
Channel_Str=get(handles、popupmenu3,'String’);
Channel_Number=str2double(Channel_Str{get(handles、popupmenu3,'Value')});
global moodle;
moodle = train('模版\’,Channel_Number) %¶Ô´ýÇóÓïÒô½øÐÐÌáÈ¡Âë±¾
% —-— Executes on button press in pushbutton2、
function pushbutton2_Callback(hObject, eventdata, handles)
% hObject handle to pushbutton2 (see GCBO)
% eventdata reserved — to be defined in a future version of MATLAB
% handglobal data1;
global moodle ;
test('测试\',1,moodle)%ʵʱÓïÒô¼ì²â
% —-———--—---—---———--—-—---—-—-—---—---—-———-————---———————-——---—-—-
function Open_Callback(hObject, eventdata, handles)
% hObject handle to Open (see GCBO)
% eventdata reserved - to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)
[]=uigetfile('’)
(handles、edits,[])
[y,f,b]=wavread(file);
% —-----—--—--——----—---—-——---——--------——-—--——---—-----—---——--—---
function Exit_Callback(hObject, eventdata, handles)
% hObject handle to Exit (see GCBO)
% eventdata reserved - to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)
exit
% -—---———--—---——---—------—-—-—-—-—-—-———-——--—-—---—--------—-----—
function About_Callback(hObject, eventdata, handles)
% hObject handle to About (see GCBO)
% eventdata reserved - to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)
H=['语者识别']
helpdlg(H,'help text')
% -—--—-—-——-——-——--—-——---—-——-----—-—-----—————-------—-—----————-——
function (hObject, eventdata, handles)
% hObject handle to File (see GCBO)
% eventdata reserved - to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)
% --—-------—--—--—---—-——-—-------—--——-----------——---—-----—-----—-
function Edit_Callback(hObject, eventdata, handles)
% hObject handle to Edit (see GCBO)
% eventdata reserved — to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)
% ---————------——————--—---------——-----—-------———--—-——----———---—--
function Help_Callback(hObject, eventdata, handles)
% hObject handle to Help (see GCBO)
% eventdata reserved — to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)
% —-— Executes on button press in pushbutton7、
function pushbutton7_Callback(hObject, eventdata, handles)
% hObject handle to pushbutton7 (see GCBO)
% eventdata reserved - to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)
msg=’请速度录音¡’
msgbox(msg)
clear
global data1;
%global dataDN1;
AI = analoginput('winsound');
chan = addchannel(AI,1:2);
duration = 3; %1 second acquisition
set(AI,’SampleRate',8000)
ActualRate = get(AI,'SampleRate');
set(AI,'SamplesPerTrigger',duration*ActualRate)
set(AI,'TriggerType’,'Manual')
blocksize = get(AI,'SamplesPerTrigger’);
Fs = ActualRate;
start(AI)
trigger(AI)
[data1,time,abstime,events] = getdata(AI);
fname=sprintf(’E:\\Matlab语音识别系统\\实时模版\\s1、wav’)
%dataDN1=wden(data1,’heursure’,'s','one’,5,'sym8’);denoise
wavwrite(data1,fname)
msgbox(fname)
% -—— Executes on button press in pushbutton8、
function pushbutton8_Callback(hObject, eventdata, handles)
% hObject handle to pushbutton8 (see GCBO)
% eventdata reserved — to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)
global data1;
%global dataDN1;
sound(data1)
%sound(dataDN1)
axes(handles、axes1)%set to plot at axes1
plot(data1);
%plot(dataDN1);
xlabel(’训练采样序列'),ylabel('信号幅');
%xlabel('ѵÁ·²ÉÑùÐòÁÐ’),ylabel(’sym8С²¨½µÔëºóµÄÐźŷù’);
grid on;
clear
% -—— Executes on button press in pushbutton9、
function pushbutton9_Callback(hObject, eventdata, handles)
% hObject handle to pushbutton9 (see GCBO)
% eventdata reserved - to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)
msg=’请速度录音¡'
msgbox(msg)
clear
global data2;
%global dataDN2;
AI = analoginput('winsound');
chan = addchannel(AI,1:2);
duration = 3; %1 second acquisition
set(AI,’SampleRate',8000)
ActualRate = get(AI,'SampleRate');
set(AI,'SamplesPerTrigger’,duration*ActualRate)
set(AI,'TriggerType','Manual’)
blocksize = get(AI,'SamplesPerTrigger');
Fs = ActualRate;
start(AI)
trigger(AI)
[data2,time,abstime,events] = getdata(AI);
fname=sprintf(’E:\\Matlab语音识别系统\\测试\\s1、wav’)
%dataDN1=wden(data1,'heursure’,’s',’one’,5,’sym8’);denoise
wavwrite(data2,fname)
msgbox(fname)
% —-- Executes on button press in pushbutton10、
function pushbutton10_Callback(hObject, eventdata, handles)
% hObject handle to pushbutton10 (see GCBO)
% eventdata reserved — to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)
global data2;
%global dataDN2;
sound(data2)
%sound(dataDN2)
axes(handles、axes2)%set to plot at axes1
plot(data2);
%plot(dataDN2);
xlabel(’测试采样序列'),ylabel(’信号幅');
%xlabel('²âÊÔ²ÉÑùÐòÁÐ'),ylabel(’sym8С²¨½µÔëºóµÄÐźŷù’);%%
grid on;
clear
% -—- Executes on button press in pushbutton11、
function pushbutton11_Callback(hObject, eventdata, handles)
% hObject handle to pushbutton11 (see GCBO)
% eventdata reserved — to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)
global moodle ;
testDB('测试\',1,moodle)
% ——- Executes on button press in pushbutton12、
function pushbutton12_Callback(hObject, eventdata, handles)
% hObject handle to pushbutton12 (see GCBO)
% eventdata reserved — to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)
global moodle;
moodle = train(’实时模板\',1)
% --- Executes on selection change in popupmenu3、
function popupmenu3_Callback(hObject, eventdata, handles)
% hObject handle to popupmenu3 (see GCBO)
% eventdata reserved - to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)
% Hints: contents = get(hObject,'String') returns popupmenu3 contents as cell array
% contents{get(hObject,'Value')} returns selected item from popupmenu3
str=get(handles、popupmenu3,'String');
val=str2num(str{get(handles、popupmenu3,'Value’)});
switch va
展开阅读全文