MATLAB神经网络工具箱和实验要求.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,MATLAB,神经网络工具箱,介绍及试验要求,MATLAB神经网络工具箱和实验要求专家讲座,第1页,神经元模型,Neuron Model,：,多输入，单输出，带偏置,输入,:R,维列向量,权值,:R,维行向量,阈值,:,标量,求和单元,传递函数,输出,MATLAB神经网络工具箱和实验要求专家讲座,第2页,惯用传递函数,a,W,p,-b,1,-1,阈值函数,MATLAB,函数,:hardlim,MATLAB,函数,:hardlims,MATLAB神经网络工具箱和实验要求专家讲座,第3页,线性函数,Purelin Transfer Function,：,a,n,MATLAB,函数,:purelin,MATLAB神经网络工具箱和实验要求专家讲座,第4页,Sigmoid,函数,Sigmoid Function,：,特征：,值域,a(0,1),非线性，单调性,无限次可微,|n|,较小时可近似线性函数,|n|,较大时可近似阈值函数,MATLAB,函数,:logsig(,对数,),tansig(,正切,),对数,Sigmoid,函数,正切,Sigmoid,函数,MATLAB神经网络工具箱和实验要求专家讲座,第5页,单层神经网络模型,R,维输入,S,个神经元单层神经网络模型,MATLAB神经网络工具箱和实验要求专家讲座,第6页,多层神经网络模型,MATLAB神经网络工具箱和实验要求专家讲座,第7页,前馈神经网络,前馈神经网络,(,feed forward NN,),：各神经元接收前级输入，并输出到下一级，无反馈，可用一有向无环图表示。,前馈网络通常分为不一样,层,(,layer,),，第,i,层输入只与第,i,-1,层输出联结。,可见层：,输入层,(,input layer,),和,输出层,(,output layer,),隐藏层,(,hidden layer,),：中间层,MATLAB神经网络工具箱和实验要求专家讲座,第8页,感知器,(perceptron):,单层前馈网络,传递函数为,阈值函数,主要功效是模式分类,MATLAB神经网络工具箱和实验要求专家讲座,第9页,感知器生成,函数,newp,用来生成一个感知器神经网络,net=newp(pr,s,tf,lf),net:,函数返回参数,表示生成感知器网络,pr:,一个,R2,矩阵,由,R,维输入向量每维最小值和最,大值组成,s:,神经元个数,tf:,感知器传递函数,默认为,hardlim,可选,hardlims,lf:,感知器学习函数,默认为,learnp,可选,learnpn,net=newp(-2,+2;-2,+2,2)%,生成一个二维输入,两个神经元感知器,newp,MATLAB神经网络工具箱和实验要求专家讲座,第10页,感知器权值和阈值初始化,newp,默认权值和阈值为零,(,零初始化函数,initzero).,net=newp(-2,+2;-2,+2,2);,W=net.IW1,1%,显示网络权值,b=net.b1%,显示网络阈值,W=,0 0,0 0,b=,0,0,改变默认初始化函数为随机函数,rands,net.inputweights1,1.initFcn=rands;,net.biases1.InitFcn=rands;,net=init(net);%,重新初始化,直接初始化定义权值和阈值,net.IW1,1=1 2;net.b1=1,MATLAB神经网络工具箱和实验要求专家讲座,第11页,感知器学习,感知器学习算法,权值增量,:,阈值增量,:,权值更新,:,阈值更新,:,算法改进,输入样本归一化,MATLAB神经网络工具箱和实验要求专家讲座,第12页,权值和阈值训练与学习函数,train,net=train(net,P,T),设计好感知器并不能马上投入使用,.,经过样本训练,确定感知器权值和阈值,.,输入向量,目标向量,被训练网络,net.trainParam.epochs=10;%,预定最大训练次数为,10,感知器经过最多训练,10,次后停顿,adapt,net=adapt(net,P,T),自适应训练函数,MATLAB神经网络工具箱和实验要求专家讲座,第13页,权值和阈值学习函数,learnp,dW=learnp(W,P,Z,N,A,T,E,D,gW,gA,LP,LS),dW:,权值或阈值增量矩阵,W:,权值矩阵或阈值向量,P:,输入向量,T:,目标向量,E:,误差向量,其它能够忽略,设为,learnpn,归一化学习函数,MATLAB神经网络工具箱和实验要求专家讲座,第14页,网络仿真函数,sim,a=sim(net,P),输入向量,网络输出,分类结果显示绘图函数,plotpv,plotpv(P,T),plotpc,plotpc(W,b),画输入向量图像,画分类线,MATLAB神经网络工具箱和实验要求专家讲座,第15页,依据给定样本输入向量,P,和目标向量,T,以及需分类向量组,Q,创建一个感知器,对其进行分类,.,例,:,创建一个感知器,P=-0.5-0.6 0.7;0.8 0 0.1;%,已知样本输入向量,T=1 1 0;%,已知样本目标向量,net=newp(-1 1;-1 1,1);%,创建感知器,handle=plotpc(net.iw1,net.b1);%,返回划线句柄,net.trainParam.epochs=10;%,设置训练最大次数,net=train(net,P,T);%,训练网络,Q=0.6 0.9-0.1;-0.1-0.5 0.5;%,已知待分类向量,Y=sim(net,Q);%,二元分类仿真结果,figure;%,新建图形窗口,plotpv(Q,Y);%,画输入向量,handle=plotpc(net.iw1,net.b1,handle)%,画分类线,MATLAB神经网络工具箱和实验要求专家讲座,第16页,MATLAB神经网络工具箱和实验要求专家讲座,第17页,试验一 利用感知器进行分类,(1),一个经过训练感知器对,5,个输入向量进行分类,(2,类,),。,Step 1,两个长度为,5,向量组成输入样本矩阵,P,，行向量,T,为目标向量。利用,PLOTPV,画出这个向量图像。比如：,P=-0.5-0.5+0.3-0.1-4;-0.5+0.5-0.5+1.0 5;,T=1 1 0 0 1;,plotpv(P,T);,%,plotpv,函数利用感知器输入向量和目标向量来画输入向量图像,Step 2,建立神经网络,画输入向量图像,MATLAB,提供函数,newp,来创建一个指定感知器。第一个参数指定了期望两个输入向量取值范围，第二个参数指定了只有一个神经元。,net=newp(-40 1;-1 50,1);,注意：这个神经元传递函数是,hardlim,函数，也就是阶跃函数。取,0,，,1,两个值。,Hardlims,函数，取,-1,，,1,两个值。,MATLAB神经网络工具箱和实验要求专家讲座,第18页,试验一 利用感知器进行分类,(2),添加神经元初始化值到分类图,Step3,初始化权值被设为,0,，所以任何输入都会给出一样输出，而且分类线不会出现在这个图中，不用害怕，我们会继续训练这个神经网。,hold on,linehandle=plotpc(net.IW1,net.b1);/plotpc,函数用来画分类线,训练神经网络,Step4,Matlab,提供了,adapt,函数来训练感知器，,adapt,函数返回一个新能更加好执行分类、网络输出、和误差神经网络，这个划线函数允许网络从,3,个角度去调整，画分类线一直到误差为,0,为止。,E=1;/E,为误差,net.adaptParam.passes=3;/,决定在训练过程中重复次数,while(sse(E)/sse,函数是用来判定误差,E,函数,net,Y,E=adapt(net,P,T);/,利用输入样本调整神经网,net,linehandle=plotpc(net.IW1,net.b1,linehandle);/,画出调整以后分类线,drawnow;/,延迟一段时间,end,MATLAB神经网络工具箱和实验要求专家讲座,第19页,试验一 利用感知器进行分类,(3),Step 5,模拟,sim,sim,函数能被用来划分任何别输入向量，比如划分一个输入向量,0.7;1.2.,这个新点图像为红色，他将用来显示这个感知器怎样把这个新点从最初训练集取分开来。,p=0.7;1.2;,a=sim(net,p);/,利用模拟函数,sim,计算出新输入,p,神经网络输出,plotpv(p,a);,circle=findobj(gca,type,line);,set(circle,Color,red);,打开,hold,方便于以前图像不被删除。增加训练装置和分类线在图中。,hold on;plotpv(P,T);plotpc(net.IW1,net.b1);hold off;axis(-2 2-2 2);,这个感知器正确区分了我们新点,(,用红色表示,),作为”,zero”,类,(,用圆圈表示,),，而不是”,one”,类,(,用,+,号表示,),，尽管需要比较长训练时间，这个感知器依然适当进行了学习。最终放大感兴趣区域,MATLAB神经网络工具箱和实验要求专家讲座,第20页,BP,网络,多层前馈网络,主要功效,:,函数迫近,模式识别,信息分类,数据压缩,传递函数,:,隐层采取,S,形函数,输出层,S,形函数或线性函数,MATLAB神经网络工具箱和实验要求专家讲座,第21页,BP,网络生成,newff,函数,newff,用来生成一个,BP,网络,net=newff(PR,S1 S2.SN,TF1 TF2.TFN,BTF,BLF,PF),PR:,一个R2矩阵,由R维输入向量每维最小值和最大值组成,Si:,第,i,层神经元个数,TFi:,第,i,层传递函数,默认为,tansig,BTF:,训练函数,默认为,trainlm,BLF:,学习函数,默认为,learngdm,PF:,性能函数,默认为,mse,net=newff(0,10;-1,2,5,1,tansig,purelin,trainlm);,%,生成一个两层,BP,网络,隐层和输出层神经个数为,5,和,1,传递函数分别为,tansig,和,purelin,训练函数为,trainlm,其它默认,MATLAB神经网络工具箱和实验要求专家讲座,第22页,BP,网络初始化,newff,函数在建立网络对象同时,自动调用初始化函数,依据缺省参数对网络连接权值和阈值,.,使用函数,init,能够对网络进行自定义初始化,.,经过选择初始化函数,可对各层连接权值和阈值分别进行不一样初始化,.,MATLAB神经网络工具箱和实验要求专家讲座,第23页,BP,网络学习规则,权值和阈值调整规则采取误差反向传输算法,(back propagation).,反向传输算法分二步进行，即正向传输和反向传输。,1,正向传输,输入样本从输入层经过隐单元一层一层进行处理，经过全部隐层之后，则传向输出层；在逐层处理过程中，每一层神经元状态只对下一层神经元状态产生影响。在输出层把现行输出和期望输出进行比较，假如现行输出不等于期望输出，则进入反向传输过程。,2,反向传输,反向传输时，把误差信号按原来正向传输通路反向传回，并对每个隐层各个神经元权系数进行修改，以望误差信号趋向最小。,BP,算法实质是求取误差函数最小值问题。这种算法采取非线性规划中最速下降方法，按误差函数负梯度方向修改权系数。,MATLAB神经网络工具箱和实验要求专家讲座,第24页,BP,网络快速学习算法与选择,学习算法,适用问题类型,收敛性能,占用存放空间,其它特点,trainlm,函数拟合,收敛快,误差小,大,性能随网络规模增大而变差,trainrp,模式分类,收敛最快,较小,性能随网络训练误差减小而变差,trainscg,函数拟合,模式分类,收敛较快,性能稳定,中等,尤其适适用于网络规模较大情况,trainbfg,函数拟合,收敛较快,较大,计算量岁网络规模增大呈几何增加,traingdx,模式分类,收敛较慢,较小,适适用于提前停顿方法,MATLAB,神经网络工具箱对常规,BP,算法进行改进,提供了一系列快速算法,以满足不一样问题需要,MATLAB神经网络工具箱和实验要求专家讲座,第25页,BP,网络训练,利用已知,”,输入,目标,”,样本向量数据对网络进行训练,采取,train,函数来完成,.,训练之前,对训练参数进行设置,训练参数,参数含义,默认值,net.trainParam.epochs,训练步数,100,net.trainParam.show,显示训练结果间隔步数,25,net.trainParam.goal,训练目标误差,0,net.trainParam.time,训练允许时间,INf,net.trainParam.lr,学习率,0.01,net=train(net,P,T),MATLAB神经网络工具箱和实验要求专家讲座,第26页,BP,网络设计,(1),网络层数,已经证实,单隐层,BP,网络能够实现任意非线性映射,.BP,网络隐层数普通不超出两层,.,输入层节点数,输入层接收外部输入数据,节点数取决于输入向量维数,输出层节点数,输出层节点数取决于输出数据类型和该类型所需数据大小,.,对于模式分类问题,节点数为,MATLAB神经网络工具箱和实验要求专家讲座,第27页,BP,网络设计,(2),隐层节点数,隐层节点数与求解问题要求,输入输出单元数多少相关,.,对于模式识别,/,分类节点数可按以下公式设计,传递函数,隐层传递函数采取,S,型函数,输出层采取,S,型函数或线性函数,训练方法及其参数选择,针对不一样应用,BP,网络提供了各种训练学习方法,.,其中,为隐层节点数,为输入节点数,为,110,之间整数,MATLAB神经网络工具箱和实验要求专家讲座,第28页,BP,网络设计实例,采取动量梯度下降算法训练,BP,网络,.,训练样本,%,定义训练样本,p=-1-1 3 1;-1 1 5-3;,t=-1-1 1 1;,%,创建一个新,BP,网络,net=newff(minmax(p),3 1,tansig,purelin,traingdm);,%,设置训练参数,net.trainParam.epochs=1000;,net.trainParam.goal=0.001;,net.trainParam.show=50;,net.trainParam.lr=0.05;,net.trainParam.mc=0.9;%,动量因子，缺省为,0.9,net=train(net,p,t);%,训练网络,A=sim(net,p)%,网络仿真,MATLAB神经网络工具箱和实验要求专家讲座,第29页,目标线,训练误差改变曲线,训练误差改变曲线（每次不一样）,MATLAB神经网络工具箱和实验要求专家讲座,第30页,试验,2:BP,网络用于曲线拟合,要求设计一个简单,BP,网络，实现对非线性函数迫近。经过改变该函数参数以及,BP,网络隐层神经元数目，来观察训练时间以及训练误差改变情况。,MATLAB神经网络工具箱和实验要求专家讲座,第31页,Step1:,将要迫近非线性函数设为正弦函数,k=1;,p=-1:.05:1;,t=sin(k*pi*p);,plot(p,t,-),title(,要迫近非线性函数,);,xlabel(,时间,);,ylabel(,非线性函数,);,MATLAB神经网络工具箱和实验要求专家讲座,第32页,Step 2:,网络建立,应用函数,newff(),建立,BP,网络结构，为二层,BP,网络。隐层神经元数目,n,能够改变，暂设为,10,，输出层有一个神经元。选择隐层和输出层神经元传递函数分别为,tansig,函数和,purelin,函数，网络训练算法采取,trainlm,MATLAB神经网络工具箱和实验要求专家讲座,第33页,n=10;,net=newff(minmax(p),n,1,tansig purelin,trainlm);,%,对于该初始网络，能够应用,sim(),函数观察网络输出,y1=sim(net,p);,%,同时绘制网络输出曲线，并与原函数相比较,figure;,plot(p,t,-,p,y1,-),title(,未训练网络输出结果,);,xlabel(,时间,);,ylabel(,仿真输出 原函数,);,因为使用,newff(),函数建立网络时，权值和阈值初始化是随机，所以网络输出结果很差，根本达不到函数迫近目标，而且每次运行结果也有所不一样。,MATLAB神经网络工具箱和实验要求专家讲座,第34页,Step 3:,网络训练,应用函数,train(),对网络进行训练之前，要先设置训练参数。将训练时间设置为,50,，精度设置为,0.01,，其余用缺省值。,训练后得到误差改变过程如图：,net.trainParam.epochs=50;,net.trainParam.goal=0.01;,net=train(net,p,t);,MATLAB神经网络工具箱和实验要求专家讲座,第35页,Stet 4:,网络测试,对于训练好网络进行仿真,并绘制网络输出曲线，与原始非线性函数曲线以及未训练网络输出结果曲线相比较,y2=sim(net,p);,figure;,plot(p,t,-,p,y1,-,p,y2,-.),title(,训练后网络输出结果,);,xlabel(,时间,);,ylabel(,仿真输出,);,从图中能够看出，得到曲线和原始非线性函数曲线很靠近。这说明经过训练后，,BP,网络对非线性函数迫近效果相当好。,MATLAB神经网络工具箱和实验要求专家讲座,第36页,讨 论,改变非线性函数频率,k,值，和,BP,网络隐层神经元数目，对于函数迫近效果有一定影响。,网络非线性程度越高，对于,BP,网络要求就越高，则相同网络迫近效果要差一些；隐层神经元数目对于网络迫近效果出有一定影响，普通来说，隐层神经元数目越多，则,BP,网络迫近能力越强，而同时网络训练所用时间相对来说也要长一些。,关于这些，大家能够自己经过参数调整试一试，并在试验汇报中有所反应。,MATLAB神经网络工具箱和实验要求专家讲座,第37页,思索题,（,1,）设计一,BP,网络迫近函数,（,2,）设计一,BP,网络实现数字或字母识别,MATLAB神经网络工具箱和实验要求专家讲座,第38页,