资源描述
单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,人工神经网络简单例程,BP,神经网络及结构,BP,神经网络的学习算法,一个简单的,BP,神经网络例程,一个简单的识别用神经网络,简单的线性网络模型,简单线性网络模型的学习,线性阈值网络及其学习,重要的神经网络BP神经网络,一、简单的分类例题,其中a,b是输入单元,c,d是隐单元,e是输出单元。单元的激活值规定取1或0,每个单元的输出函数都取为等价函数,即,a=o,。单元的net值是所有输入的加权和:,net=,w,o,。单元的激活函数采用阈值函数,阈值为,0.01,。即当单元的net值大于0.01时该单元的激活值取1,否则取0。,d,b,c,a,e,+1,+1,+1,+1,-1,-1,输入 输出 阈值,(0 0)0,=,0.01,(0 1)1,(1 0)1,(1 1)0,=,0.01,=,0.01,=,0.01,简单的分类计算,1.输入为(0,0)时,,o,a,=o,b,=0,net,c,=o,a,w,ca+,o,b,w,cb,=,0,1,+,0,(-,1,)=0,net,d,=o,a,w,da+,o,b,w,db,=,0,(-,1,),+,0,1,=0,因为,net,c,0.01,net,c,0.01,所以 a,c,=0,a,d,=0,得到o,c,=0,o,d,=0。所以,net,e,=o,c,w,ec+,o,d,w,ed,=,0,1+,0,1,=0,因为,net,e,0.01 所以 o,e,=a,e,=0,即当输入为(0,0)时,网络的输出为0。,d,b,c,a,e,+1,+1,+1,+1,-1,-1,=,0.01,=,0.01,=,0.01,二、简单的线性模型,模型结构:,1.只有输入、输出单元;,2.输出函数是等值函数;,3.输入层与输出层全连接;,4.单元的新激活值为net,i,;,5.两层网络可代替多层网络;,j,b,c,a,i,W,ij,6.输入模式(学习样本)为正交集合时,学习规则采用hebb规则:,w,ij,=,a,j,t,i,如果输入模式非正交集合,但是线性无关时,使用Delt学习规则进行学习:,w,ij,=,(t,i,a,i,),a,j,线性模型学习例程1,正交输入模式集 目标输出,P,1,:1 0 0 0 1,P,2,:0 1 0 02,P,3,:0 0 1 0 1,P,4,:0 0 0 1 4,d,b,c,a,e,W,3,W,2,W,1,W,4,网络学习规则采用hebb规则:,w,ij,=,a,j,t,i,初始权重:W,1,=W,2,=W,3,=W,4,=0,学 习 率:,=,0.5,判断网络学习的准确程度,利用目标值与实际输出误差指标函数:,E=Sqrt(,(t,ie,-a,ie,),2,),第一次学习,首先学习模式对(,P,1,,,t,1e,)。,w,1,=,a,a,t,1e,=0.5,(-1),1=-0.5,w,2,=,a,b,t,1e,=0.5,(-1),0,=0,w,3,=,a,c,t,1e,=0.5,(-1),0,=0,w,4,=,a,d,t,1e,=0.5,(-1),0,=0,相似的过程学习其它模式对得:,d,b,c,a,e,W,3,W,2,W,1,W,4,w,1,=,w,3,=,w,4,=,0,,w,2,=,a,b,t,2e,=0.5,2,1=1,w,1,=,w,2,=,w,4,=,0,,w,3,=,a,c,t,3e,=0.5,1,1=0.5,w,1,=,w,2,=,w,3,=,0,,w,4,=,a,d,t,4e,=0.5,1,4=2,因此,w,1,=-0.5,w,2,=1,w,3,=0.5,,,w,4,=2,新权重下网络输出:a,1e,=-0.5,a,2e,=1,a,3e,=0.5,a,4e,=2,目标值与网络输出误差:e=Sqrt(,(t,ie,-a,ie,),2,)=2.35,第二次学习,先学习模式对(,P,1,,,t,1e,),得,w,1,=-0.5,,w,2,=,w,3,=,w,4,=0,相似的过程学习其它模式对得:,w,1,=,w,3,=,w,4,=,0,,w,2,=1,w,1,=,w,2,=,w,4,=,0,,w,3,=0.5,w,1,=,w,2,=,w,3,=,0,,w,4,=2,d,b,c,a,e,W,3,W,2,W,1,W,4,因此,w,1,=-1,w,2,=2,w,3,=1,,,w,4,=4,新权重下网络输出:a,1e,=-1,a,2e,=2,a,3e,=1,a,4e,=4,目标值与网络输出误差:E=Sqrt(,(t,ie,-a,ie,),2,)=0,结论:1.训练后网络完成了模式对间的影射;,2.定义的指标函数值为0,说明训练过程收敛;,3.本次学习对样本有特殊要求(正交样本集合)。,线性模型学习例程2,非正交输入模式集 目标输出,P,1,:1 0 1 0 2,P,2,:1 0 0 1 5,P,3,:0 1 1 1 5,P,4,:1 1 1 0 2,d,b,c,a,e,W,3,W,2,W,1,W,4,网络学习规则采用hebb规则:,w,ij,=,a,j,t,i,随机置初始权重:W,1,=W,2,=W,3,=W,4,=0,置一个较小的学习率:,=,0.5,判断网络学习的准确程度,利用目标值与实际输出误差指标函数:,E=Sqrt(,(t,ie,-a,ie,),2,),第一次学习,首先计算学习之前的网络误差:,e=Sqrt(,(t,ie,-a,ie,),2,)=7.62,开始学习模式对(,P,1,,,t,1e,)。,w,1,=,a,a,t,1e,=0.5,1,(-2)=-1,w,2,=,a,b,t,1e,=0.5,0,(-2),=0,w,3,=1,,w,4,=0,d,b,c,a,e,W,3,W,2,W,1,W,4,继续学习其它模式对,得第一次总的权重改变量,w,1,=-2.5,w,2,=3.5,w,3,=-0.5,w,4,=5,新权重 w,1,=-2.5,w,2,=3.5,w,3,=-0.5,w,4,=5,新权重下网络输出:a,1e,=-2,a,2e,=7.5,a,3e,=-9,a,4e,=-0.5,目标值与网络输出误差:e=Sqrt(,(t,ie,-a,ie,),2,)=4.95,第二次学习,同样的过程学习所有模式对(,P,i,t,ie)。,w,1,=-2.5,w,2,=3.5,w,3,=-0.5,w,4,=5 所以有新权重 w,1,=-5,w,2,=7,w,3,=-1,w,4,=10,对应的有:a,1e,=-4,a,2e,=15,a,3e,=-18,a,4e,=-1 其中 E=16.55,d,b,c,a,e,W,3,W,2,W,1,W,4,表明网络误差E随着学习次数增加而增加,训练不收敛。,在同样的初始条件下,对模式对使用Delt学习规则:,w,ij,=,(t,i,a,i,)a,j,初始权为0,则 a,1e,=a,2e,=a,3e,=a,4e,=0,计算学习之前的网络误差:,e=Sqrt(,(t,ie,-a,ie,),2,)=7.62,开始学习模式对(,P,1,,t,1e,)。,w,1,=,(t,1e,a,1e,),a,a,=0.5,(-2-0),1=-1,d,b,c,a,e,W,3,W,2,W,1,W,4,w,2,=,(t,1e,a,1e,),a,b,=0.5,(-2-0),0=0,同样的计算得:,w,3,=1,,w,4,=0 所以对第一个,模式对训练后新权重 w,1,=-1,w,2,=0,w,3,=1,w,4,=0,对第二个模式对(,P,2,,t,2e,)进行训练时,网络的,实际输出a,e,已经变化 a,2e,=,a,2i,w,i,=1,使用Delt算法进行网络训练,所以,w,1,=,(t,2e,a,2e,),a,a,=0.5,(5-1),1=-2,w,2,=,(t,2e,a,2e,),a,b,=0.5,(5-1),0=0,w,2,=0,w,2,=2,对(,P,2,,t,2e,)训练后新权重,w,1,=-3,w,2,=0,w,3,=1,w,4,=2,d,b,c,a,e,W,3,W,2,W,1,W,4,同样的过程对模式对(,P,3,,t,3e,)进行训练得权重为,w,1,=-3,w,2,=2,w,3,=-1,w,4,=4,对(,P,4,t,4e,)进行训练得权重w,1,=-1,w,2,=4,w,3,=1,w,4,=4,新权重下P,i,实际输出 a,1e,=-2,w,2e,=5,w,3e,=-7,w,4e,=-4,得四个样本第一次学习误差 Sqrt(,(t,ie,-a,ie,),2,)=2.83,注:,附训练参考程序nnet1.m,b,c,a,W,2,W,1,计算网络输出:,P1:0,w,1,+0,w,2,=0 P2:0,w,1,+1,w,2,=1,P3:1,w,1,+0,w,2,=1 P4:1,w,1,+1,w,2,=0,推出矛盾式:,w,2,=1,w,1,=1,w,1,+,w,2,=0,线性网络模型不能解决的问题,XOR输入模式 目标输出,P,1,:0 0 0,P,2,:0 1 1,P,3,:1 0 1,P,4,:1 1 0,b,d,a,+1,+1,设d、c阈值:,=1.5,=0.5,对于输入模式(0,0),计算,net,d,=a,a,W,da,+a,b,W,db,=01.5,所以 a,d,=0,net,c,=a,a,W,ca,+a,d,W,cb,=00.5,得 a,c,=0 等于网络的目标输出。,同样可以验证网络输出正确。,解决问题的简单方法,XOR输入模式 目标输出,P1:0 0 0,P2:0 1 1,P3:1 0 1,P4:1 1 0,c,+1,+1,-2,Thanks a lot!,
展开阅读全文