人工神经网络讲稿ch4.ppt

第第4章章BP网络网络(wnglu)(wnglu)主要内容主要内容：BP网络的构成网络的构成隐藏层权的调整分析隐藏层权的调整分析Delta规则理论推导规则理论推导算法的收敛速度算法的收敛速度(sd)(sd)及其改进讨论及其改进讨论BP网络中的几个重要问题网络中的几个重要问题 重点：重点：BP算法算法难点：难点：Delta规则的理论推导规则的理论推导 第一页，共四十四页。2023/9/24 周日14.1概述概述(i sh)(i sh)1、BP算法的出现算法的出现非循环多级网络的训练算法非循环多级网络的训练算法UCSDPDP小小组组的的Rumelhart、Hinton和和Williams1986年年独独立立地地给出了给出了BP算法清楚而简单的描述算法清楚而简单的描述1982年，年，Paker就完成了相似的工作就完成了相似的工作1974年，年，Werbos已提出了该方法已提出了该方法2、弱弱点点：训训练练速速度度非非常常(fichng)(fichng)慢慢、局局部部极极小小点点的的逃逃离离问问题题、算法不一定收敛算法不一定收敛3、优点：、优点：广泛的适应性和有效性。广泛的适应性和有效性。第二页，共四十四页。2023/9/24 周日24.2基本基本(jbn)(jbn)BP算法算法 4.2.1网络网络(wnglu)(wnglu)的构成的构成 神经元的网络输入：神经元的网络输入：neti=x1w1i+x2w2i+xnwni神经元的输出：神经元的输出：第三页，共四十四页。2023/9/24 周日3输出函数输出函数(hnsh)分析分析0.5f(net)0.25o011（0,0.5）net（0,0）o应应该该将将net的的值值尽尽量量(jnling)(jnling)控控制制在在收收敛敛比比较较快快的的范围内范围内可可以以用用其其它它的的函函数数作作为为激激活活函函数数，只只要要该该函函数数是处处可导的是处处可导的第四页，共四十四页。2023/9/24 周日4网络网络(wnglu)的拓扑结构的拓扑结构x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxnW(1)W(2)W(3)W(L)第五页，共四十四页。2023/9/24 周日5网络网络(wnglu)的拓扑结构的拓扑结构 1.BP网的结构网的结构2.2.输输入入向向量量、输输出出向向量量的的维维数数、网网络络隐隐藏藏层层的层数和各个隐藏层神经元的个数的决定的层数和各个隐藏层神经元的个数的决定3.3.实实验验：增增加加隐隐藏藏层层的的层层数数和和隐隐藏藏层层神神经经元元个个数数不不一一定定总总能能够够提提高高(t(t go)go)网网络络精精度度和和表表达能力达能力4.4.BPBP网一般都选用二级网络网一般都选用二级网络第六页，共四十四页。2023/9/24 周日6网络的拓扑网络的拓扑(tup)结构结构x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxnWV第七页，共四十四页。2023/9/24 周日74.2.2训练过程训练过程(guchng)(guchng)概述概述 样本：样本：(输入向量，理想输入向量，理想(lxing)(lxing)输出向量输出向量)权初始化：权初始化：“小随机数小随机数”与饱和状态；与饱和状态；“不不同同”保证网络可以学。保证网络可以学。1 1、向前传播阶段：、向前传播阶段：（1）从从样样本本集集中中取取一一个个样样本本(Xp，Yp)，将将Xp输入网络；输入网络；（2）计算相应的实际输出）计算相应的实际输出Op：Op=Fl(F2(F1(XpW(1)W(2)W(L)第八页，共四十四页。2023/9/24 周日84.2.2训练训练(xnlin)(xnlin)过程概述过程概述 2 2、向后传播阶段、向后传播阶段误差传播阶段：误差传播阶段：（1）计计算算实实际际输输出出Op与与相相应应的的理理想想输输出出Yp的的差；差；（2）按极小化误差的方式）按极小化误差的方式(fngsh)调整权矩阵。调整权矩阵。（3）网络关于第）网络关于第p p个样本的误差测度：个样本的误差测度：（4）网络关于整个网络关于整个(zhngg)样本集的误差测度：样本集的误差测度：第九页，共四十四页。2023/9/24 周日94.2.3误差传播误差传播(chunb)(chunb)分析分析 1、输出、输出(shch)层权的调整层权的调整wpq=wpq+wpqwpq=qop=fn(netq)(yq-oq)op=oq(1-oq)(yq-oq)op wpqANpANq第第L-1层层第第L层层wpq第十页，共四十四页。2023/9/24 周日102 2、隐藏、隐藏(yncng)(yncng)层权的调整层权的调整 ANpANqANhvhppk-11kwp1wpqqkwpmmk第第k-2层层第第k层层第第k-1层层第十一页，共四十四页。2023/9/24 周日112 2、隐藏、隐藏(yncng)(yncng)层权的调整层权的调整pk-1的值和的值和1k，2k，mk有关有关不妨认为不妨认为(rnwi)pk-1通过权通过权wp1对对1k做出贡献，做出贡献，通过权通过权wp2对对2k做出贡献，做出贡献，通过权通过权wpm对对mk做出贡献。做出贡献。pk-1=fk-1(netp)(wp11k+wp22k+wpmmk)第十二页，共四十四页。2023/9/24 周日122 2、隐藏、隐藏(yncng)(yncng)层权的调整层权的调整vhp=vhp+vhpvhp=pk-1ohk-2=fk-1(netp)(wp11k+wp22k+wpmmk)ohk-2=opk-1(1-opk-1)(wp11k+wp22k+wpmmk)ohk-2ANpANqANhvhppk-11kwp1wpmqkwpqmk第第k-2层层第第k层层第第k-1层层第十三页，共四十四页。2023/9/24 周日134.2.4基本基本(jbn)(jbn)的的BP算法算法 样本集：样本集：S=(X1,Y1),(,(X2,Y2),),(,(Xs,Ys)基本思想基本思想：逐一地根据样本集中的样本逐一地根据样本集中的样本(Xk,Yk)计算出实际输计算出实际输出出Ok和误差测度和误差测度E1，对，对W(1)，W(2)，W(L)各各做一次调整，重复这个循环，直到做一次调整，重复这个循环，直到Epdo 4.1 E=0;第十五页，共四十四页。2023/9/24 周日15算法算法(sunf)4-1基本基本BP算法算法4.2对对S中的每一个中的每一个(y)(y)样本（样本（Xp,Yp）：）：4.2.1计算出计算出Xp对应的实际输出对应的实际输出Op；4.2.2计算出计算出Ep；4.2.3E=E+Ep；4.2.4根据相应式子调整根据相应式子调整W(L)；4.2.5k=L-1；4.2.6whilek0do4.2.6.1根据相应式子调整根据相应式子调整W(k)；4.2.6.2k=k-1 4.3E=E/2.0 第十六页，共四十四页。2023/9/24 周日164.3算法算法(sun f)(sun f)的改进的改进 1、BP网网络络接接受受样样本本的的顺顺序序对对训训练练(xnlin)(xnlin)结结果果有有较大影响。它更较大影响。它更“偏爱偏爱”较后出现的样本较后出现的样本2、给给集集中中的的样样本本安安排排一一个个适适当当的的顺顺序序，是是非非常常困难的。困难的。3、样样本本顺顺序序影影响响结结果果的的原原因因：“分分别别”、“依依次次”4、用用(X1,Y1)，（X2,Y2），（Xs,Ys）的的“总效果总效果”修改修改W(1)，W(2)，W(L)。w(k)ij=pw(k)ij第十七页，共四十四页。2023/9/24 周日17算法算法4-2 4-2 消除样本顺序消除样本顺序(shnx)(shnx)影响的影响的BP算法算法 1fork=1toLdo1.1初始化初始化W(k)；2初始化精度初始化精度(jn d)(jn d)控制参数控制参数；3E=+1;4whileEdo4.1E=0;4.2对所有的对所有的i，j，k：w(k)ij=0；第十八页，共四十四页。2023/9/24 周日184.3对对S中的每一个样本中的每一个样本(yngbn)(yngbn)（Xp,Yp）：）：4.3.1计算出计算出Xp对应的实际输出对应的实际输出Op；4.3.2计算出计算出Ep；4.3.3E=E+Ep；4.3.4对所有对所有i，j根据相应式子计算根据相应式子计算pw(L)ij；4.3.5对所有对所有i，j：w(L)ij=w(L)ij+pw(L)ij；4.3.6k=L-1；4.3.7whilek0do4.3.7.1对所有对所有i,j根据相应式子计算根据相应式子计算pw(k)ij；4.3.7.2对所有对所有i,j：w(k)ij=w(k)ij+pw(k)ij；4.3.7.3k=k-1 4.4对所有对所有i，j，k：w(k)ij=w(k)ij+w(k)ij;4.5E=E/2.0 第十九页，共四十四页。2023/9/24 周日19算法算法(sunf)4-2分析分析 较好地解决了因样本的顺序引起的精度问题较好地解决了因样本的顺序引起的精度问题和训练的抖动问题和训练的抖动问题 收敛速度：比较慢收敛速度：比较慢偏移量：给每一个神经元增加一个偏移量来偏移量：给每一个神经元增加一个偏移量来加快收敛速度加快收敛速度 冲量冲量：联接权的本次修改要考虑上次联接权的本次修改要考虑上次(shn c)(shn c)修改的影响，以减少抖动问题修改的影响，以减少抖动问题 第二十页，共四十四页。2023/9/24 周日20算法算法4-2分析分析(fnx)冲量设置冲量设置Rumelhart等人等人1986年年wij=joi+wijwij为上一次的修改量，为上一次的修改量，为冲量系数，一般为冲量系数，一般(ybn)(ybn)可取到可取到0.9 Sejnowski与与Rosenberg，1987年年wij=(1-)joi+wij)wij也是上一次的修改量，也是上一次的修改量，在在0和和1之间取值之间取值 第二十一页，共四十四页。2023/9/24 周日214.4算法算法(sun f)(sun f)的实现的实现 主要数据结构主要数据结构WH，m输出层的权矩阵；输出层的权矩阵；Vn，H输入输入(shr)(shr)（隐藏）层的权矩阵；（隐藏）层的权矩阵；om输出层各联接权的修改量组成的向量；输出层各联接权的修改量组成的向量；hH隐藏层各联接权的修改量组成的向量；隐藏层各联接权的修改量组成的向量；O1隐藏层的输出向量；隐藏层的输出向量；O2输出层的输出向量；输出层的输出向量；(X，Y)一个样本。一个样本。第二十二页，共四十四页。2023/9/24 周日22算法算法(sun f)(sun f)的主要实现步骤的主要实现步骤 1 1用不同的小伪随机数初始化用不同的小伪随机数初始化WV；2 2初始化精度控制参数初始化精度控制参数；学习率；学习率；3 3循环控制参数循环控制参数E=+1；循环最大次数；循环最大次数M；循环次数控制参数循环次数控制参数N=0；4whileE&N0，此时，此时wij0取取E0wij第三十页，共四十四页。2023/9/24 周日30而其中而其中(qzhng)(qzhng)的的所以所以(suy)(suy)，最速下降法，要求最速下降法，要求(yoqi)(yoqi)E的极小点的极小点第三十一页，共四十四页。2023/9/24 周日31令令所以所以(suy)wij=joi为学习率为学习率最速下降最速下降(xijing)(xijing)法，要求法，要求E的极小点的极小点第三十二页，共四十四页。2023/9/24 周日32ANj为输出为输出(shch)层神经元层神经元 oj=f(netj)容易容易(rngy)(rngy)得得到到 从而从而(cng r)(cng r)第三十三页，共四十四页。2023/9/24 周日33ANj为输出为输出(shch)层神经元层神经元第三十四页，共四十四页。2023/9/24 周日34所以所以(suy)(suy)，故，当故，当ANj为输出层的神经元时，它对应的联为输出层的神经元时，它对应的联接权接权wij应该按照下列公式进行应该按照下列公式进行(jnxng)(jnxng)调整：调整：ANj为输出为输出(shch)层神经元层神经元第三十五页，共四十四页。2023/9/24 周日35ANj为隐藏为隐藏(yncng)层神经元层神经元 函数第三十六页，共四十四页。2023/9/24 周日36ANj为隐藏为隐藏(yncng)层神经元层神经元netk=oio2o1oHhnetk是是oj下一级的神下一级的神经元的网络输入经元的网络输入oj第三十七页，共四十四页。2023/9/24 周日37ANj为隐藏为隐藏(yncng)层神经元层神经元第三十八页，共四十四页。2023/9/24 周日38ANj为隐藏为隐藏(yncng)层神经元层神经元第三十九页，共四十四页。2023/9/24 周日39ANj为隐藏为隐藏(yncng)层神经元层神经元第四十页，共四十四页。2023/9/24 周日404.6 几个问题几个问题(wnt)(wnt)的讨论的讨论 收敛速度问题收敛速度问题 局部极小局部极小(jxio)点问题点问题 逃逃离离/避避开开局局部部极极小小点点：修修改改W、V的的初初值值并不是总有效。并不是总有效。逃离逃离统计方法；统计方法；Wasserman，1986将将Cauchy训练与训练与BP算法结合起来，可以在保证训算法结合起来，可以在保证训练速度不被降低的情况下，找到全局极小点。练速度不被降低的情况下，找到全局极小点。第四十一页，共四十四页。2023/9/24 周日414.6 几个问题几个问题(wnt)(wnt)的讨论的讨论 网络瘫痪问题网络瘫痪问题 在训练中，权可能变得很大，这会使神经元的在训练中，权可能变得很大，这会使神经元的网络输入变得很大，从而又使得其激活函数的网络输入变得很大，从而又使得其激活函数的导函数在此点上的取值很小。根据相应式子，导函数在此点上的取值很小。根据相应式子，此时的训练步长会变得非常小，进而将导致训此时的训练步长会变得非常小，进而将导致训练速度降得非常低，最终导致网络停止收敛练速度降得非常低，最终导致网络停止收敛 稳定性问题稳定性问题 用修改量的综合实施用修改量的综合实施(shsh)(shsh)权的修改权的修改连续变化的环境，它将变成无效的连续变化的环境，它将变成无效的 第四十二页，共四十四页。2023/9/24 周日424.6几个问题几个问题(wnt)(wnt)的讨论的讨论 步长问题步长问题 BP网络的收敛是基于无穷小的权修改网络的收敛是基于无穷小的权修改(xigi)(xigi)量量步长太小，收敛就非常慢步长太小，收敛就非常慢步长太大，可能会导致网络的瘫痪和不稳定步长太大，可能会导致网络的瘫痪和不稳定自适应步长，使得权修改量能随着网络的训练自适应步长，使得权修改量能随着网络的训练而不断变化。而不断变化。1988年，年，Wasserman 第四十三页，共四十四页。2023/9/24 周日43内容(nirng)总结第4章 BP网络。样本(yngbn)：(输入向量，理想输出向量)。vhp=vhp+vhp。算法4-1 基本BP算法。算法4-2 消除样本(yngbn)顺序影响的BP算法。偏移量：给每一个神经元增加一个偏移量来加快收敛速度。算法4-2 分析冲量设置。WH，m输出层的权矩阵。Vn，H输入（隐藏）层的权矩阵。O1隐藏层的输出向量。(X，Y)一个样本(yngbn)。4.1 N=N+1。0，此时wij0。43第四十四页，共四十四页。