神经网络优化方法(bp算法缺陷).ppt

智能中国网提供学习支持智能中国网提供学习支持第第3 3章章 神神经经网网络优络优化方法化方法1.3.1 BP网络学习算法的改进标标准准BP算法的算法的误误差差空空间间是是N维维空空间间中一个形状中一个形状极极为为复复杂杂的曲面，的曲面，该该曲面上的每个点的曲面上的每个点的“高度高度”对应对应于一个于一个误误差差值值，每个点的坐，每个点的坐标标向量向量对应对应着着N个个权值权值单权值单权值双双权值权值23.1 BP网络学习算法的改进pBPBP网网络学学习算法存在的算法存在的问题存在平坦区域影响影响-误误差下降差下降缓缓慢，影响收慢，影响收敛敛速度。速度。原因原因-误误差差对权值对权值的梯度的梯度变变化小接近化小接近于零于零 由各由各节节点的点的净输净输入入过过大而引起。大而引起。p分析：激活函数分析：激活函数为为SigmodSigmod函数函数33.1 BP网络学习算法的改进p存在平坦区域的原因分析存在平坦区域的原因分析权值权值权值权值修正量修正量修正量修正量：输输输输出的出的出的出的导导导导数：数：数：数：43.1 BP网络学习算法的改进 存在平坦区域的原因分析：存在平坦区域的原因分析：第一种可能是 充分接近第二种可能是 充分接近0么三种可能是 充分接近1 造成平坦区的原因：造成平坦区的原因：各节点的净输入过大对应对应着着误误差的某个谷点差的某个谷点 对应对应着着误误差的平坦区差的平坦区 53.1 BP网络学习算法的改进p存在多个极小点存在多个极小点影响-易陷入局部最小点 原因：原因：以以误误差梯度下降差梯度下降为权值调为权值调整原整原则则，误误差曲面上可能存在多个梯度差曲面上可能存在多个梯度为为0 0的点，多数极小点都是的点，多数极小点都是局部极小，即使是全局极小往往也不是唯一的，局部极小，即使是全局极小往往也不是唯一的，使之无使之无法辨法辨别别极小点的性极小点的性质质导致的结果：使得训练经常陷入某个局部极小点而不能自拔，从而使训练无法收敛于给定误差。63.1 BP网络学习算法的改进p BPBP算法缺陷小算法缺陷小结结 易形成局部极小而得不到全局最优；训练次数多使得学习效率低，收敛速度慢；隐节点的选取缺乏理论指导；训练时学习新样本有遗忘旧样本的趋势。针对针对上述上述问题问题，国内外已提出不少有，国内外已提出不少有效的改效的改进进算法，下面将介算法，下面将介绍绍其中几种其中几种较较常常用的方法。用的方法。73.1.13.1.1消除消除样样本本输输入入顺顺序影响的改序影响的改进进算法算法 p在在线线学学习习方式方式时时，网，网络络受后面受后面输输入入样样本的影响本的影响较较大，大，严严重重时时，会影响用，会影响用户户要求的要求的训练训练精度。精度。为为了消除了消除这这种种样样本本顺顺序序对结对结果的影响，可以采用批果的影响，可以采用批处处理学理学习习方式，即使用方式，即使用一批学一批学习样习样本本产产生的生的总误总误差来差来调调整整权值权值，用公式表示如，用公式表示如下：下：p解决了因解决了因样样本本输输入入顺顺序引起的精度序引起的精度问题问题和和训练训练的抖的抖动问动问题题。但是，。但是，该该算法的收算法的收敛敛速度相速度相对对来来说还说还是比是比较较慢的。慢的。83.1.13.1.1消除消除样样本本输输入入顺顺序影响的改序影响的改进进算法算法算算法法流程流程图图网网网网络络络络初始初始初始初始化化化化计计计计算算算算输输输输出出出出层层层层权权权权值值值值调调调调值值值值计计计计算算算算隐隐隐隐含含含含层层层层权权权权值值值值调调调调值值值值计计计计算全局算全局算全局算全局误误误误差差差差是是结结束束判判判判断是否断是否断是否断是否结结结结束束束束？否否更更更更新新新新权权权权值值值值93.1.2 3.1.2 附加附加动动量的改量的改进进算法算法p在反向在反向传传播法的基播法的基础础上在每一个上在每一个权值权值（或（或阈值阈值）的）的变变化化上加上一上加上一项项正比于上一次正比于上一次权值权值（或（或阈值阈值）变变化量的化量的值值，并根据反向并根据反向传传播法来播法来产产生新的生新的权值权值（或（或阈值阈值）变变化化 p带带有附加有附加动动量因子的量因子的权值调节权值调节公式公式为为:p可以防止的出可以防止的出现现即最后一次即最后一次权值权值的的变变化量化量为为0 0，有助于使，有助于使网网络络从从误误差曲面的局部极小差曲面的局部极小值值中跳出。但中跳出。但对对于大多数于大多数实实际应际应用用问题问题，该该法法训练训练速度仍然很慢。速度仍然很慢。pMATLABMATLAB中的工具函数中的工具函数traingdm()traingdm()即即对应对应于附加于附加动动量法。量法。103.1.3 3.1.3 采用自适采用自适应调应调整参数的改整参数的改进进算法算法p采用自适采用自适应调应调整参数的改整参数的改进进算法的基本算法的基本设设想是学想是学习习率率应应根据根据误误差差变变化而自适化而自适应调应调整，以使整，以使权权系数系数调调整整向向误误差减小的方向差减小的方向变变化，其迭代化，其迭代过过程可表示程可表示为为 ：p在很小的情况下，采用自适在很小的情况下，采用自适应调应调整参数的改整参数的改进进算法算法仍然存在仍然存在权值权值的修正量很小的的修正量很小的问题问题，致使学，致使学习习率降率降低。低。pMATLABMATLAB中的工具函数中的工具函数traingda()traingda()即即对应对应于自适于自适应调应调整参数法。整参数法。113.1.4 3.1.4 使用使用弹弹性方法的改性方法的改进进算法算法pBPBP网网络络通常采用通常采用SigmoidSigmoid隐隐含含层层。当。当输输入的函数很大入的函数很大时时，斜率接近于零，斜率接近于零，这这将将导导致算法中的梯度幅致算法中的梯度幅值值很小，可能很小，可能使网使网络权值络权值的修正的修正过过程几乎停程几乎停顿顿下来。下来。弹弹性方法只取偏性方法只取偏导导数的符号，而不考数的符号，而不考虑虑偏偏导导数的幅数的幅值值。其。其权值权值修正的迭修正的迭代代过过程可表示程可表示为为 ：p在在弹弹性性BPBP算法中，当算法中，当训练发训练发生振生振荡时荡时，权值权值的的变变化量将化量将减小；当在几次迭代减小；当在几次迭代过过程中程中权值权值均朝一个方向均朝一个方向变变化化时时，权值权值的的变变化量将增大。因此，使用化量将增大。因此，使用弹弹性方法的改性方法的改进进算法，算法，其收其收敛敛速度要比前几种方法快得多速度要比前几种方法快得多 123.1.5 3.1.5 使用使用拟拟牛牛顿顿法的改法的改进进算法算法p梯度法的缺点是搜索梯度法的缺点是搜索过过程收程收敛敛速度速度较较慢，牛慢，牛顿顿法在搜索法在搜索方向上比梯度法有改方向上比梯度法有改进进，它不，它不仅仅利用了准利用了准则则函数在搜索函数在搜索点的梯度，而且点的梯度，而且还还利用了它的二次利用了它的二次导导数，就是数，就是说说利用了利用了搜索点所能提供的更多信息，使搜索方向能更好地指向搜索点所能提供的更多信息，使搜索方向能更好地指向最最优优点。它的迭代方程点。它的迭代方程为为 ：p收收敛敛速度比一速度比一阶阶梯度快，但梯度快，但计计算又算又较较复复杂杂，比，比较较典型的典型的有有BFGSBFGS拟拟牛牛顿顿法和一步正切法和一步正切拟拟牛牛顿顿法。法。pMATLABMATLAB中的工具函数中的工具函数trainbfg()trainbfg()、trainoss()trainoss()即即对应拟对应拟牛牛顿顿法中的法中的BFGSBFGS拟拟牛牛顿顿法和一步正切法和一步正切拟拟牛牛顿顿法。法。133.1.6 3.1.6 基于共基于共轭轭梯度法的改梯度法的改进进算法算法p梯度下降法收梯度下降法收敛敛速度速度较较慢，而慢，而拟拟牛牛顿顿法法计计算又算又较较复复杂杂，共共轭轭梯度法梯度法则则力力图图避免两者的缺点。共避免两者的缺点。共轭轭梯度法也是一梯度法也是一种改种改进进搜索方向的方法，它是把前一点的梯度乘以适当搜索方向的方法，它是把前一点的梯度乘以适当的系数，加到的系数，加到该该点的梯度上，得到新的搜索方向。其迭点的梯度上，得到新的搜索方向。其迭代方程代方程为为 ：143.1.6 3.1.6 基于共基于共轭轭梯度法的改梯度法的改进进算法算法p共共轭轭梯度法比大多数常梯度法比大多数常规规的梯度下降法的梯度下降法收收敛敛快，并且只需增加很少的存快，并且只需增加很少的存储储量和量和计计算量。算量。p对对于于权值权值很多的网很多的网络络，采用共，采用共轭轭梯度法梯度法不失不失为为一种一种较较好的好的选择选择。pMATLABMATLAB中的工具函数中的工具函数traincgb()traincgb()、traincgftraincgf()()、traincgp()traincgp()即即对应对应于共于共轭轭梯度法。梯度法。153.1.7 3.1.7 基于基于Levenberg-MarquardtLevenberg-Marquardt法的改法的改进进算法算法p梯度下降法在最初几步下降梯度下降法在最初几步下降较较快，但随着接近最快，但随着接近最优值优值，由于梯度由于梯度趋趋于零，致使于零，致使误误差函数下降差函数下降缓缓慢，而牛慢，而牛顿顿法法则则可在最可在最优值优值附近附近产产生一个理想的搜索方向。生一个理想的搜索方向。pLevenberg-MarquardtLevenberg-Marquardt法法实际实际上是梯度下降法和牛上是梯度下降法和牛顿顿法法的的结结合，它的合，它的优优点在于网点在于网络权值络权值数目数目较较少少时时收收敛敛非常迅非常迅速。速。应应用用Levenberg-MarquardtLevenberg-Marquardt优优化算法比化算法比传统传统的的BPBP及及其它改其它改进进算法（如共算法（如共轭轭梯度法，附加梯度法，附加动动量法、自适量法、自适应调应调整法及整法及拟拟牛牛顿顿法等）迭代次数少，收法等）迭代次数少，收敛敛速度快，精确度速度快，精确度高。高。pMATLABMATLAB中的工具函数中的工具函数trainlm()trainlm()即即对应对应Levenberg-Levenberg-MarquardtMarquardt法的改法的改进进算法。算法。16BPBP神神经经网网络优络优化算法化算法对对比示例比示例17课课后后练习练习：BPBP神神经经网网络优络优化算法化算法对对比比p建立一个建立一个BPBP网网络络，使用各种，使用各种优优化算法化算法对对应应的学的学习习函数函数对对神神经经网网络进络进行行训练训练，实现实现对对函数函数 的逼近，并的逼近，并计计算出各种学算出各种学习习方法方法训练训练网网络时络时所使用的所使用的时间时间18小小结结pBPBP网网络络学学习习算法存在的算法存在的问题问题pBPBP网网络络学学习习算法的改正算法算法的改正算法消除消除样样本本输输入入顺顺序影响的改序影响的改进进算法算法 附加附加动动量的改量的改进进算法算法 采用自适采用自适应调应调整参数的改整参数的改进进算法算法 使用使用弹弹性方法的改性方法的改进进算法算法 使用使用拟拟牛牛顿顿法的改法的改进进算法算法 基于共基于共轭轭梯度法的改梯度法的改进进算法算法 基于基于Levenberg-MarquardtLevenberg-Marquardt法的改法的改进进算法算法 p优优化算法化算法对对比比19谢谢 谢谢！20