神经网络及其在图像处理中的应用论文.pdf

摘要人工神经网络由于具有并行计算、自组织、自学习的特性和全局逼近能力而 受到人们的广泛关注，并已经被成功地应用于模式识别、图像处理、函数逼近、自适应控制等方面;BP神经网络是各种神经网络模型中最具代表意义的一种网 络。本文首先对BP神经网络结构及BP算法进行了综述，尤其对目前BP算法 的改进动态做了系统的分析研究，在此基础上，本文提出了一种直接自适应BP 算法，该算法着重改进了权值的调整方法，和标准BP算法和以学习速率改变为 基础的算法相比，此算法缩短了学习时间，提高了学习效率，有效地避免了 BP 算法收敛速度慢、易陷入局部极小等缺陷。其次，本文将改进的BP算法用于字符图像的识别，取得了良好的效果。为 改善神经网络训练方法对样本的依赖性，本文提出了一种基于神经模糊推论系 统进行印刷体字符图像识别的方法，该方法具有识别率高及对噪声不敏感的特 性，仿真结果也证明其优于神经网络的识别方法。再次,本文提出一种基于邻域灰度变化极值和神经网络的图像边缘检测新方 法，该方法首先基于邻域灰度极值提取边界候选图像，然后以边界候选象素及其 邻域象素的二值模式作为样木集输入对边缘检测神经网络进行训练。为加快网络 的收敛速度，本文提出了滚动训练方法，实验证明本文提出的边缘检测新方法较 之于已有的神经网络方法提高了学习效率，获得的边缘图像封闭性好，边缘描述 真实。最后，本文提出并实现了一种使用VB-Access-Matlab混合编程的神经网络 模式识别系统，在系统中提出了基于数据库模式的神经网络数据存储架构，并为 进一步形成基于图像数据库模式的神经网络数据存储架构奠定了基础。系统较目 前普遍采用的方法更为简便、高效，且具有良好的模块化结构和可移植性以及透 明性，经试验证明具有良好的效果。对于各种模式识别的情况，都具有较高的实 用性和参考价值d关键词：神经网络，模式识别，神经模糊系统，边缘检测ABSTRACTArtificial neural networks attract more and more attention in recent years.It has been successfully applied to many fields,such as pattern recognition,image processing,function approximation,self-adaptive control BP neural network is one of the representative neural network models.First,the structure of BP network and classical back-propagation learning algorithm is introduced in the paper,and then systematic analysis and research are made to the various learning methods of improved BP algorithm.A direct adaptive BP learning principle,based on the standard BP algorithm,is presented,which stressed on the adjustment method of the weight.Experiment results show that the improved BP algorithm has the characteristic of the short time and high efficiency of learning.Second,character image recognition using improved BP algorithm is put forward in the paper,which obtains good effect,and then a method of block letter recognition using ANFIS(Adaptive-Network-based Fuzzy Inference Systems)is proposed,which has characteristic of high recognition rate and robust when the character are polluted.Experiment results indicate that it is superior to the method of ANN.Third,a method of edge detection,which based on maximum grey values changing of nearby pixels and neural network,is proposed in the paper.The method uses a logical judgement algorithm to get edge candidate images,and then edge pixels and their neighbor pixels compose the binary samples of the neural network.A scroll1 learning method is also proposed to accelerate the convergence speed.The test on images proves that the image segmented by this method has a good edge ciosedness and true edge.Finally,a hybrid programming method with VB,Access and Matlab to design and perform a neural network platform for Pattern Recognition is developed in the paper.A storage framework based on database to manage the neural network learning data is proposed in the platform.Then the platform is the one with beautiful modularity and also penetrability.For any kinds of pattern recognition problems,it has the higher values of application or reference.Key words:neural network,pattern recognition,ANFIS,edge detection.第一章结论第一章绪论1.1神经网络及其基本特征神经网络是由具有适应性的筒单单元组成的广泛并行互连的网络，它的组织 能够模拟生物神经系统对真实世界物体做出交互反应。它是在现代神经科学研究 成果的基础之上提出来的，反映了人脑功能的基本特性，但神经网络并不是人脑 的真实描写，而只是它的某种抽象、简化与模拟。网络的信息处理由神经元之间 的相互作用来实现，知识与信息的存贮表现为网络元件互连间分布式的物理联 系，网络的识别和学习决定于各神经元连接权的动态演化过程。神经网络是一个具有高度非线性的超大规模连续时间动力系统。其最主要特 征为连续时间非线性动力学、网络的全局作用、大规模并行分布处理及高度的存 棒性和学习联想能力同时它又具有一般非线性动力系统的共性，即：不可预测 性、吸引性、耗散性、非平衡性、不可逆性、高维性、广泛连接性与自适应性。因此，神经网络实际上是一个超大规模非线性连续时间自适应信息处理系统。L2神经网络研究的内容与学习规则1.2.1神经网络研究的内容人工神经网络的研究的内容刀可分为两个大的方面：一方面是理论研究：.另一方面是应用研究。L2.1.I理论研究神经网络理论研究可分为两类：一类是利用神经生理与认知科学研究人类思维及智能机理。例如：人们通过 大量的生理学、解剖学实验掌握了大脑神经系统的结构特征，初步探明了大脑神 经活动机理，以及与神经活动有关的一些生物化学反应。对人脑的生理机构研究，则为构造人工神经网络模型及完善网络算法打下了基础，当然大脑神经网络的奥 秘还有待进一步研究。理论研究的另一类是：利用神经网络基础理论的研究成果，用数理方法探索 功能更加完善，性能更加优越的神经网络模型，深入研究网络算法的性能。如稳 定性、收敛性、容错性、鲁棒性、动力学复杂性等。JT发新的网络数理理论，如第一章结论神经网络动力学、非线性神经场等。12L2应用研究人工神经网络的应用研究可分为两类：一类是神经网络的软件模拟和硬件实现的研究。在通用计算机、专用计算机或者并行计算机上进行软件模拟，或由专用数字 信号处理芯片构成神经网络仿真器。由模拟集成电路、数字集成电路或者光器件在硬件上实现神经芯片。基于硬 件实现的人工神经网络通称第六代计算机，它是一种模拟人脑的超分散超平行的 信息处理系统，它不仅有自学习自组织的功能，而且无箭复杂程序的启动。电子 神经网络计算机是第六代计算机技术中发展的较为成熟的一种。美国的TRW公 司于1995年研制出了在36cm2芯片上集成了 10亿个神经元的人工神经网络。另一类是神经网络在各个领域中的应用研究。用。神经网络理论的应用已经 渗透到各个领域，并在计算机视觉、模式识别、智能控制、语音处理、传感技术 与机器人、生物医学工程等方面取得令人鼓舞的进展。例如，工业控制中，采用 神经网络自校正调节器后，可以随环境和特性的变化自动调整，使被控过程输出 对其设定值的方差达到最小，不仅使产品质量稳定，还能降低原材料的消耗：美 国联邦航空管理局利用神经网络进行机场行李炸弹检测等。122神经网络的学习规则问人工神经网络是实现神经网络思维和学习的物质基础，神经网络的学习过程 是通过不断调整网络的连接权值来实现的，根据学习算法所采用的学习规则，可 以分为相关规则；纠错规则、无教师学习规则。1.2.2.1 相关规则仅仅根据连接间的激活水平改变权系，即如果神经网络中某一神经元同另一 直接与它连接的神经元同时处于兴奋状态，那么这两个神经元之间的连接将得到 加强。相关规则常用于自联想网络，执行特殊记忆状态的死记式学习。Hopfield神 经网络即是如此，所采用的修正的Hebb规则为%=2匕-1 2匕-1 这里匕和匕分别是节点，和j的系激励值。2第一学绪论L222纠错规则依赖关于输出节点的外部反馈改变权系，从方法上等效于梯度下降法，通过 再局部最大改善的方向上一小步、一小步地进行修正，力图达到表示函数功能问 题的全局解。感知器学习即是使用纠错规则。对于6学习规则，可分为一般5规则和广义J规则。(1)3学习规则.它优于感知器学习，因为A%不是一固定量而是与误差成正 比，即这里是全局控制系数，而0=乙-匕，即期望值与实际值之差。(2)广义5规则。它可在多网络上有效地学习，其关键是对隐节点的偏差5如 何定义和计算。对BP算法，当i为除节点时，定义d=/()“九这里先是节点i到上一层节点的权值，/()为。|函数：将某一隐节点馈入上 一层节点的误差的比例总和(加权和)作为该隐节点的误差，通过可观察的输出 节点误差，下一层隐节点的误差就能递归得到，广义3规则可学习非线性可分函 数。(3)Boltzman机学习规则。它是基于模拟退火的统计方法来当代广义5规则，适应于多层网络。它提供了隐节点学习的一个有效方法，能学习复杂的非线性可 分函数。主要缺点是学习速度太慢，因为在模拟退火过程中要求系统进入平衡时,“冷却”必须慢慢的进行，否则易陷入局部极小。它基本上是梯度下降法，所以 要提供大量的例子.纠错规则基于梯度下降法，因此不能保证达到全局最优解：同时要求大量训 练样本，因而收敛速度慢，纠错规则对样本的表示次序变化比较敏感，必须精心 组织才能有效学习。1.2.2.3无教师学习规则学习表现为自适应于输入空间的检测规则。诸如Grossberg等的ART,Kohonen的自组织特征映射等都是无教师学习，在这类学习规则中，关键不在于 实际节点的输出怎样与外部的期望输出相一致，而在于调整参数以反映观察事件 的分布。这类无教师学习系统的学习并不在于寻找一个特殊映射函数的表示，而是将 事件空间分类成输入活动区域，并有选择地对这些区域响应。它在应用于JT发由3第一市结论多层竞争族组成的网络方面有良好的前景。它的输入可以是连续值，对噪声有较 强的抗干扰能力，但对较少的输入样本，结果可能要依赖于输入顺序。1.3神经网络研究的历史与发展前景1134791.3.1 神经网络的发展历程神经网络的发展，可追溯到一个世纪以前，其发展历程可分为五个时期，即：初创时期、初始发展期，低潮时期、复兴时期和发展高潮期。1890年，美国生物学家WJames出版了生物学一书，首次阐明了有关 人脑结构和功能，以及一些相关学习、联想记忆的基本规则。1943年，心理学 家McCulloch和数学家Pitts合作提出了形式神经元的数学模型（称之为MP模 型），从此开创了计算神经科学理论研究的时代.1944年，Hebb从条件反射的 研究中提出了 Hebb学习规则。到50年代末，以Rosenblatt提出的感知器为代表,形成了 ANN研究的第一次高潮。1949年Minsky和Papert的Perceplion一书 出版，在大量数学分析的基础上，指出了感知器的局限性，从而导致了神经网络 研究的降温。到70年代，仅有少数学者还致力于神经网络的研究。进入80年代以来，国际上再次掀起ANN的研究热潮，并取得了一大批引 人瞩目的成果 1982年，物理学家Hopfield提出了 HNN模型，从而有力地推动 了 ANN的研究；Hinton和Sejnowski采用多层神经网络的学习方法，提出了 Boltzman机模型，来保证整个系统趋于全局稳定点；Rumelhart和McClelland等 人提出了 PDP（并行分布处理）理论，并发展了多层网络的BP算法：1988年美 国加州大学的LO.Chua等人提出了细胞神经网络模型，它是一个大规模的非线 性模拟系统，同时具有细胞自动机的动力学特性。ANN的研究引起了美国、欧洲与H本等国科学家和企业家的巨大热情，脑 电学、心理学、认知科学、计算机科学、哲学等不同学科的科学工作者正在为此 进行合作研究。新的研究小组、实验室和公司与H俱增，美国星球大战计划、欧 洲尤里卡计划都将神经网络计算机作为重大研究项目，有关神经网络的国际会议 频繁召开。目前，ANN理论已经在诸多领域得到了广泛的应用。132神经网络的发展前景旧例、针对神经网络存在的问题和社会的需求，今后发展的主要方向可分为理论研 究和应用研究两个方面.1 利用神经生理与认知科学，研究大脑思维及智能的机理，计算理论第一章绪论人工神经网络提供了一种揭示智能和了解人脑工作方式的合理途径,但是由 于人类起初对神经系统了解非常有限,对于自身脑结构及其活动机理的认识还十 分肤浅，而且带有某种先验性，例如：Boltzman机引入随机扰动来避免局部极 小，有其卓越之处，然而缺乏必要的脑生理基础，墓无疑问，人工神经网络的发 展与完善要结合神经科学的研究.而且，神经科学、生理学和认知科学等方面提 出的一些重大问题是向神经网络理论科学研究提出的挑战,这些问题的解决有助 于完善和发展神经网络理论。因此利用神经生理和认知科学研究大脑思维及认知 科学的机理，如有新的突破，将会改变智能和机器关系的认识，利用神经科学基础理论研究的成果，用数理方法探索智能水平更高的人工神 经网络模型，深入研究网络的算法和性能，如神经计算、进化计算、稳定性、收 敛性、计算复杂性、容错性、鲁棒性等。开发新的网络数理理论，由于神经网络 的非线性，因此非线性的研究是神经网络理论发展的一个最大动力。特别是人们 发现大脑中存在着混沌现象以来，用混沌动力学启发神经网络的研究或用神经网 络产生混沌成为摆在人们面前的新课题，因为从生理本质角度出发是研究神经网 络的根本手段。(2)神经网络软件模拟，硬件实现的研究及神经网络在各科学领域应用的研究 由于人工神经网络可以用传统计算机模拟，也可以用集成电路芯片组成神经 计算机，甚至还可以用光学的、生物芯片的方式实现，因此研制纯软件模拟，虚 拟模拟和全硬件实现的电子神经网络计算机潜力巨大。如何使神经网络计算机与 传统的计算机和人工智能技术相结合也是前沿课题,如何使神经网络计算机的功 能向智能化发展，研制与人脑功能相似的智能计算机，如光学神经计算机、分子 神经计算机，将具有十分诱人的前景.L4本文的主要工作本论文所做的工作主要有以下几个方面：(1)BP神经网络研究对BP神经网络结构和BP算法作了一个系统的综述，提出了一种改进的BP 算法。并仿真证明该方法的有效性,(2)基于神经网络的字符识别介绍神经网络应用于字符识别的方法，给出了神经网络识别加噪的数学符号 的仿真结果，提出了一种基于神经模糊推理系统的印刷体字符识别的方法。并针 对英文大写字母和数字的识别仿真证明此方法优于神经网络的方法。(3)基于神经网络的图像边缘检测5第一章绪论将神经网络用于图像边缘检测，提出了一种基于神经网络的边缘检测新方 法，并实验证明此方法较之于已有的神经网络方法检测效果好，速度快。(4)神经网络模式识别系统的开发和设计结合VB和Matlab的优点，以VB.Net/VB6编写操作界面，开发基于数据 库模式的神经网络数据存储架构，完成各项功能的调用及数据的I/O操作，以 Matlab6.1进行有关神经网络的运算，开发神经网络模式识别系统，并实验证明 它对各种模式识别问题都具有广泛的适用性6第二章BP神纣网络研究第二章BP神经网络研究在神经网络的理论研究方面，至今尚未有一种新方法从理论上证明在各种情 况下全面优于反向传播算法（BP算法）。因此，BP算法的改进研究一直是神经 网络理论研究的热点。但对此进行综述的文章却很少见.本章首先对BP神经网 络结构及BP算法进行了综述，尤其对目前BP算法的改进动态做了系统的分析 研究，在此基础上，本文提出了一种直接自适应BP算法，该算法采用了变化的 权更新值来直接修改权值,和标准BP算法和以学习速率改变为基础的算法相比,学习规律简单和清楚，计算上的花费很少.实验证明此算法缩短了学习时间，提 高了学习效率，有效地避免了 BP算法收敛速度慢、易陷入局部极小等缺陷。2.1 BP网络结构分析在已出现的众多神经网络模型中，BP神经网络模型是最典型也是应用最为 广泛和成功的网络之一特别地，它在函数逼近、模式识别和故障诊断的应用中 取得了巨大的成功。然而，尽管BP神经网络的研究取得了激动人心的成果，其 应用也解决了一些实际问题，但还存在着不完善之处，如初始权值选择问题、局 部极小值问题、网络结构问题等。其中，神经网络结构更是难点，众所周知，神 经网络应用的前提就是要确定一个合适的网络结构模型，这对网络的性能（收敛 性、推广能力等）有着重大的影响。典型的BP网络（如图2/所示）是三层前 向网络，由输入层、隐含层和输出层组成。图21典型的BP网络结构图一般情况下,神经网络的输入层和输出层的神经元数目由问题本身的性质决 7第二章BP神经网络研究定，隐层的层数和各隐层的节点数由设计者根据问题的性质和对神经网络的性能 要求来决定。2.1.1 输入层和输出层设计输入层起缓冲存储器的作用，把数据源加到网络上其节点数目取决于数据 源的维数，即这些节点能够代表每个数据源，所以，最困难的设计判决是弄清楚 正确的数据源。如果数据源中有大量的未经处理的或者虚假的信息数据，那必将 会妨碍对网络的正确训练，所以要剔除那些无效的数据，确定出数据源的合适数 目，大体上需要经过四步网：(1)确定与应用有关的数据；(2)剔除那些在技术上和经济上不符合实际的数据源；(3)剔除那些边沿的或者不可靠的数据源：(4)开发一个能组合或预处理数据的方法，使这些数据更具有实用意义。人工神经网络只能处理表示成数值的输入数据，所以经常需要将外部的信息 变换或编码。输入的神经单元可以根据需要求解的问题和数据表示的方式而定。如果输入 的是模拟信号波形，那么输入层可以根据波形的采样点数决定输入单元的维数，也可以用一个单元输入，这时输入样本为采样的时间序列。如果输入为图像，则 输入单元可以为图像的象素，也可以是经过处理后的图像特征.输出层的维数根据使用者的要求来确定。如果BP网络用作分类器，其类别 为加个，有两种方法确定输出神经元的个数：(1)输出层有m个神经元，其训练样本集中x属于第/类，要求其输出为.=(0,0,oj,0,0,即第j个神经元的输出为1,其余输出为0。(2)输出神经元还可根据类别进行编码，即加类的输出只要用log2加个输 出单元即可.2.1.2 隐含层数和层内节点数的选择-2.1.2.1 隐含层数的确定对于多层神经网络来说，首先要确定选用几层隐含层。对于如何确定隐含层 数的问题，已有不少学者对此进行了理论上的研究.Lippmann的研究指出用，对于函数近似和数据分类问题，可能需要两个隐层来学习按段连续函数.8第二聿BP神经网络研究Cybenko证明了具有单隐层及任意固定的连续Sigmoid非线性函数的反传 MLP,可以以任意精度逼近紧集上的任何连续函数。当被用作具有硬限位（阶跃）激励函数的二进制取值神经元网络时，具有两个隐层的反传MLP可以形成任意 复杂的决策区域以区分不同的类肌RobertHechtNelsenB】证明了对于任何在闭 区间内的一个连续函数都可以用一个隐层的BP网络来逼近，因而一个三层的 BP网络可以完成任意的维到m维的映射。Hormikl等人证明了用一个隐层和 足够数量的神经节点可以实现任意精度的输入输出映射关系.隐含层起抽象的作用，即它能从输入提取特征。增加院含层可增加人工神经 元网络的处理能力，但是必将使训练复杂化、训练样本数目增加和训练时间的增 加.目前人们认为二进制分类或判决边界问题，一个隐含层就足够了。但是，如 果要求输出是输入的任意连续函数，那就要用两个隐含层或者采用不同的激活函 数。在线性可分的情况下，隐含层是不需要的叫2.1.2.2 隐含层内节点数的确定I韦岗的研究成果表明网，多层前向网络的函数逼近能力与隐层数目及隐层 神经元特性函数的具体形式关系不大，而主要取决于网络的隐层神经元数目。所 以，层内节点数需要进行恰当的选择。一般情况下，隐层节点数较多时，网络结 构比较复杂，学习时间长，能够很好的学习训练样本，输出误差小，但推广能力 差；隐层节点数较少时，网络结构比较简单，虽然有较好的泛化能力，但完成对 训练样本的学习较为困难。因此存在一个最佳的隐单元数，许多学者对此进行了 研究：Hecht-Nielsen提出隐含层节点数目为2N+1,Lippmann网认为最大隐含层 节点的数目为M3+D，Kuaiycki认为最大隐含层节点的数目为3,AJMaren网等人认为，对小型网络来说，输入节点数大于输出节点数时，最佳隐 含层节点数等于回了，其中N为输入的节点数，为输出层节点数。可供 参考的估算公式还有：1 1=标蒜其中，冽为输出神经元数，为输入神经元数，a为 1 一 10之间的常数。（2 J=log2，其中为输入神经元数。近年来，许多学者提出了变结构动态调整隐含层神经元数目的方法，一种称 为增长方法RU2J,即在开始时放入比较少的隐含单元，训练过程中，针对实际 问题，根据网络性能要求逐步增加隐含单元个数，直到满足网络性能要求.另一 种称为修剪方法世以，即在开始时构造一个含有冗余节点的网络，然后在训练 的过程中逐步删除那些不必要的节点和权值，一直减少到不可收缩为止.这样做 9第二章BP神经网络研究对于硬件完成的BP多层网有一定的好处，但是，也存在着计算量大，效率低等 缺点。增加隐含层的节点数可以改善网络与训练组匹配的精度（该精度近似比例于 隐含层节点数的平方）.然而，为了改善网络的概括推论能力，又要求适当减少 隐含层的节点数。所以，对一特定的应用网络，其隐含层的节点数应该是按精确 度和概括性综合统一考虑。2.1.2.3 仿真用具有不同隐含单元数的BP算法，对字母识别问题进行仿真。j实验中，每一个字母都定义为7x5象素，按行展开后的35个象素作为神经 网络的输入，输出层取26个神经元，对于各个字母，按顺序在其相应位置上输 出为L其余为Oo学习结束条件为sse0.1,学习算法为学习率自适应BP算法,对每一种网络结构，收敛时间是训练20次求得的平均值，因此数值具有代表性。对每一种网络结构，还求得了样本污染率为5%,10%,15%、20%、25%和30%时网络的识别误差，每一点都是100组（每组26个样本）测试误差的平均值，因此数值具有代夹件.图22收敛时间和隐层单元数的关系曲线图22显示了收敛时间和隐层单元数的关系，从中可以看出，太少或太多的 隐层单元都会使网络学习变慢。图2-3显示了隐层单元数和网络识别误差的关系。误差大说明网络的泛化能力不好，图示也证明了一点太少或太多的隐层单元会使 网络的泛化能力变差综合来说网络中是存在一个最佳的隐单元数的。第一章BP神经网络研究图23隐层单元数和网络识别误差的关系曲线2.2 BP算法研究及其进展 221基本BP算法多层前向神经网络的学习采用误差反向传播算法（BackPropagation Algorithm,简称BP算法网。BP算法是一种有导师的学习算法，其主要思想是 把学习过程分为四个部分：一是输入模式从输入层经除含层传向输出层的“模式 顺传播”过程；二是网络的希望输出与实际输出之差的误差信号由输出层经隐含 层向输入层逐层修正连接权的“误差逆传播”过程：三是由“模式顺传播”和“误 差逆传播”的反复交替进行的网络“记忆训练”过程；四是网络趋向收敛即网络 的全局误差趋向极小值的“学习收敛”过程。对于图34所示的前向网络，设有P个输入一输出对 1妙（）在=12,P。其中，乂为第七个样本输入向量：工夕=（色”92产广业），”为输入向量维数；7；为第4个样本输出向量（期望输出）：7；心,3），为输出向量维数。网络的实际输出向量为：。*=（。匕门,。川）Z 町为前一层第i个神经单元到 后一层第j个神经单元的权重。由于BP网络要求采用非线性的连续可导的激发函数，这里采用Sigmoid函 数作为激发函数。/(x)=(2-1)1+11第一章BP神经网络研究当神经元为输入层单元时，对于第4个样本，第/个神经单元的状态定义为：限(2-2)I则第j个神经单元的输出为,。广(Ne%)。(2-3)【定理2.1】对于具有隐层的多层前向网络，当神经元激发函数为半线性函数，且训练指标函数取：&-%尸1=2 4时，下述网络学习规则将使E在每个训练循环中按梯度下降；AML 泡。小(2%(1-。力)。(27)对隐层单元：%=。勺(1-%)2九%(2-8)-权值调节为：A%(r+l)=吟 o力(2-9)在实际的学习过程中，学习速率对学习过程的影响很大，是按梯度搜索 的步长？越大，权值的变化越剧烈。为了使学习速度足够快而不易产生振荡，往往再加上一个势态项，即：A%+1)=0b+必%(，)(2-10)式中，a是一个常数，它决定过去权重的变化对目前权值变化的影响。BP算法的具体步骤如下：(1)置各权值或阈值的初始值：。人(0),%(0)为小的随机数值。第一章BP神经网络研究 2 提供训练样本：输入矢量,4=1,2,J；期望输出7；,A=12,P；对每个输入样本进行下面（3 到（5 的迭代。3 计算网络的实际输出及因此单元的状态：。广力（Z 叼，%+%）（2/1）4 按式（2.7,28 计算输出层、隐层训练误差.5 按下式修正权值和阈值：叫 r+l =叫（。+*为+。叫 Q）-叼,-1 ，（2-12 4。+1 =%0 +仇4（，-%-1 。（2-13（6 当A每经历1至P后，判断指标是否满足精度要求：,Ei:精度。（7 结束。I222 BP算法存在的缺陷BP模型虽然在各方面都具有重要意义，而且应用也很广泛，但它也存在一 些不足，主要有：1 从数学上看，它是一个非线性优化问题，不可避免地存在局部极小点。2 学习算法的收敛速度很慢。3 网络隐层节点数选取带有很大的盲目性和经验性，尚无理论上的指导。（4 新加入的样本要影响已学完的样本。BP网络运用的误差反向传播算法要求学习率要充分小，这样才能使网络的 误差代价函数收敛到全局极小点，然而较小的学习率使得BP算法的学习速度很 慢，网络的收敛时间大为增加，通常需要几千次或更多次数的迭代才能收敛到全 局极小点：但是采用较大的学习率则会导致网络在学习过程中出现麻痹现象（这 是由于在训练过程中，加权值调节得过大时可能迫使所有的或大部分的神经元节 点的加权和输出较大，从而工作在Sigmoid激发函数的饱和区，此时激发函数的 导数/（）非常小，随之加权修正量也非常小，若当激发函数的导数/（根。TO 时，结果使得各层连接权的修正量趋于零，即AVTO,这就相当于使调节过程 几乎停顿下来）。从而使系统在局部极小点附近徘徊，无法收敛。2.2.3 BP算法的研究进展由于BP算法自身存在的问题，不少学者进行了研究，提出了一些改进方法，13第一章BP神经网络研究这些方法大都集中在如何提高收敛速度和尽可能避免陷入局部极小年力?”也改进算法大致可以分为四大类：基于改进通常的梯度下降的方法：基于导数 优化的方法：基于非导数优化的方法；网络结构的改变和生成的方法。2.231基于改进通常的梯度下降的方法标推BP算法即是通常的梯度下降法，它通过计算目标函数对网络权值和阈 值的梯度进行修正，基于通常的梯度下降的改进方法一般只用到目标函数对权值 和阈值的一阶梯度信息。此类改进算法可分为加入动量项、改进激活函数磔出)、参数自适应调整改进误差函数口7冽几类。(1)附加动量项附加动量项法使网络在修正其权值时，不仅考虑误差在梯度上的作用，而且 考虑在误差曲面上变化趋势的影响，该方法是在每个加权调节量上加上一项正比 于前次加权变化量的值(即本次权重的修改表达式中引入前次加权的权重修改)。带有动量项的加权调节公式为：8EA0a+1)-7+(214)do)，其中。为动量系数，一般取0.9左右.该方法所加入的动量项实质上相当于阻尼项，它减小了学习过程的振荡趋 势，不仅有助于使网络从误差曲面的局部极小值跳出，而且加快了学习步伐。(2)改进激活函数现已提出的新的激活函数有周期函数建议的激活函数组的一阶导数选为 seM”(x),其中=1,2,以及自适应多项式激活函数等【叫袁曾任如从权重改 变量和激活函数的导数值成正比以及在原点附近，函数有既宽又陡的峰值可以加 快收敛速度出发提出构造激活函数组合，并对多种组合激活函数进行训练，得到 了比较满意的结果.(3)参数自适应调整参数自适应调整是使学习率和平滑因子等参数在训练过程中自适应的调整，以达到改进BP算法的目的.学习率的自适应技术分为全局学习率自适应和局部 学习率自适应。全局自适应技术对每个可调参数根据学习情况用同样的学习率改 变.Daricen Christian等提出了被称为“SearchThenconverge”的方法，这种方 法在训练期间逐步减小学习率;RSalomon用一种简单的进化策略来调节学习率，从某个开始，下一步更新通过增加和减小学习率去完成，产生比较好性能的一 个被用作下一步更新的起始点；在很多应用中，采用变步长的方法实现，下面是 此类方法广泛应用的公式：14第一节BP神经网络研究5()=S0(l-)(2/5)N M其中S0是初始步长；N是总的迭代次数；M是一个正数。这些皆属于全局学 习率自适应。局部自适应指的是对每个可调节参数采用独自的学习率，局部策略 用仅有的特定信息去修改权特定参数。如A.RobertJocobs的Delta-Bar-Delto方法 口通过观察指数平均梯度的符号变化来控制学习率。(4)改进误差函数该方法主要是对误差函数的表达式进行变化，以提高收敛的速率。Baun提 出的误差函数使得权值修正量AK中激发函数的导数项消失，在一定程度上消除 了网络的麻痹现象，加快了下降速度。223.2基于导数优化的方法与通常的梯度下降法不同,这类基于导数优化的算法不仅利用了目标函数的 一阶导数信息，而且往往利用了目标函数的二阶导数信息。这类算法包括牛顿法 4网、拟牛顿法阿、共匏梯度法心叫Levenberg-Manquardt法眸网等。这 些方法的主要不同在于如何选择下次的下降方向，一旦确定了下降方向，所有算 法只需沿相应直线朝极小点前进一步。牛顿法主要是在最优值附近产生一个理想 的搜索方向。李歧强同等由自适应BP算法和牛顿算法导出了自适应步长和动量 解耦的伪牛顿算法，徐嗣新等提出了前向网络的分段学习算法，该算法结合 了 BP算法和牛顿算法，从而提高收敛速度.由于牛顿法用到了 Hessian矩阵，常常计算复杂性较大，这是其不足之处。Levenberg-Manquardt法实际上是梯度 下降法和牛顿法的结合。它的优点在于网络权值数目较少时收敛非常迅速。梯度 下降法收敛较慢，拟牛顿法计算复杂，而共匏梯度法则力图避免两者的缺点。共 短梯度法的第一步是沿负梯度方向进行搜索，然后再沿当前搜索方向的共筑方向 搜索，从而可以迅速达到最优值。Charalambous提出了一种适合于BP学习的共 匏梯度法，将该方法与一种简单的不确定线性搜索相结合，可极大的提高收敛速 度。223.3基于非导数优化的方法实际上，没有一种基于梯度的下降算法可以保证在有限时间内找到复杂目标 的全局最优解。到目前为止所讨论的所有下降方法都是确定的，即它们都不可避 免地会收敛于最近的局部极小点。由于目标的复杂性，计算梯度非常耗时困难，因而可以采用随机或与导数无关的方法。此类方法主要包括遗传算法口心5】、模拟 退火、随机搜索方法以及下降单纯形方法等。他们只依赖于对目标函数的重复求 15第一苹BP神纾网络研究值运算，而且在每一次求值之后的搜索方向遵循某种启发式的思路，由于不采用 导数，这类方法比基于导数的优化方法速度慢，而且计算量大叫(1)遗传算法遗传算法是不严格地建立在自然选择和进化进程概念基础上的一种非导数 的随机优化方法 1975年首先由John Holland提出并研究。由于它是随机的，因此不太容易陷入局部极小点，同时GA的灵活性使得神经元网络模型中的结构 和参数辨识变得十分方便。遗传算法用于神经网络主要是用遗传算法学习神经网络的权重和学习神经 网络的拓扑结构，而最主要的是学习神经网络的权重，也就是用遗传算法来取代 一些传统的学习算法网3】。GA的主要组成部分包括编码方案、适应度计算、父代选择、交换算子和变 异算子(2)模拟退火算法一模拟退火算法是模拟金属退火过程的一种全局寻优算法。网络的可调节权值 等效于金属中的粒子，而网络的输出误差(代价函数)则等效于金属的能量状态。随机地取权值增量按如下原则判断是否接受新的权值调整：若A%使网络 的代价函数E(V)减小，则接受这个增量若A%使网络的代价函数E(%)增 力口，则按一定概率分布接受这个增量这实际上等效于给变量引入“噪声”，使网络有可能跳出代价函数的局部极小点，而向全局极小点收敛。(3)随机搜索回随机搜索以一种近乎随机的方式顺序搜索目标函数的参数空间，以便找到使 目标函数最小(或)最大的最优点除了与导数无关，随机搜索方法最显著的特 点在于其简单性，这使它易于理解并能很方便地应用于特定的应用领域此外，已经证明了，在紧集上，该方法能以概率1收敛到全局最优点。2.234网络结构的改变和生成的方法该方法是通过调整网络的结构来对BP算法进行改进。Fahlman提出了一种 新的学习结构称作为串联相关算法，该算法从最小网络开始，然后自动地训练