BP神经网络在电力系统负荷预报中的应用研究.docx

目 录目 录1摘要3ABSTRACT5前言6第一章 绪 论71.1 大脑神经细胞71.2 神经网络的学习81.3 本章小结8第二章 人工神经网络92.1 人工神经网络的研究历史92.2 人工神经网络的研究意义102.3 人工神经网络的能力特点122.4 人工神经网络模型122.5 本章小结13第三章 基于神经网络的系统辨识143.1 系统辨识的应用143.2 神经网络在系统辨识中的应用143.3 本章小结17第四章 反向传播(BP)网络及其学习算法184.1 BP 网络的结构184.2.1 BP网络学习算法194.2.2 BP网络学习算法的比较194.2.3 BP网络的学习规则204.3 BP网络设计技巧224.3.1输入和输出层的设计224.3.2隐层的设计224.4 BP网络的不足及改进234.5 本章小结23第五章 BP网络在电力负荷预报中的应用以及MATLAB的仿真245.1 BP网络在电力负荷预报中的应用245.1.1问题描述245.1.2输入 /输出向量设计245.2 基于BP网络电力负荷预测的MATLAB仿真265.2.1 BP网络设计265.2.2网络训练275.3 本章小结29结 论30附 录31参考文献33后 记34摘要电力负荷的值是随天气，日期等因素变化的，有较大的随机性，因此预测时有很强的非线性要求。目前的预测方法是统计技术和专家系统法，除了其各自得弊端外，其非线性远远不如于神经网络。神经网络的优点在于它具有模拟多变量而不需要对输入变量做复杂的相关假定的能力。他不依靠专家经验，只利用观察到的数据，可以从训练过程中通过学习来抽取和逼近隐含的输入/输出非线性关系。近年来的研究表明，相对于前两种方法，利用神经网络技术进行电力系统短期负荷预报可获得更高的精度，这里采用的是神经网络对电力负荷进行预测, 关键词：电力负荷预测；BP神经网络；非线性预测AbstractPower load value is with the weather, factors such as the date of the change, a greater randomness, So the forecast is a highly nonlinear requirements. The current forecast is a statistical technique and expert systems, in addition to its own drawbacks, nonlinear far worse in the neural network. Neural network is that it has advantages over simulation variables without the need to input variables so complicated the ability of the underlying assumptions. He did not rely on the experience of experts, using only observed data, from the training process of learning to take implicit approximation and the input / output nonlinear relationship. In recent years, the study shows, compared with the first two methods, using neural network technology for the power system short-term load forecasts will be more accurate, Here is the BP network of electricity load forecasting, BP neural network is the most extensive application of the grid, as it adopted a tutor of learning algorithm, very conducive to the realization of prediction function. BP actually can be seen as a nonlinear mapping, therefore, In the handling of non-linear prediction on the previous linear prediction method is the superiority of nature. Key words: Electric load forecast; BP nonlinear neural network; Neural networkprediction前言多年来，对线形非时变和具有不确定参数的系统进行辨识的研究已取得了很大的进展，但辨识系统模型结构的选择是建立在线形系统的理论基础之上的，对于复杂的非线性系统得辨识问题，一直未能很好地解决。由于神经网络所具有的非线性特性和学习能力在解决复杂的非线性、不确定、不确知系统与逆系统的辨识问题方面有很大的潜力，因此开辟了一条有效的途径。基于神经网络的系统辨识，就是用神经网络作为被辨识系统的正与逆模型、预测模型，因此，也可称之为神经网络建模。它们可实现对线形与非线性系统、静态与动态系统进行离线或在线辨识。本论文就是对于神经网络的系统辨识在非线性系统预测方面的应用。电力负荷预报在实时控制和保证电力系统经济、安全和可靠运行方面起着重要的作用，它已经成为电力系统中现代能量管理系统的一个主要组成部分，尤其是短期负荷预报对于系统运行和生产费用具有非常重大的影响。负荷预报的误差将导致运行和生产费用的剧增。因此，精确的预报对于电力部门和供电系统都有着重要的经济意义。因此，如何提高短期预报的精度就成了电力工作者和其他科技人员致力解决的问题。负荷预测对于电力系统控制、运行和计划都有着重要的意义。电力系统负荷变化受多方面影响，一方面，负荷变化存在着由未知不确定因素引起的随机波动；另一方面，又具有周期变化的规律，这也使得负荷曲线具有相似性。同时，受天气，节假日等特殊情况影响，又使负荷变化出现差异。由于神经网络所具有的较强的非线性映射等特性，它常被用于负荷预测。第一章 绪 论1.1 大脑神经细胞 神经细胞，即神经元，是脑的基本组成单位。构成人脑的神经细胞的数目约在1011（1000 亿）这个数量级（正负约 10 倍）。神经元的周围为胶质细胞。胶质细胞的数目很大，它们支持和滋养神经元。一个典型的神经元有一个细胞体，由细胞体发出一条较大的纤维，称为轴突，还发出一些纤维分支，称为树突。细胞体、树突和轴突构成了人脑中可以分辨神经网络的三个区。如图1-1所示,细胞体包含神经元的核和合成细胞生命所必要的酶及其它分子生物化学器。通常细胞体大约呈球形或锥体形。树突是精致的管状延伸物，它们常重复地分支，围绕细胞体形成灌木丛状，神经元在其上接收输入的信号。轴突从细胞体伸展出来，形成一条通路，信号能经过此通路从细胞体长距离地传达到脑和神经系统的其它部分。轴突在结构上及其外膜的性质方面都与树突不同。大多数轴突比树突长而细，且显示出不同的分枝模式，轴突的分枝倾向于在神经纤维终端处长出，在那里轴突与其它神经元进行通讯，而树突的分枝则倾向于群集在细胞体的附近。 图1-1 生物神经元图解 一般来说，树突和细胞体接受输入信号；细胞体联络和整合信号并发出输出信号，同时还负责细胞总的给养；轴突传输细胞体发出的输出信号到轴突末梢，轴突末梢把信号分发给一组新的神经元。每一神经元对从前面神经元传来而会聚到它上面的兴奋性和抑制性冲动加以整合。在经过多级的接替之后，神经轴突终止于腺细胞或肌细胞上，这就是神经系统的输出。 脑功能是依靠信息流经由神经元组成的复杂网络来完成的，信息是通过特殊的结合部即突触由一个细胞传递给另一个细胞。一个典型的神经元可能有1000-10000 个突触，能接收来自大约 1000 个其它神经元的信息。虽然突触通常是在一个细胞的轴突和另一个细胞的树突间形成的，但也存在另一些突触连接形式：轴突与轴突之间，树突与树突之间以及轴突与细胞体间的连接。轴突在突触处常扩大形成终点，后者是其信息传送部分。终点含有称为突触小泡的小球状结构，每个小泡能含有几千个分子的化学递质。当神经冲动到达终点时，一些突触小泡马上把它们的内含物释放到狭窄的间隙里，此间隙将终点与另一细胞的树突膜分开，此时突膜是用来接收化学信息的。所以信息是由化学递质从一个神经元传递给另一个神经元的。一个神经元的“发放（神经冲动的产生）”，反映出了数以百计的突触被来自其它神经元的冲击。一些突触是兴奋的，它们倾向于促进发放，而另一个突触是抑制性的，它们能抵消那些会使神经元兴奋而发放的信号。 简单说来，输入是人认识外部世界的唯一途径，输出是人对外部世界产生反应并对施加影响的唯一的途径。在输入与输出之间则进行操作，其中包括有知觉、情绪、记忆、思维及使人之所以成为人的其它操作。 1.2 神经网络的学习一般说来，感觉刺激信息并不局限于狭小的有界区域里。大部分的神经元均表现出不停的活动，每个细胞都对任意刺激的结果表现出发放模式的改变。每个神经元均有许多的突触与其它神经元连接，而且任何一个单独的突触连接也不能完全表现一项信息实体。每个神经元的发放模式是多元变量，除非它们集合成总体，否则单个细胞是不能对感觉刺激的特殊性质给出明确的答复。同时随着外界刺激性质的不同，也能形成和改变神经元之间的突触联系。 神经元间的突触联系，虽然在一定程度上，其基本的部分是先天就有的，但认为其它的部分是在出生后由于给予刺激而成长起来的。总之，在生长的初期阶段或学习阶段，对呈现的刺激模式的认识，只形成了一些突触联系，而这种突触联系对必要的特征提取是有用的。随着外界给予的刺激性质的不同，能形成和改变神经元之间的突触联系的现象，不仅发生在视区，在脑的其它区域也存在。一般认为越是高级的中枢，突触联系的这种可朔性越强。可以推测在脑中的记忆，恐怕也是由于从外部给以刺激，在神经元之间能形成新的突触联系，或者使原来就有的联系加强而形成的。由于外部给予刺激，形成和调整神经元间的突触联系，并逐渐改变而建成神经网络的现象，被称之为神经系统的自组织。 那么，神经网络的自组织到底是以怎样的机理进行的？即神经元之间的突触联系到底是遵循怎样的算法形成的呢？其中，由 Alkon 提出了一个有用的假设，他认为在突触形成的过程中，对于某个神经元来说，并不是其所有的突触权值均要进行修改，而只是局部地进行修改。他用极有说服力的实验结果证实了他的假设。这一假设给我们这样的提示，在人工神经网络的学习机制中，可以假定学习是分布式的在某些地方局部地进行。人工神经网络的理论研究的结果也证明，采用这种突触形成假设，可以有效的提高人工神经网络学习过程的速度。1.3 本章小结神经网络设计是对人脑的思维的模拟，是现代科学开发人脑功能的一门重要的科学，也是将来科学发展的主要方向，会影响到各个部门的发展，具有重要的意义。第二章 人工神经网络2.1 人工神经网络的研究历史人工神经网络系统是由大量的，同时也是很简单的处理单元（神经元）广泛地互相连接而形成的复杂的网络系统。它反映了人脑功能的许多基本特性，但它并不是人脑神经网络系统的真实写照，而只是对其作某种简化、抽象和模拟，这也是现实情况所能做到的，是目前神经网络研究的基本出发点。 人工神经网络的研究，始于上世纪四十年代，但它的发展并非是一帆风顺的，而是经历了一条曲折的道路，至今经历了兴起、萧条和兴盛三个时期。 早在 1943 年,心理学家 McClloch 和数学家 Pitts 在数学生物物理学会会刊Bulletin Of Mathematical Biophysics上发表文章,总结了生物神经元的一些基本生理特性,提出形式神经元的数学描述和结构方法,即 M-P 模型。M-P 模型的提出兴起了对人工神经网络的研究。 1949 年心理学家 D.O.Hebb 提出神经元之间突触联系强度可变的假设。他认为学习过程是在突触上发生的，突触的联系强度随其前后神经元的活动而变化。根据这一假设提出的学习率为人工神经网络的学习算法奠定了基础。50 年代末，Rosenblatt 提出感知机，第一次把人工神经网络的研究付诸工程实践。这是一种学习和自组织的心理学模型，它基本上符合神经生理学的知识，这种模型的机器有可能应用于模式识别、联想记忆等方面。因此，当时有上百家实验室纷纷投入这项研究，美国军方也投入巨额资金。当时人工神经网络在声纳信号识别等领域的应用取得了一定的成绩。 人们对人工神经网络的研究过于乐观，认为只要将这种神经元互连成一个网络，就可解决人脑思维的模拟问题，以后碰到了理论上和技术上的困难，加上其它因素的影响，使得对人工神经网络的研究进入了低潮。 60 年代，微电子技术的发展，使传统计算机的处理能力有很大提高，包括模式识别、机器人控制等，因而不必去寻找新的计算理论和实验方法。从而促使人们降低了对人工神经网络的研究热情，从而使人工神经网络的研究进入了萧条的时期。 70 年代后期，在人的智能行为机器再现上，由于传统的模型距离人类自身的真实模型较远，表现出了极大的局限性。同时，日本第五代计算机计划远未达到预想的水平，也倾向使人觉得有必要进一步弄清人们习以为常的认知功能是如何进行的，这些认知功能包括视、听觉感知，学习记忆，运动控制等，从而使人们认识到不能拘泥一格而必须开拓新的思路，探索新的人类智能实现途径。而在人类智能行为的研究方面，神经生理学家、心理学家与计算机科学家相互结合，他们共同认为人脑是一个功能十分强大，结构异常复杂的信息系统，但其基本还是神经元及其相互之间的连接，因而它可能成为智能机的良好样板。同时计算机科学工作者意识到传统的 Von Neumann 体系结构的局限性，转向数据流机和并行计算体系结构的研究，VLSI 技术、光电技术的发展也为人工神经网络的实现提供了很好的物资基础，人工神经网络的实现技术取得了很大的发展，使得人工神经网络在许多领域取得了成功。另外，脑科学与神经科学的研究成果迅速反映到人工神经网络的改进上，例如，视觉研究中发现的侧抑制原理，感受野的概念、听觉通道上神经元的自组织排列等，生物神经网络的研究成果对人工神经网络的研究起了重要的推动作用。所有这些原因重新引起了人们对人工神经网络的兴趣1。 学术界公认，标志人工神经网络研究高潮的又一次到来是美国加州理工学院生物物理学家 J.Hopfield 教授 1982 年和 1984 年发表在美国科学院院刊上的两篇文章。1982 年他提出了 Hopfield 神经网络模型，这种模型具有联想记忆的能力，他在这种人工神经网络模型的研究中，引人了能量函数（Lyapunov 函数），阐明了人工神经网络与动力学的关系，并用非线性动力学来研究这种人工神经网络的特性，建立了人工神经网络稳定性的判据，并指出信息存储在网络中神经元之间的连接上。1984 年他设计与研制了曾经提出的人工神经网络模型的电路，并指出网络中的每一神经元可以用运算放大器来实现，所有神经元的连接可以用电子线路来模拟，这一方案为人工神经网络的工程指明了方向。同时他也进行人工神经网络应用研究，成功解决了复杂度为 NP 的旅行商（TSP）计算难题，引起了人们的震惊。这些成果的取得又激发了越来越多的人投入到人工神经网络的研究中来，从而使人工神经网络的研究步入了兴盛期。 近些年来，人工神经网络被应用到了许多信息处理领域，如模式识别、自动控制、信号处理、辅助决策、人工智能等等。神经计算机的研究也为人工神经网络的理论研究和应用研究提供了强有力的支持。各大学、科研团体和公司如美国的IBM 公司、TI 公司、AT&T 贝尔实验室、TRW 公司、神经计算机公司、卡内基梅隆大学、MIT 林肯实验室、霍普金斯大学和加州大学等等，都积极开展人工神经网络的研究与开发，一方面对人工神经网络理论进一步深入探讨，另一方面研究各种类型的神经网络软件包，开发神经芯片和神经计算机。人工神经网络的各项研究都取得了长足的进展。 我国的 863 高科技术研究计划，于 1990 年批准了关于人工神经网络的三项课题，自然科学基金与国防科技预研基金也都把人工神经网络的研究列入选题指南。人工神经网络的产品及人工神经网络的实际应用也都在国民经济中取得了一定的效益。人工神经网络的研究在我国已经越来越深入到国防、科研、经济的各层次各方面：传感器信息处理、信号处理、自动控制、知识处理、市场分析、运输与通信、电子学、神经医学及其它。 2.2 人工神经网络的研究意义 人类当前所面临的重大科学技术研究任务之一是要揭示大脑的工作机制和人类智能的本质，制造具有完成人类智能活动能力的智能机器，开发智能应用技术。 智能信息处理的研究并不是始于今日的新鲜事物，这项研究可以从 50 年代人工智能的初创期说起，更早些可以到图灵自动机理论。从其研究历史来看，它主要沿着两条途径展开的：一条是基于心理学的符号处理方法（强调脑的功能模拟）；另一条是基于生理学的模式处理方法（即人工神经网络）。符号处理方法主要是用计算机模拟人脑的思维功能，重点研究的是机器的思维问题，解决问题的关键在于知识的表示、获取、存储和使用。 人工神经网络则采用自下而上的方法，从脑的神经系统结构出发来研究脑的功能，研究大量简单的神经元的集团信息处理能力极其动态行为。运用人工神经网络可以对那些时空信息存储及并行搜索、自组织相联存储、时空数据统计描述的自组织及一些相互关联的活动中自动获取知识等一般问题的求解，更显示出了其独特的能力，从而引起了智能研究者们的广泛关注，并普遍认为人工神经网络方法适合于低层次的模式处理。 符号处理与人工神经网络是一种互补的关系。人工神经网络的研究重点在于模拟和实现人的认知过程中的感知觉过程、形象思维、分布式记忆和自学习自组织过程。而符号处理则侧重于模拟人的思维，它的长处正好弥补了人工神经网络的不足。因此，人工神经网络与符号处理相结合，会使人们对人的认知过程有一个较全面的理解。 以人工神经网络研究为开端，整个学术界对计算的概念和作用有了新的认识和提高。计算不仅仅局限于数学中，更不仅采取逻辑的、离散的形式，在大量的物理现象以至生物学的对象中，进行各种各样的计算，而大量的运算表现在对模糊的低精度的模拟量的并行计算。人工神经网络的数学理论本质是非线性的数学理论，因此，现代非线性科学方面的进展必将推动人工神经网络的研究。同时，人工神经网络理论也会对非线性科学提出了新的课题。人工神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学习能力，特别适用于处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。主要应用领域有：语言识别、图象识别与理解、计算机视觉、智能机器人、故障检测、实时语言翻译、企业管理、市场分析、决策优化、物资调运、自适应控制、专家系统、智能接口、神经生理学、心理学和认知科学研究等等。 如 1990 年富士通公司宣布研制成功学习速度最快的神经计算机。它能在一瞬间学习并适应外部环境的变化，可用于高密度的安装和检查机械手。该计算机每秒能处理 5 亿次连接，它不需庞大的软件，能从过去的经验和数据中总结出规则，进行计算。本来需要很长的时间才能处理完的股票价格信息，现在利用它只要一分钟就能处理完毕。 同年 1 月日本电气公司宣布研制成功基于人工神经网络的人像识别计算机，它能存储 3500 个人的面部图像，并能在一瞬间对某个特定人像做出核对、判断。实践证明，该神经计算机仅需一秒钟就可从所记忆的 3500 个人像中找出要找的人。这种计算机除了在要害部门出入人员管理中发挥重要作用外，还可以用于海关人员入境管理和罪犯调查等。 人工神经网络在军事上的用途也极其广泛，如： （1）语言、图象信息的录取与处理； （2）雷达、声纳的多目标识别与追踪； （3）战场管理与决策支持系统； （4）军用机器人控制； （5）导弹的智能引导； （6）保密通信； （7）航天器的姿态控制 由于智能本质的复杂性，现代智能研究已超越传统的学科界限，成为神经科学、脑科学、心理学、认知科学、计算机科学乃至数理科学共同关心的“焦点” 科学。现在关于人工神经网络的研究，提出并行集团处理信息的原理、计算概念的推广以及层次网络系统中的几种学习算法，无疑在本质上是不同于传统的数字机的运算方式，也是朝着智能的本质前进了一大步。这种基础领域内的研究结果，已经开拓出神经计算机产业。目前，各国科学家在全世界范围内正组织力量加强研究和开拓人工神经网络的应用领域。 2.3 人工神经网络的能力特点 （1）并行分布处理: 人工神经网络具有高度的并行结构和并行实现能力，因而能够有较好的耐故障能力和较快的总体处理能力，这特别适于实时控制和动态控制。 （2）非线性映射: 人工神经网络具有固有的非线性特性，这源于其近似任意非线性映射（变换）能力，这一特性给非线性控制问题带来新的希望，本论文中的电力负荷预测就应用了BP神经网络的非线性的特性。 （3）通过训练进行学习: 人工神经网络是通过所研究系统过去的数据记录进行训练的。一个经过适当训练的人工神经网络具有归纳全部数据的能力，因此，人工神经网络能够解决那些由数学模型或描述规则难以处理的控制过程问题。 （4）适应与集成:人工神经网络能够适应在线运行，并能同时进行定量和定性操作。人工神经网络的强适应和信息熔合能力使得网络过程可以同时输入大量不同的控制信号，解决输入信息间的互补和冗余问题，并实现信息集成和熔合处理，这些特性特别适于复杂、大规模和多变量系统的控制。 （5）硬件实现:人工神经网络不仅能够通过软件而且可借助硬件实现并行处理。近年来，一些超大规模集成电路实现硬件已经问世，而且可从市场上购到，这使得人工神经网络具有快速和大规模处理能力的实现网络。2.4 人工神经网络模型迄今为止，人们已提出了 30 多种人工神经网络模型，在这些模型中，常用的模型约有如下几种： （1）自适应谐振理论(ART)：由 Grossberg 提出的，是一个根据可选参数对输入数据进行粗略分类的网络。ART-1 用于二值输入，而 ART-2 用于连续值输入。ART的不足之处在于过份敏感，输入有小的变化时，输出变化很大。 （2）双向联想存储器(BAM)：由 Kosko 开发的，是一种单状态互连网络，具有学习能力。BAM 的缺点为存储密度较低，且易于振荡。 （3）Boltzmann 机(BM) ：由 Hinton 等提出的，是建立在 Hopfield 网基础上的，具有学习能力，能够通过一个模拟退火过程寻求解答。不过，其训练时间比 BP 网络要长。 （4）反向传播(BP)网络：反向传播训练算法是一种迭代梯度算法，用于求解前馈网络的实际输出与期望输出间的最小均方差值。BP 网是一种反向传递并能修正误差的多层映射网络。当参数适当时，此网络能够收敛到较小的均方差，是目前应用最广的网络之一。BP 网的短处是训练时间较长，且易陷于局部极小。 （5）对流传播网络(CPN)：由 Hecht-Nielson 提出的，是一个通常由五层组成的连接网。CPN 可用于联想存储，其缺点是要求较多的处理单元。 （6）Hopfield 网 ：由 Hopfield 提出的，是一类不具有学习能力的单层自联想网络。Hopfield 网模型由一组可使某个能量函数最小的微分方程组成。其短处为计算代价较高，而且需要对称连接。 （7）Madaline 算法：是 Adaline 算法的一种发展，是一组具有最小均方差线性网络的组合，能够调整权值使得期望信号与输出间的误差最小。此算法是自适应信号处理和自适应控制的得力工具，具有较强的学习能力，但是输入输出之间必须满足线性关系。 （8）认知机(Neocogntion)：由 Fukushima 提出的，是至今为止结构上最为复杂的多层网络。通过无师学习，认知机具有选择能力，对样品的平移和旋转不敏感。不过，认知机所用节点及其互连较多，参数也多且较难选取。 （9）感知器（Perceptron）：由 Rosenblatt 开发的，是一组可训练的分类器，为最古老的 ANN 之一，现已很少使用。 （10）自组织映射网(SOM)：由 Kohonen 提出的，是以神经元自行组织以校正各种具体模式的概念为基础的。SOM 能够形成簇与簇之间的连续映射，起到矢量量化器的作用2 。2.5 本章小结由本章可看出，神经网络应用广泛，有很多其他模型所不具备的特点。上面所介绍众多的神经网络的模型，对神经网络应用的关键是能够正确地选取适合的神经模型，对所要处理的过程进行模拟，否则不仅不能发挥神经网络的优越性，还会影响网络输出的功能，而神经网络的优点不仅仅是上述这些，目前，各国科学家在全世界范围内正组织力量加强研究和开拓人工神经网络的应用领域。 第三章 基于神经网络的系统辨识3.1 系统辨识的应用系统辨识（Identification）在工业方面有着广泛的应用，可归结为以下几个方面：（1）控制系统的分析和设计由辨识所得的被控对象模型可作为改进的依据用于分析已有控制系统，也可用于控制系统的设计。（2）在实时控制系统中，系统辨识器作为被控对象的模型，可由其不断地调整控制器参数，以获得比较好的控制结果，如自校正、模型参考自适应控制等。（3）有的控制结构，如内模控制、自适应控制等，用系统的逆模型作为控制器，因此需建立系统的逆模型，并对其进行辨识。（4）预测、预报在模型结构确定的情况下，建立识辨模型并预测其参数，以实现系统参数的预测、预报。（5）监视系统运行状态，进行故障诊断由系统运行的状态信息可推测系统动态特性的变化，判断运行是否正常，若有故障，可判断故障位置、状况等。多年来，对线形、非时变和具有不确定参数的系统进行辨识的研究已取得了很大的进展，但辨识系统模型结构的选择是建立在线形系统的理论基础之上的，对于复杂的非线性系统得辨识问题，一直未能很好地解决。由于神经网络所具有的非线性特性和学习能力在解决复杂的非线性、不确定、不确知系统与逆系统的辨识问题方面有很大的潜力，因此开辟了一条有效的途径3。基于神经网络的系统辨识，就是用神经网络作为被辨识系统的正与逆模型、预测模型，因此，也可称之为神经网络建模。它们可实现对线形与非线性系统、静态与动态系统进行离线或在线辨识。3.2 神经网络在系统辨识中的应用神经网络应用于系统辨识的理论基础是函数逼近论。我们不加证明地引用函数逼近论中应用最广泛的Weierstrass定理，设Pn为全体多项式的集合，C(a,b)是定义在闭区间a,b上的实值连续函数空间，具有范数 (3-1)则称Pn在Ca,b中是稠密的。Weierstrass定理告诉我们，当满足上述定理条件时，C(a,b)中的任何函数可被多项式以任意精度逼近。它在用多项式估计连续函数：RnRm的问题中(例如模式识别)得到了广泛的应用。Stone-Weierstrass定理是Weierstrass定理的推广，Stone-Weierstrass定理的条件是设是一个紧度量空间。若是C(,R)的子代数，它包含常值函数和中的分离点，那么称在C(,R)中是稠密的。Stone-Weierstrass定理在动态系统的辨识中具有重要的理论价值。事实上，如果我们设系统的输入空间为m，输出空间为g，实际系统则可表示为一个从输入空间到输出空间的算子P：mg。给定一个模型类，设P，则辨识的目的就是确定一个的子集类，使其中存在，且在给定的准则下，为P的一个最佳逼近。算子是由给定的系统输入/输出数据之中，而辨识只不过是利用数学的方法从这些数据序列中提炼出系统P的数学模型而已，即确定，使下式成立： 对任意m (3-2)其中0可预先由辨识准则给定，是空间g上的某一个范数，和分别是系统和模型对于的输出响应。定义，则通过辨识确定，使得成立。神经网络用于系统辨识和建模的实质就是选择一适当的神经网络模型来逼近实际系统，即为神经网络模型类，为一个神经网络。在实际应用中，可以取为由多层网络组成的模型类，可以取为一个能充分逼近实际系统而不过分复杂的多层模型。Hecht-Nielsen证明了一个具有足够多隐含层节点的三层BP神经网络可以以任意精度逼近一个非线性函数。这就为基于神经网络的系统辨识提供了坚实的理论基础。由于神经网络所具有的强大逼近能力和无需被逼近对象先验知识等特点，而在系统辨识特别是非线性系统辨识方面显示出独特的优势。一般来说，神经网络用于系统辨识的方式主要有两种，即串并联(Series-parallel)方式和并联(Parallel)方式。它们的基本结构分别如图3-1(a)、(b)所示。 辨识对象神经 网络（a） 串并联方式辨识对象神经 网络(b) 并联方式图3-1 神经网络Series-parallel和Parallel辨识方式对于时不变系统，其神经网络的辨识数学模型具有下列形式： （3-3） （3-4）其中和为模型参数。并联模型的输出值是它的n个过去值和m个输入值的线性组合，而串并联模型的输出值是由被辨识系统的输入和输出的线性组合而成的。串并联方式因为有一定的辨识稳定性而在静态网络(如BP神经网络)的辨识中被广泛采用。但是采用串并联辨识方式必须事先已知被辨识对象的阶次或者其上界，而且采用这种辨识方式的神经网络事实上只能做到一步超前预估，无法独立于被辨识对象运行。递归神经网络(recurrent neural networks)由于具有可以储存内部状态的神经元和权值而在动态系统辨识中开始受到普遍重视。递归神经网络用于辨识的主要优点在于不需要明确知道被辨识对象的输入输出阶次，这是因为递归网络本身就是一个动态系统，其内部存在着反馈联接。递归神经网络可以分为全递归网络(Fully Recurrent Neural Networks)，例如，Hopfield网络，以及部分递归网络(Globally Feedforward Locally Recurrent Neural Networks)，例如Elman网络。全递归网络比部分递归网络具有更好的动态特性。但是，由于全递归网络收敛速度慢，学习过程中易产生不稳定现象，因此，很少在实际中应用。神经网络用于系统辨识需要着重解决以下几个问题：(1)模型的选择。由于神经网络是一个通用函数逼近器(function approximator)，对于非线性被辨识系统，不需要其关于结构的太多先验信息。但是对于神经网络本身，则需要设计者根据实际情况选择网络的类型、层数、节点函数、输入层、输出层、中间层的节点数目等。而这些参数的确定目前尚无解析的表达形式，只能依据个人经验完成。(2)辨识误差准则的选取。误差准则是用来衡量模型接近实际系统的标准，它通常表示为某一个误差的泛函，记作，其中是e(k)的函数，e(k)是定义区间(0，L)上的误差函数。这个误差函数应广义地理解为模型与实际系统的误差。为了便于神经网络的学习，我们通常选取为e(k)的平方形式函数，即。 (3)辨识算法的选取。神经网络用于系统辨识的辨识算法实质上就是神经网络的权值学习算法。一般有梯度下降法、牛顿法、共轭梯度法等。但是根据被辨识系统的不同，其学习算法也应作相应的改进。例如，对于贯序输入输出辨识数据就必须将原有的非递推形式学习算法改为递推形式的；对于动态系统辨识需要研究神经网络的动态学习算法；为了满足在线辨识对实时性的要求，需要研究神经网络的快速学习算法等。3.3 本章小结本章主要介绍了基于神经网络的系统辨识，神经网络的非线性特性大大的提高了辨识系统的性能，本章的第二节介绍了有关辨识系统的一些函数基础。另外介绍了神经网络Series-parallel和Parallel辨识方式，并对其进行了比较。第四章 反向传播(BP)网络及其学习算法4.1 BP 网络的结构BP 网络是 Rumelhart 等人于 1986 年提出来的一种多层前馈神经网络，名字源于网络权值的调整规则采用的是后向传播学习方法，即BP学习算法。BP神经网络获得了广泛的实际应用，据统计，80%-90%的神经网络模型采用了BP网络或者它的变化形式，BP网络是前向网络的核心部分，体现了神经网络中最精华最完美的内容。BP网络是一种单向传播的多层前向网络，其结构如图4-1所示。由图可见，BP网络是一种具有三层或三层以上的神经网络，包括输入层、中间层（隐层）和输出层。上下层之间实现全连接，而每层神经元之间无连接。当一对学习样本共给网络后，神经元的激活值从输入层经中间层向输出层传播，在输出层的各神经元获得网络的输入响应。接下来，按照减少目标输出与实际误差的方向，从输出层经过各中间层逐层修正各连接权值，最后回到输入层，这种算法称为“误差逆传播算法”，即BP算法。随着这种误差逆的传播修正不断进行，网络对输入模式响应的正确率也不断上升。与感知器模型不同的是，BP网络的传递函数要求必须是可微的，所以不能使用感知器网络中的二值函数，常用的有Sigmoid型的对数、正切函数或线性函数。由于传递函数是处处可微的，所以对于BP网络来说，一方面，所花分的区域不再是一个线性划分，而是一个非线性超平面组成的区域，它是比较平滑的曲面，因而它的分类比线性划分更加精确，容错性也比线性划分的好。另一方面，网络可以严格采用梯度下降法进行学习，权值修正的解析式十分明确。图4-1 BP神经网络结构图中 间 层输 出 层输 入 层4.2 BP网络学习4.2.1 BP网络学习算法下面介绍几种常用的BP网络学习算法：（1）最速下降BP算法在MATLAB神经网络工具箱中，采用最速下降BP算法的训练函数为traingd。（2）动量BP算法在MATLAB神经网络工具箱中，采用动量BP算法的训练函数为traingdm。（3）学习率可变的BP算法采用学习率可变的最速下降BP算法的训练函数为traingda；采用学习率可变的动量BP算法的训练函数为traingd