B神经网络-(2)ppt课件.ppt

BP人工神人工神经网网络Back-propagationArtificialNeuralNetworks2024/3/17 周日1.张凌凌数数计学院学院联系系电话：[phone]Email：2024/3/17 周日2.主要参考主要参考书目目1、Philip D.Wasserman，Neural Computing:TheoryandPractice，VanNostrandReinhold，19892、胡胡守守仁仁、余余少少波波、戴戴葵葵，神神经网网络导论，国防科技大学出版社，国防科技大学出版社，1993年年10月月3、杨行行峻峻、郑君君里里，人人工工神神经网网络，高高等等教教育出版社，育出版社，1992年年9月月4、闻新、周露、王丹力、熊新、周露、王丹力、熊晓英，英，MATLABMATLAB神神经网网络应用用设计，科学出版社，科学出版社，2001.5.2001.5.2024/3/17 周日3.课程目的和基本要求程目的和基本要求 作作为人工神人工神经网网络的入的入门课程，用于将学程，用于将学生引入人工神生引入人工神经网网络及其及其应用的研究用的研究领域。域。介介绍BPBP人工神人工神经网网络及其基本网及其基本网络模型，模型，使学生了解智能系使学生了解智能系统描述的基本模型描述的基本模型掌握人工神掌握人工神经网网络的基本概念、的基本概念、单层网、多网、多层网、网、循循环网等各种基本网网等各种基本网络模型的模型的结构、特点、典构、特点、典型型训练算法、运行方式、典型算法、运行方式、典型问题掌握掌握软件件实现方法。方法。2024/3/17 周日4.课程目的和基本要求程目的和基本要求 了解了解BPBP人工神人工神经网网络的有关研究思想，从中的有关研究思想，从中学学习开拓者开拓者们的部分的部分问题求解方法。求解方法。通通过实验进一步体会有关模型的用法和性一步体会有关模型的用法和性能，能，获取一些初步的取一些初步的经验。查阅适当的参考文献，将所学的知适当的参考文献，将所学的知识与自与自己未来研究己未来研究课题相相结合起来，达到既丰富合起来，达到既丰富学学习内容，又有一定的研究和内容，又有一定的研究和应用的目的。用的目的。2024/3/17 周日5.主要内容主要内容 基于基于Matlab的的BP神神经网网络设计与与应用用 BPBP（BackpropagationBackpropagation）网）网络的构成及其的构成及其训练过程；程；隐藏藏层权调整方法的直整方法的直观分析，分析，BPBP训练算法中使用的算法中使用的DeltaDelta规则（最速下降（最速下降法）的理法）的理论推推导；算法的收；算法的收敛速度及其改速度及其改进讨论；BPBP网网络中的几个重要中的几个重要问题。实验：实现BP算法。算法。2024/3/17 周日6.引言引言1人工神人工神经网网络的提出的提出2人工神人工神经网网络的特点的特点3历史回史回顾2024/3/17 周日7.第第1章章引言引言 人人类对人人工工智智能能的的研研究究可可以以分分成成两两种种方方式式对应着着两种不同的技两种不同的技术：传统的人工智能技的人工智能技术:心理的角度模心理的角度模拟基于人工神基于人工神经网网络的技的技术:生理的角度模生理的角度模拟2024/3/17 周日8.人工神人工神经网网络的提出的提出 人工神人工神经网网络（ArtificialNeuralNetworks，简记作作ANN），是），是对人人类大大脑系系统的一的一阶特性的一种描述。特性的一种描述。简单地地讲，它是一个，它是一个数学模型数学模型，可以用，可以用电子子线路路来来实现，也可，也可以用以用计算机程序算机程序来模来模拟，是人工智能研究，是人工智能研究的一种方法。的一种方法。2024/3/17 周日9.人工神人工神经网网络的提出的提出智能与人工智能智能与人工智能 一、一、智能的含智能的含义智能是个体有目的的行智能是个体有目的的行为，合理的思，合理的思维，以，以及有效的、适及有效的、适应环境的境的综合能力合能力。智能是个体智能是个体认识客客观事物和运用知事物和运用知识解决解决问题的能力的能力。人人类个体的智能是一种个体的智能是一种综合能力。合能力。2024/3/17 周日10.人工神人工神经网网络的提出的提出智能可以包含智能可以包含8个方面个方面感知与感知与认识客客观事物、客事物、客观世界和自我的能力世界和自我的能力感知是智能的基感知是智能的基础最基本的能力最基本的能力通通过学学习取得取得经验与与积累知累知识的能力的能力这是人是人类在世界中能在世界中能够不断不断发展的最基本能力。展的最基本能力。理解知理解知识，运用知，运用知识和和经验分析、解决分析、解决问题的能力的能力这一一能能力力可可以以算算作作是是智智能能的的高高级形形式式。是是人人类对世世界界进行适当的改造，推行适当的改造，推动社会不断社会不断发展的基本能力。展的基本能力。2024/3/17 周日11.人工神人工神经网网络的提出的提出联想、推理、判断、决策想、推理、判断、决策语言的能力言的能力这是智能的高是智能的高级形式的又一方面。形式的又一方面。预测和和认识主主动和被和被动之分。之分。联想、推理、判断、决策的能想、推理、判断、决策的能力是主力是主动的基的基础。运用运用进行抽象、概括的能力行抽象、概括的能力上述上述这5 5种能力，被种能力，被认为是人是人类智能最智能最为基本基本的能力的能力2024/3/17 周日12.1.1人工神人工神经网网络的提出的提出作作为5 5种能力种能力综合表合表现形式的形式的3 3种能力种能力发现、发明、明、创造、造、创新的能力新的能力 实时、迅速、合理地、迅速、合理地应付复付复杂环境的能力境的能力 预测、洞察事物、洞察事物发展、展、变化的能力化的能力 2024/3/17 周日13.人工神人工神经网网络的提出的提出二、人工智能二、人工智能人工智能：研究如何使人工智能：研究如何使类似似计算机算机这样的的设备去去模模拟人人类的的这些能力。些能力。研究人工智能的目的研究人工智能的目的增加人增加人类探索世界，推探索世界，推动社会前社会前进的能力的能力进一步一步认识自己自己三大学三大学术流派流派符号主符号主义（或叫做符号（或叫做符号/逻辑主主义）学派）学派联接主接主义（或者叫做（或者叫做PDP）学派）学派进化主化主义（或者叫做行（或者叫做行动/响响应）学派）学派2024/3/17 周日14.人工神人工神经网网络的提出的提出物理符号系物理符号系统 人人脑的反映的反映形式化形式化现实信息信息数据数据物理系物理系统物理符号系物理符号系统表表现智能智能2024/3/17 周日15.人工神人工神经网网络的提出的提出 Newell Newell和和SimonSimon假假说 ：一个物理系：一个物理系统表表现智智能行能行为的充要条件是它有一个物理符号系的充要条件是它有一个物理符号系统 概念：物理符号系概念：物理符号系统需要有一需要有一组称称为符号符号的的实体体组成，它成，它们都是物理模型，可以在都是物理模型，可以在另一另一类称称为符号符号结构的构的实体中作体中作为成分出成分出现，以构成更高，以构成更高级别的系的系统 2024/3/17 周日16.人工神人工神经网网络的提出的提出困困难：抽象抽象:舍弃一些特性，同舍弃一些特性，同时保留一些特性保留一些特性形形式式化化处理理:用用物物理理符符号号及及相相应规则表表达达物物理理系系统的存在和运行。的存在和运行。局限：局限：对全局性判断、模糊信息全局性判断、模糊信息处理、多粒度的理、多粒度的视觉信信息息处理等是非常困理等是非常困难的。的。2024/3/17 周日17.人工神人工神经网网络的提出的提出联接主接主义观点点 核心：智能的本核心：智能的本质是是联接机制。接机制。神神经网网络是一个由大量是一个由大量简单的的处理理单元元组成的高度复成的高度复杂的大的大规模非模非线性自适性自适应系系统 ANNANN力求从四个方面去模力求从四个方面去模拟人人脑的智能行的智能行为物理物理结构构 计算模算模拟 存存储与操作与操作 训练 2024/3/17 周日18.人工神人工神经网网络的提出的提出两种模型的比两种模型的比较心理心理过程程逻辑思思维高高级形式（思形式（思维的表象）的表象）生理生理过程程形象思形象思维低低级形式（思形式（思维的根本）的根本）仿生仿生人工神人工神经网网络联结主主义观点点物理符号系物理符号系统2024/3/17 周日19.人工神人工神经网网络的提出的提出物理符号系物理符号系统和人工神和人工神经网网络系系统的差的差别 项目目物理符号系物理符号系统人工神人工神经网网络处理方式理方式逻辑运算运算模模拟运算运算执行方式行方式串行串行并行并行动作作离散离散连续存存储局部集中局部集中全局分布全局分布2024/3/17 周日20.人工神人工神经网网络的提出的提出两种人工智能技两种人工智能技术的比的比较项目目传统的的AIAI技技术 ANN技技术 基本基本实现方式方式串行串行处理；由程序理；由程序实现控制控制并行并行处理；理；对样本数据本数据进行多目行多目标学学习；通通过人工神人工神经元之元之间的相互作用的相互作用实现控制控制基基本本开开发方法方法设计规则、框框架架、程程序序；用用样本本数数据据进行行调试（由由人人根根据据已已知知的的环境境去构造一个模型）去构造一个模型）定定义人工神人工神经网网络的的结构原型，通构原型，通过样本本数据，依据基本的学数据，依据基本的学习算法完成学算法完成学习自自动从从样本数据中抽取内涵（自本数据中抽取内涵（自动适适应应用用环境）境）适适应领域域 精精确确计算算：符符号号处理理，数数值计算算非精确非精确计算：模算：模拟处理，感理，感觉，大，大规模数模数据并行据并行处理理模模拟对象象 左左脑（逻辑思思维）右右脑（形象思（形象思维）2024/3/17 周日21.人工神人工神经网网络的特点的特点信息的分布表示信息的分布表示运算的全局并行和局部操作运算的全局并行和局部操作处理的非理的非线性性 2024/3/17 周日22.人工神人工神经网网络的概念的概念1、定、定义 1）HechtNielsen（1988年）年）人工神人工神经网网络是一个并行、分布是一个并行、分布处理理结构，它由构，它由处理理单元及其称元及其称为联接的无向接的无向讯号通道互号通道互连而成。而成。这些些处理理单元（元（PEProcessingElement）具有局）具有局部内存，并可以完成局部操作。每个部内存，并可以完成局部操作。每个处理理单元有元有一个一个单一的一的输出出联接，接，这个个输出可以根据需要被出可以根据需要被分枝成希望个数的分枝成希望个数的许多并行多并行联接，且接，且这些并行些并行联接都接都输出相同的信号，即相出相同的信号，即相应处理理单元的信号，元的信号，信号的大小不因分支的多少而信号的大小不因分支的多少而变化。化。2024/3/17 周日23.人工神人工神经网网络的概念的概念（1）HechtNielsen（1988年）（年）（续）处理理单元的元的输出信号可以是任何需要的出信号可以是任何需要的数学模型，每个数学模型，每个处理理单元中元中进行的操行的操作必作必须是完全局部的。也就是是完全局部的。也就是说，它，它必必须仅仅依依赖于于经过输入入联接到达接到达处理理单元的所有元的所有输入信号的当前入信号的当前值和存和存储在在处理理单元局部内存中的元局部内存中的值。2024/3/17 周日24.人工神人工神经网网络的概念的概念强调：并行、分布并行、分布处理理结构；构；一一个个处理理单元元的的输出出可可以以被被任任意意分分枝枝，且且大大小不小不变；输出信号可以是任意的数学模型；出信号可以是任意的数学模型；处理理单元完全的局部操作元完全的局部操作 2024/3/17 周日25.人工神人工神经网网络的概念的概念（2）Rumellhart，McClelland，Hinton的的PDP 1）一一组处理理单元（元（PE或或AN）；）；2）处理理单元的激活状元的激活状态（ai）；）；3）每个每个处理理单元的元的输出函数（出函数（fi）；）；4）处理理单元之元之间的的联接模式；接模式；5）传递规则（wijoi）；）；6）把把处理理单元元的的输入入及及当当前前状状态结合合起起来来产生生激激活活值的激活的激活规则（Fi）；）；7）通通过经验修改修改联接接强度的学度的学习规则；8）系系统运行的运行的环境（境（样本集合）。本集合）。2024/3/17 周日26.人工神人工神经网网络的概念的概念（3）Simpson（1987年）年）人工神人工神经网网络是一个非是一个非线性的有向性的有向图，图中中含有可以通含有可以通过改改变权大小来存放模式的加大小来存放模式的加权边，并且可以从不完整的或未知的，并且可以从不完整的或未知的输入入找到模式。找到模式。2024/3/17 周日27.人工神人工神经网网络的概念的概念2、关、关键点点（1 1）信息的分布表示信息的分布表示（2 2）运算的全局并行与局部操作运算的全局并行与局部操作（3 3）处理的非理的非线性特征性特征3、对大大脑基本特征的模基本特征的模拟1）形式上：神形式上：神经元及其元及其联接；接；BN对AN2）表表现特征：信息的存特征：信息的存储与与处理理2024/3/17 周日28.人工神人工神经网网络的概念的概念4、别名名人工神人工神经系系统（ANS）神神经网网络（NN）自自适适应系系统（AdaptiveSystems）、自自适适应网（网（AdaptiveNetworks）联接模型（接模型（Connectionism）神神经计算机（算机（Neurocomputer）2024/3/17 周日29.人工神人工神经元的基本构成元的基本构成 人工神人工神经元模元模拟生物神生物神经元的元的一一阶特性特性。输入：入：X=（x1，x2，xn）联接接权：W=（w1，w2，wn）T网网络输入：入：net=xiwi向量形式：向量形式：net=XWxnwnx1w1x2w2net=XW2024/3/17 周日30.激活函数激活函数(ActivationFunction)激激活活函函数数执行行对该神神经元元所所获得得的的网网络输入入的的变换，也也可可以以称称为激激励励函函数数、活活化化函函数数：o=f（net）1、线性函数（性函数（LinerFunction）f（net）=k*net+c netooc2024/3/17 周日31.2、非、非线性斜面函数性斜面函数(RampFunction)ifnetf（net）=k*netif|net|0为一常数，被称一常数，被称为饱和和值，为该神神经元的元的最大最大输出。出。2024/3/17 周日32.2、非、非线性斜面函数（性斜面函数（RampFunction）-neto2024/3/17 周日33.3、阈值函数（函数（ThresholdFunction）阶跃函数函数ifnetf（net）=-ifnet、均均为非非负实数，数，为阈值二二值形式：形式：1ifnetf（net）=0ifnet双极形式：双极形式：1ifnetf（net）=-1ifnet 2024/3/17 周日34.3、阈值函数（函数（ThresholdFunction）阶跃函数函数-onet02024/3/17 周日35.4、S形函数形函数 压缩函函数数（SquashingFunction）和和逻辑斯斯特函数（特函数（LogisticFunction）。）。f（net）=a+b/(1+exp(-d*net)a，b，d为常数。它的常数。它的饱和和值为a和和a+b。最最简单形式形式为：f（net）=1/(1+exp(-d*net)函数的函数的饱和和值为0和和1。S形函数有形函数有较好的增益控制好的增益控制 2024/3/17 周日36.4、S形函数形函数 a+bo(0,c)netac=a+b/22024/3/17 周日37.课内容回内容回顾生物神生物神经网网六个基本特征六个基本特征神神经元元及及其其联接接、信信号号传递、训练、刺刺激激与与抑抑制制、累累积效果效果、阈值。人工神人工神经元的基本构成元的基本构成xnwnx1w1x2w2net=XW2024/3/17 周日38.上次上次课内容回内容回顾激活函数与激活函数与M-P模型模型 线性函数、非性函数、非线性斜面函数、性斜面函数、阈值函数函数S形函数形函数 M-P模型模型x2w2fo=f（net）xnwnnet=XWx1w12024/3/17 周日39.简单单级网网x1x2xno1o2omwnmw11w1mw2mwn1输出出层输入入层2024/3/17 周日40.简单单级网网W=（wij）输出出层的的第第j个个神神经元元的的网网络输入入记为netj：netj=x1w1j+x2w2j+xnwnj其中其中,1jm。取。取NET=（net1，net2，netm）NET=XWO=F（NET）2024/3/17 周日41.单级横向反横向反馈网网输出出层x1o1w11w1mx2o2w2mxnomwn1输入入层V2024/3/17 周日42.单级横向反横向反馈网网 V=（vij）NET=XW+OVO=F（NET）时间参数参数神神经元的状元的状态在主在主时钟的控制下同步的控制下同步变化化考考虑X总加在网上的情况加在网上的情况NET（t+1）=X（t）W+O（t）VO(t+1)=F(NET(t+1)O（0）=0考考虑仅在在t=0时加加X的情况。的情况。稳定性判定定性判定2024/3/17 周日43.多多级网网输出出层隐藏藏层输入入层o1o2omx1x2xn2024/3/17 周日44.层次划分次划分 信号只被允信号只被允许从从较低低层流向流向较高高层。层号号确确定定层的的高高低低：层号号较小小者者，层次次较低，低，层号号较大者，大者，层次次较高。高。输入入层：被被记作作第第0层。该层负责接接收收来来自自网网络外部的信息外部的信息输出出层隐藏藏层输入入层o1o2omx1x2xn2024/3/17 周日45.第第j层：第第j-1层的的直直接接后后继层（j0），它它直直接接接接受第受第j-1层的的输出。出。输出出层：它它是是网网络的的最最后后一一层，具具有有该网网络的的最大最大层号，号，负责输出网出网络的的计算算结果。果。隐藏藏层：除：除输入入层和和输出出层以外的其它各以外的其它各层叫叫隐藏藏层。隐藏藏层不直接接受外界的信号，也不不直接接受外界的信号，也不直接向外界直接向外界发送信号送信号输出出层隐藏藏层输入入层o1o2omx1x2xn2024/3/17 周日46.约定定:输出出层的的层号号为该网网络的的层数数：n层网网络，或或n级网网络。第第j-1层到到第第j层的的联接接矩矩阵为第第j层联接接矩矩阵，输出出层对应的的矩矩阵叫叫输出出层联接接矩矩阵。今今后后，在在需需要要的的时候，一般我候，一般我们用用W（j）表示第表示第j层矩矩阵。输出出层隐藏藏层输入入层o1o2omx1x2xnW(1)W(2)W(3)W(h)2024/3/17 周日47.多多级网网层网网络输出出层隐藏藏层输入入层o1o2omx1x2xnW(1)W(2)W(3)W(h)2024/3/17 周日48.多多级网网非非线性激活函数性激活函数 F(X)=kX+CF3(F2(F1(XW(1)W(2)W(3)2024/3/17 周日49.循循环网网x1o1输出出层隐藏藏层输入入层x2o2omxn2024/3/17 周日50.循循环网网 如如果果将将输出出信信号号反反馈到到输入入端端,就就可可构构成成一一个个多多层的的循循环网网络。输入的原始信号被逐步地加入的原始信号被逐步地加强、被修复。、被修复。大大脑的的短短期期记忆特特征征:看看到到的的东西西不不是是一一下下子子就就从从脑海里消失的。海里消失的。稳定定：反：反馈信号会引起网信号会引起网络输出的不断出的不断变化。我化。我们希望希望这种种变化逐化逐渐减小，并且最后能消失。当减小，并且最后能消失。当变化最后消失化最后消失时，网，网络达到了平衡状达到了平衡状态。如果。如果这种种变化不能消失，化不能消失，则称称该网网络是不是不稳定的。定的。2024/3/17 周日51.人工神人工神经网网络的的训练 人人工工神神经网网络最最具具有有吸吸引引力力的的特特点点是是它它的的学学习能力。能力。1962年年，Rosenblatt给出出了了人人工工神神经网网络著著名名的的学学习定定理理：人人工工神神经网网络可可以以学学会会它它可可以表达的任何以表达的任何东西。西。人人工工神神经网网络的的表表达达能能力力大大大大地地限限制制了了它它的的学学习能力。能力。人人工工神神经网网络的的学学习过程程就就是是对它它的的训练过程程2024/3/17 周日52.无无导师学学习 无无导师学学习(UnsupervisedLearning)与无与无导师训练(UnsupervisedTraining)相相对应 抽抽取取样本本集集合合中中蕴含含的的统计特特性性，并并以以神神经元之元之间的的联接接权的形式存于网的形式存于网络中。中。2024/3/17 周日53.有有导师学学习 有有导师学学习(Supervised Learning)与与有有导师训练(SupervisedTraining)相相对应。输入向量与其入向量与其对应的的输出向量构成一出向量构成一训练。有有导师学学习的的训练算法的主要步算法的主要步骤包括：包括：1）从从样本集合中取一个本集合中取一个样本（本（Ai，Bi）；）；2）计算出网算出网络的的实际输出出O；3）求求D=Bi-O；4）根据根据D调整整权矩矩阵W；5 5）对每每个个样本本重重复复上上述述过程程，直直到到对整整个个样本本集集来来说，误差不超差不超过规定范定范围。2024/3/17 周日54.Delta规则 Widrow和和Hoff的写法的写法：Wij(t+1)=Wij(t)+(yj-aj(t)oi(t)也可以写成：也可以写成：Wij(t+1)=Wij(t)+Wij(t)Wij(t)(t)=joi(t)(t)j=yj-aj(t)(t)Grossberg的写法的写法为：Wij(t)=a(t)=ai i(t)(o(t)(oj j(t)-W(t)-Wijij(t)(t)更一般的更一般的Delta规则为：Wij(t)=g(ai(t)，yj，oj(t)，Wij(t)2024/3/17 周日55.BP网网络1概述概述 2基本基本BP算法算法 3算法的改算法的改进 4算法的算法的实现 5算法的理算法的理论基基础 6几个几个问题的的讨论 2024/3/17 周日56.一一概述概述 1、BP算法的出算法的出现非循非循环多多级网网络的的训练算法算法UCSDPDP小小组的的Rumelhart、Hinton和和Williams1986年年独立地独立地给出了出了BP算法清楚而算法清楚而简单的描述的描述1982年，年，Paker就完成了相似的工作就完成了相似的工作1974年，年，Werbos已提出了已提出了该方法方法2、弱弱点点：训练速速度度非非常常慢慢、局局部部极极小小点点的的逃逃离离问题、算法不一定收算法不一定收敛。3、优点：点：广泛的适广泛的适应性和有效性。性和有效性。2024/3/17 周日57.概述概述4、BP网络主要用于1）函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数。2）模式识别：用一个特定的输出向量将它与输入向量联系起来。3）分类：把输入向量 以所定义的合适方式进行分类。4）数据压缩：减少输出向量维数以便于传输或存储。2024/3/17 周日58.二二基本基本BP算法算法 1网网络的构成的构成 神神经元的网元的网络输入：入：neti=x1w1i+x2w2i+xnwni神神经元的元的输出：出：2024/3/17 周日59.输出函数分析出函数分析0.5f(net)0.25o011（0,0.5）net（0,0）o应该将将net的的值尽量控制在收尽量控制在收敛比比较快的范快的范围内内可可以以用用其其它它的的函函数数作作为激激活活函函数数，只只要要该函函数数是是处处可可导的的2024/3/17 周日60.网网络的拓扑的拓扑结构构x1o1输出出层隐藏藏层输入入层x2o2omxnW(1)W(2)W(3)W(L)2024/3/17 周日61.网网络的拓扑的拓扑结构构 1.BP网的网的结构构2.2.输入入向向量量、输出出向向量量的的维数数、网网络隐藏藏层的的层数和各个数和各个隐藏藏层神神经元的个数的决定元的个数的决定3.3.实验：增增加加隐藏藏层的的层数数和和隐藏藏层神神经元元个个数数不不一一定定总能能够提提高高网网络精精度度和和表表达达能能力。力。4.4.BPBP网一般都网一般都选用二用二级网网络。2024/3/17 周日62.网网络的拓扑的拓扑结构构x1o1输出出层隐藏藏层输入入层x2o2omxnWV2024/3/17 周日63.2训练过程概述程概述 样本：本：(输入向量，理想入向量，理想输出向量出向量)权初始化：初始化：小随机数与小随机数与饱和状和状态；不同保；不同保证网网络可以学。可以学。1 1、向前、向前传播播阶段：段：（1）从从样本本集集中中取取一一个个样本本(Xp，Yp)，将将Xp输入网入网络；（2）计算相算相应的的实际输出出Op：Op=Fl(F2(F1(XpW(1)W(2)W(L)2024/3/17 周日64.2训练过程概述程概述 2 2、向后、向后传播播阶段段 误差差传播播阶段：段：（1）计算算实际输出出Op与与相相应的的理理想想输出出Yp的的差；差；（2）按极小化）按极小化误差的方式差的方式调整整权矩矩阵。（3）网）网络关于第关于第p p个个样本的本的误差差测度：度：（4）网网络关于整个关于整个样本集的本集的误差差测度：度：2024/3/17 周日65.3误差差传播分析播分析 1、输出出层权的的调整整wpq=wpq+wpqwpq=qop=fn(netq)(yq-oq)op=oq(1-oq)(yq-oq)opwpqANpANq第第L-1层第第L层wpq2024/3/17 周日66.2 2、隐藏藏层权的的调整整 ANpANqANhvhppk-11kwp1wpqqkwpmmk第第k-2层第第k层第第k-1层2024/3/17 周日67.2 2、隐藏藏层权的的调整整pk-1的的值和和1k，2k，mk有关有关不妨不妨认为pk-1通通过权wp1对1k做出做出贡献，献，通通过权wp2对2k做出做出贡献，献，通通过权wpm对mk做出做出贡献。献。pk-1=fk-1(netp)(wp11k+wp22k+wpmmk)2024/3/17 周日68.2 2、隐藏藏层权的的调整整vhp=vhp+vhpvhp=pk-1ohk-2=fk-1(netp)(wp11k+wp22k+wpmmk)ohk-2=opk-1(1-opk-1)(wp11k+wp22k+wpmmk)ohk-2ANpANqANhvhppk-11kwp1wpmqkwpqmk第第k-2层第第k层第第k-1层2024/3/17 周日69.内容回内容回顾基本基本BP算法算法neti=x1w1i+x2w2i+xnwni2024/3/17 周日70.内容回内容回顾x1o1输出出层隐藏藏层输入入层x2o2omxnWV2024/3/17 周日71.内容回内容回顾样本本权初始化初始化向前向前传播播阶段段Op=Fn(F2(F1(XpW(1)W(2)W(n)误差差测度度2024/3/17 周日72.内容回内容回顾向后向后传播播阶段段误差差传播播阶段段输出出层权的的调整整wpq=qop=fn(netq)(yq-oq)op=oq(1-oq)(yq-oq)op隐藏藏层权的的调整整ANpANqANhvhppk-11kwp1wpqqkwpmmkvhp=opk-1(1-opk-1)(wp11k+wp22k+wpmmk)ohk-22024/3/17 周日73.4基本的基本的BP算法算法 样本集：本集：S=(X1,Y1),(,(X2,Y2),),(,(Xs,Ys)基本思想基本思想：逐一地根据逐一地根据样本集中的本集中的样本本(Xk,Yk)计算出算出实际输出出Ok和和误差差测度度E1，对W(1)，W(2)，W(L)各做各做一次一次调整，重复整，重复这个循个循环，直到，直到Epdo 4.1 E=0;2024/3/17 周日75.基本基本BP算法算法4.2对S中的每一个中的每一个样本（本（Xp,Yp）：）：4.2.1计算出算出Xp对应的的实际输出出Op；4.2.2计算出算出Ep；4.2.3E=E+Ep；4.2.4根据相根据相应式子式子调整整W(L)；4.2.5k=L-1；4.2.6whilek0do4.2.6.1根据相根据相应式子式子调整整W(k)；4.2.6.2k=k-1 4.3E=E/2.0 2024/3/17 周日76.算法的改算法的改进 1、BP网网络接接受受样本本的的顺序序对训练结果果有有较大大影响。它更偏影响。它更偏爱较后出后出现的的样本本2、给集集中中的的样本本安安排排一一个个适适当当的的顺序序，是是非非常常困困难的。的。3、样本本顺序影响序影响结果的原因：果的原因：分分别依次依次4、用用(X1,Y1)，（X2,Y2），（Xs,Ys）的的总效效果果修改修改W(1)，W(2)，W(L)。w(k)ij=pw(k)ij2024/3/17 周日77.消除消除样本本顺序影响的序影响的BP算法算法 1fork=1toLdo1.1初始化初始化W(k)；2初始化精度控制参数初始化精度控制参数；3E=+1;4whileEdo4.1E=0;4.2对所有的所有的i，j，k：w(k)ij=0；2024/3/17 周日78.4.3对S中的每一个中的每一个样本（本（Xp,Yp）：）：4.3.1计算出算出Xp对应的的实际输出出Op；4.3.2计算出算出Ep；4.3.3E=E+Ep；4.3.4对所有所有i，j根据相根据相应式子式子计算算pw(L)ij；4.3.5对所有所有i，j：w(L)ij=w(L)ij+pw(L)ij；4.3.6k=L-1；4.3.7whilek0do4.3.7.1对所有所有i,j根据相根据相应式子式子计算算pw(k)ij；4.3.7.2对所有所有i,j：w(k)ij=w(k)ij+pw(k)ij；4.3.7.3k=k-1 4.4对所有所有i，j，k：w(k)ij=w(k)ij+w(k)ij;4.5E=E/2.0 2024/3/17 周日79.算法分析算法分析 较好地解决了因好地解决了因样本的本的顺序引起的精度序引起的精度问题和和训练的抖的抖动问题 收收敛速度：比速度：比较慢慢偏移量：偏移量：给每一个神每一个神经元增加一个偏移量来元增加一个偏移量来加快收加快收敛速度速度 冲量冲量：联接接权的本次修改要考的本次修改要考虑上次修改的上次修改的影响，以减少抖影响，以减少抖动问题 2024/3/17 周日80.算法的算法的实现 主要数据主要数据结构构WH，m输出出层的的权矩矩阵；Vn，H输入（入（隐藏）藏）层的的权矩矩阵；m输出出层各各联接接权的修改量的修改量组成的向量；成的向量；H隐藏藏层各各联接接权的修改量的修改量组成的向量；成的向量；O1隐藏藏层的的输出向量；出向量；O2输出出层的的输出向量；出向量；(X，Y)一个一个样本。本。2024/3/17 周日81.算法的主要算法的主要实现步步骤 1 1用不同的小用不同的小伪随机数初始化随机数初始化W，V；2 2初始化精度控制参数初始化精度控制参数；学；学习率率；3 3循循环控制参数控制参数E=+1；循；循环最大次数最大次数M；循循环次数控制参数次数控制参数N=0；4whileE&N0，此，此时wij0取取E0wij2024/3/17 周日88.而其中的而其中的所以，所以，最速下降法，要求最速下降法，要求E的极小点的极小点2024/3/17 周日89.令令所以所以wij=joi为学学习率率最速下降法，要求最速下降法，要求E的极小点的极小点2024/3/17 周日90.ANj为输出出层神神经元元 oj=f(netj)容易得到容易得到 从而从而2024/3/17 周日91.ANj为输出出层神神经元元2024/3/17 周日92.所以，所以，故，当故，当ANj为输出出层的神的神经元元时，它，它对应的的联接接权wij应该按照下列公式按照下列公式进行行调整：整：ANj为输出出层神神经元元2024/3/17 周日93.ANj为隐藏藏层神神经元元 函数2024/3/17 周日94.ANj为隐藏藏层神神经元元netk=ojo2o1oHhnetk是是oj下一下一级的神的神经元的网元的网络输入入2024/3/17 周日95.ANj为隐藏藏层神神经元元2024/3/17 周日96.ANj为隐藏藏层神神经元元2024/3/17 周日97.ANj为隐藏藏层神神经元元2024/3/17 周日98.几个几个问题的的讨论 收收敛速度速度问题 局部极小点局部极小点问题 逃逃离离/避避开开局局部部极极小小点点：修修改改W、V的的初初值并并不不是是总有效。有效。逃离逃离 统计方法；方法；Wasserman，1986将将Cauchy训练与与BP算法算法结合起来，可以在保合起来，可以在保证训练速度不速度不被降低的情况下，找到全局极小点。被降低的情况下，找到全局极小点。2024/3/17 周日99.几个几个问题的的讨论 网网络瘫痪问题 在在训练中，中，权可能可能变得很大，得很大，这会使神会使神经元的网元的网络输入入变得很大，从而又使得其激活函数的得很大，从而又使得其激活函数的导函数在此点上的取函数在此点上的取值很小。根据相很小。根据相应式子，此式子，此时的的训练步步长会会变得非常小，得非常小，进而将而将导致致训练速度降得非常低，最速度降得非常低，最终导致网致网络停止收停止收敛 稳定性定性问题 用修改量的用修改量的综合合实施施权的修改的修改连续变化的化的环境，它将境，它将变成无效的成无效的 2024/3/17 周日100.几个几个问题的的讨论 步步长问题 BP网网络的收的收敛是基于无是基于无穷小的小的权修改量修改量步步长太小，收太小，收敛就非常慢就非常慢步步长太大，可能会太大，可能会导致网致网络的的瘫痪和不和不稳定定自适自适应步步长，使得，使得权修改量能随着网修改量能随着网络的的训练而而不断不断变化。化。1988年，年，Wasserman 2024/3/17 周日101.后面内容直接删除就行资料可以编辑修改使用资料可以编辑修改使用2024/3/17 周日102.主要经营：网络软件设计、图文设计制作、发布广告等公司秉着以优质的服务对待每一位客户，做到让客户满意！2024/3/17 周日103.致力于数据挖掘，合同简历、论文写作、PPT设计、计划书、策划案、学习课件、各类模板等方方面面，打造全网一站式需求2024/3/17 周日104.感感谢您的您的观看和下看和下载The user can demonstrate on a projector or computer,or print the presentation and make it into a film to be used in a wider field2024/3/17 周日105.