神经网络.pptx

,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,天津大学自动化学院,单击此处编辑母版标题样式,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,神经网络,第,1,页,/,共,26,页,神经网络的基本概念,1,前向网络及其主要算法,2,反馈网络,3,神经网络模型辨识,4,第三章 神经网络控制,神经网络控制,5,第,2,页,/,共,26,页,基于人工神经网络的控制简称神经控制。神经网络是由大量人工神经元广泛互联而成的网络，具有很强的自适应性和学习能力、非线性映射能力、鲁棒性和容错能力。,1.1,生物神经元模型,人脑大约包含,10,12,个神经元，分成约,1000,种类型，每个神经元大约与,10,2,10,4,个其他神经元相连接，形成极为错综复杂而又灵活多变的神经网络。,1.,神经网络的基本概念,第,3,页,/,共,26,页,1.,神经网络的基本概念,树突：接受信息,轴突：发送信息,神经元：控制和信息处理的基本单元,图,3-1,生物神经元结构,第,4,页,/,共,26,页,1.,神经网络的基本概念,神经元的功能与特性,时空整合功能：对不同时间不同突触的输入进行整合,兴奋与抑制状态：输入,膜电位,输出,脉冲与电位转换：数模转换,神经纤维传导速度：,1-150m/s,突触延时和不应期,:,突触的不应期,学习、遗忘和疲劳：突触的传递作用可增强、减弱或饱和,第,5,页,/,共,26,页,其中 代表期望的输出（教师信号）；,图3-6 神经网络的学习,图3-8 单个神经元,图3-2 人工神经元结构模型,神经元：控制和信息处理的基本单元,号）进行比较,兴奋与抑制状态：输入膜电位 输出,学习、遗忘和疲劳：突触的传递作用可增强、减弱或饱和,分类是由单个神经元完成的，可以研究其中一个：,为了方便起见，常把 看成是恒等于1的输入 的权值，则人工神经元的模型可以写为：,称为激发函数或作用函数。,时空整合功能：对不同时间不同突触的输入进行整合,1 感知器（Perceptron）,BP算法是在规则基础上发展起来的。,结构：输入向量 ，为网络输出。,称为激发函数或作用函数。,图3-6 神经网络的学习,1.2,人工神经元模型,人工神经元是对生物神经元的一种模拟与简化，是一个多输入、单输出的非线性元件。,1.,神经网络的基本概念,图,3-2,人工神经元结构模型,第,6,页,/,共,26,页,人工神经元输入、输出关系可描述为,其中，是从其他神经元传来的输入信号；表示从神经元,j,到神经元,i,的连接权值；为阈值；称为激发函数或作用函数。,1.,神经网络的基本概念,第,7,页,/,共,26,页,为了方便起见，常把 看成是恒等于,1,的输入 的权值，则人工神经元的模型可以写为：,其中,输出激发函数 又称为变换函数，它决定神经元（节点）的输出。该输出为,1,或,0,，取决于其输入之和大于或小于内部阈值,一般具有非线性特性。,1.,神经网络的基本概念,第,8,页,/,共,26,页,1.,神经网络的基本概念,图,3-3,常见的激发函数,阈值型函数,阈值型函数,饱和型函数,双曲函数,S,型函数,高斯函数,第,9,页,/,共,26,页,1.3,人工神经网络模型,利用人工神经元可以构成各种不同拓扑结构的神经网络，它是生物神经网络的一种模拟和近似。目前已有数十种不同的神经网络模型，其中,前馈型网络,和,反馈型网络,是两种典型的结构模型。,前馈型神经网络，又称前向网络（,Feedforward NN,）。神经元分层排列，有输入层、隐层（亦称中间层，可有若干层）和输出层，每一层的神经元只接受前一层神经元的输入。,1.,神经网络的基本概念,第,10,页,/,共,26,页,图,3-4,前馈型神经网络结构,前馈网络是一种强有力的学习系统，其结构简单而易,于编程；,前馈网络是静态非线性映射，通过简单非线性处理单,元的复合映射，可获得复杂的非线性处理能力。,感知器网络、,BP,网络,1.,神经网络的基本概念,第,11,页,/,共,26,页,图,3-5,反馈型神经网络结构,反馈型神经网络（,Feedback NN,）的结构如图所示。如果总节点（神经元）数为,N,，那么每个节点有,N,个输入和一个输出，也就是说，所有节点都是一样的，它们之间都可相互连接。,1.,神经网络的基本概念,第,12,页,/,共,26,页,反馈神经网络是一种反馈动力学系统，它需要工作一段时间才能达到稳定。,Hopfield,神经网络是反馈网络中最简单且应用广泛的模型，它具有联想记忆的功能。,1.,神经网络的基本概念,1.4,神经网络的学习方法,学习方法是体现人工神经网络智能特性的主要标志，离开了学习算法，人工神经网络就失去了自适应、自组织和自学习的能力。,神经网络的学习是通过改变权值实现的。,第,13,页,/,共,26,页,1.,神经网络的基本概念,有教师学习：网络的输出和期望的输出（即教师信,号）进行比较,无教师学习：按照一预先设定的规则（如竞争规则）,自动调整权值,再励学习：行动,评价,改进,图,3-6,神经网络的学习,第,14,页,/,共,26,页,Hebb,学习规则,两个神经元同时处于激发状态时，它们之间的连接强度将得到加强，这一论述的数学描述被称为,Hebb,学习规则。,Hebb,学习规则是一种无教师的学习方法。,1.,神经网络的基本概念,i,j,第,15,页,/,共,26,页,Delta,（）学习规则,定义误差准则函数,其中 代表期望的输出（教师信号）；是网络的实际输出,连接权阵的更新规则为,1.,神经网络的基本概念,第,16,页,/,共,26,页,其中，是从其他神经元传来的输入信号；,该输出为1或0，取决于其输入之和大于或小于内部阈值,一般具有非线性特性。,图3-5 反馈型神经网络结构,为了方便起见，常把 看成是恒等于1的输入 的权值，则人工神经元的模型可以写为：,图3-2 人工神经元结构模型,该输出为1或0，取决于其输入之和大于或小于内部阈值,一般具有非线性特性。,脉冲与电位转换：数模转换,Delta（）学习规则,Hebb学习规则是一种无教师的学习方法。,结构：输入向量 ，为网络输出。,学习规则是一种有教师的学习方法。,BP,算法是在,规则基础上发展起来的。,概率式学习,竞争式学习,遗传算法，,DE,算法 等等。,1.,神经网络的基本概念,第,17,页,/,共,26,页,2.1,感知器（,Perceptron,）,特点,:,单层神经元。主要用于模式分类。,结构：输入向量 ，为网络输出。,2.,前向网络及其主要算法,图,3-7,感知器网络,y,m,m,第,18,页,/,共,26,页,分类：当输入向量属于某一类时，该类对应的输出量,y,p,=,1,，其余输出量,y,q,(,q,=,1p-1,，,p+1m,),=,-1,分类是由单个神经元完成的，可以研究其中一个：,2.,前向网络及其主要算法,图,3-8,单个神经元,第,19,页,/,共,26,页,学习算法,随机给定一组初始权值 ，这里 表示在,k,时刻连接第,i,个输入量 的权值。,给定一组输入样本 和期望输出量,d,(,当输入量属于某一类 ，其他类则,),计算感知器实际输出,2.,前向网络及其主要算法,第,20,页,/,共,26,页,修正权值,学习速率 太大易震荡，太小则学习太慢。,继续重复学习过程，直到权值稳定为止。,选取另外一组样本继续学习，直到对所有样本都稳定为止。,2.,前向网络及其主要算法,第,21,页,/,共,26,页,神经网络的基本概念,1,前向网络及其主要算法,2,反馈网络,3,神经网络模型辨识,4,第三章 神经网络控制,神经网络控制,5,第,22,页,/,共,26,页,为了方便起见，常把 看成是恒等于,1,的输入 的权值，则人工神经元的模型可以写为：,其中,输出激发函数 又称为变换函数，它决定神经元（节点）的输出。该输出为,1,或,0,，取决于其输入之和大于或小于内部阈值,一般具有非线性特性。,1.,神经网络的基本概念,第,23,页,/,共,26,页,1.,神经网络的基本概念,图,3-3,常见的激发函数,阈值型函数,阈值型函数,饱和型函数,双曲函数,S,型函数,高斯函数,第,24,页,/,共,26,页,1.3,人工神经网络模型,利用人工神经元可以构成各种不同拓扑结构的神经网络，它是生物神经网络的一种模拟和近似。目前已有数十种不同的神经网络模型，其中,前馈型网络,和,反馈型网络,是两种典型的结构模型。,前馈型神经网络，又称前向网络（,Feedforward NN,）。神经元分层排列，有输入层、隐层（亦称中间层，可有若干层）和输出层，每一层的神经元只接受前一层神经元的输入。,1.,神经网络的基本概念,第,25,页,/,共,26,页,学习规则是一种有教师的学习方法。,BP,算法是在,规则基础上发展起来的。,概率式学习,竞争式学习,遗传算法，,DE,算法 等等。,1.,神经网络的基本概念,第,26,页,/,共,26,页,