【电气与自动化】第4章-神经网络基本理论.ppt

第四章第四章 神经网络基本理论神经网络基本理论College of Electrical and Information Engineering,Hunan Univ.24.1 人工神经元模型人工神经元模型 人工神经元是对人或其它生物的神经元细胞的若干基本特性的抽象和模拟。人工神经元是对人或其它生物的神经元细胞的若干基本特性的抽象和模拟。n生物神经元模型生物神经元模型生物神经元主要由细胞体、树突和轴突组成，树突和轴突负责传入和传出生物神经元主要由细胞体、树突和轴突组成，树突和轴突负责传入和传出信息，兴奋性的冲动沿树突抵达细胞体，在细胞膜上累积形成兴奋性电位；信息，兴奋性的冲动沿树突抵达细胞体，在细胞膜上累积形成兴奋性电位；相反，抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加，若相反，抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加，若代数和超过某个阈值，神经元将产生冲动。代数和超过某个阈值，神经元将产生冲动。College of Electrical and Information Engineering,Hunan Univ.34.1 人工神经元模型人工神经元模型n人工神经元模型人工神经元模型模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型x1,xnT为输入向量，为输入向量，y为输出，为输出，f()为激发函数，为激发函数，为阈值。为阈值。Wi为神经元与其为神经元与其它神经元的连接强度，也称权值。它神经元的连接强度，也称权值。College of Electrical and Information Engineering,Hunan Univ.44.1 人工神经元模型人工神经元模型常用的激发函数常用的激发函数f 的种类的种类：1）阈值型函数）阈值型函数College of Electrical and Information Engineering,Hunan Univ.54.1 人工神经元模型人工神经元模型2）饱和型函数）饱和型函数3）双曲函数）双曲函数College of Electrical and Information Engineering,Hunan Univ.64.1 人工神经元模型人工神经元模型4）S型函数型函数5）高斯函数）高斯函数College of Electrical and Information Engineering,Hunan Univ.74.2 神经网络的定义和特点神经网络的定义和特点 神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系统。统。n 定义定义n 特点特点（1）非线性映射逼近能力。非线性映射逼近能力。任意的连续非线性函数映射关系可由多层神经网络以任意的连续非线性函数映射关系可由多层神经网络以任意精度加以逼近。任意精度加以逼近。（2）自适应性和自组织性自适应性和自组织性。神经元之间的连接具有多样性，各神经元之间的连接神经元之间的连接具有多样性，各神经元之间的连接强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。（3）并行处理性。并行处理性。网络的各单元可以同时进行类似的处理过程，整个网络的信息处网络的各单元可以同时进行类似的处理过程，整个网络的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。理方式是大规模并行的，可以大大加快对信息处理的速度。（4）分布存储和容错性。分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经元中，而信息在神经网络内的存储按内容分布于许多神经元中，而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功能。能。（5）便于集成实现和计算模拟。便于集成实现和计算模拟。神经网络在结构上是相同神经元的大规模组合，神经网络在结构上是相同神经元的大规模组合，特别适合于用大规模集成电路实现。特别适合于用大规模集成电路实现。College of Electrical and Information Engineering,Hunan Univ.84.3 感知器模型感知器模型感知器感知器(Perceptron)是由美国学者是由美国学者F.Rosenblatt于于1957年提出的，它是一个具有年提出的，它是一个具有单层计算单元的神经网络，并由线性阈值元件组成。单层计算单元的神经网络，并由线性阈值元件组成。l 激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出为激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出为1，否，否则为则为0或或-1。l它的权系它的权系W可变，这样它就可以学习。可变，这样它就可以学习。n感知器的结构感知器的结构College of Electrical and Information Engineering,Hunan Univ.94.3 感知器模型感知器模型n感知器的学习算法感知器的学习算法为为方便起方便起见见，将，将阈值阈值(它也同它也同样样需要学需要学习习)并入并入W中，令中，令Wn+1=-，X向量也相向量也相应应地增加一个分量地增加一个分量xn+1=1，则则学习算法：学习算法：给给定初始定初始值值：赋给赋给Wi(0)各一个各一个较较小的随机非零小的随机非零值值，这这里里Wi(t)为为t时时刻第刻第i个个输输入的入的权权(1in)，Wn+1(t)为为t时时刻的刻的阈值阈值；输输入一入一样样本本X=(xi,xn,1)和它的希望和它的希望输输出出d；计计算算实际输实际输出出 修正修正权权W：Wi(t+1)=Wi(t)+d-Y(t)xi,i=1,2,n+1 转转到到直到直到W对对一切一切样样本均本均稳稳定不定不变为变为止。止。College of Electrical and Information Engineering,Hunan Univ.104.3 感知器模型感知器模型根据某样本训练时，均方差随训练次数的收敛情况根据某样本训练时，均方差随训练次数的收敛情况College of Electrical and Information Engineering,Hunan Univ.114.4 神经网络的构成和分类神经网络的构成和分类n 构成构成 l 从从Perceptron模型可以看出神经网络通过一组状态方程和一组学习方程加模型可以看出神经网络通过一组状态方程和一组学习方程加以描述。以描述。l 状态方程描述每个神经元的输入、输出、权值间的函数关系。状态方程描述每个神经元的输入、输出、权值间的函数关系。l 学习方程描述权值应该怎样修正。神经网络通过修正这些权值来进行学习，学习方程描述权值应该怎样修正。神经网络通过修正这些权值来进行学习，从而调整整个神经网络的输入输出关系。从而调整整个神经网络的输入输出关系。n分类分类（1）从结构上划分）从结构上划分 通常所说的网络结构，主要是指它的联接方式。神经网络从拓扑结构通常所说的网络结构，主要是指它的联接方式。神经网络从拓扑结构上来说，主要分为层状和网状结构。上来说，主要分为层状和网状结构。College of Electrical and Information Engineering,Hunan Univ.124.4 神经网络的构成和分类神经网络的构成和分类层状结构层状结构：网络由若干层组成，每层中有一定数量的神经元，相邻层中神经元网络由若干层组成，每层中有一定数量的神经元，相邻层中神经元单向联接，一般同层内神经元不能联接。单向联接，一般同层内神经元不能联接。前向网络：只有前后相邻两层之间神经元相互联接，各神经元之间没有反馈。每前向网络：只有前后相邻两层之间神经元相互联接，各神经元之间没有反馈。每个神经元从前一层接收输入，发送输出给下一层。个神经元从前一层接收输入，发送输出给下一层。College of Electrical and Information Engineering,Hunan Univ.134.4 神经网络的构成和分类神经网络的构成和分类网状结构：网络中任何两个神经元之间都可能双向联接。网状结构：网络中任何两个神经元之间都可能双向联接。反馈网络：从输出层到输入层有反馈，反馈网络：从输出层到输入层有反馈，每一个神经元同时接收外来输入和来自其每一个神经元同时接收外来输入和来自其它神经元的反馈输入，其中包括神经元输它神经元的反馈输入，其中包括神经元输出信号引回自身输入的自环反馈。出信号引回自身输入的自环反馈。混合型网络：前向网络的同一层神经混合型网络：前向网络的同一层神经元之间有互联的网络。元之间有互联的网络。College of Electrical and Information Engineering,Hunan Univ.144.4 神经网络的构成和分类神经网络的构成和分类（2）从激发函数的类型上划分从激发函数的类型上划分 高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等（3）从网络的学习方式上划分从网络的学习方式上划分有导师学习神经网络有导师学习神经网络为神经网络提供样本数据，对网络进行训练，使网络的输入输出关系逼为神经网络提供样本数据，对网络进行训练，使网络的输入输出关系逼近样本数据的输入输出关系。近样本数据的输入输出关系。有导师学习神经网络有导师学习神经网络不为神经网络提供样本数据，学习过程中网络自动将输入数据的特征提不为神经网络提供样本数据，学习过程中网络自动将输入数据的特征提取出来。取出来。（4）从学习算法上来划分：）从学习算法上来划分：基于基于BP算法的网络、基于算法的网络、基于Hebb算法的网络、基于竞争式学习算法的网络、算法的网络、基于竞争式学习算法的网络、基于遗传算法的网络。基于遗传算法的网络。College of Electrical and Information Engineering,Hunan Univ.154.4 多层前向多层前向BP神经网络神经网络 最早由最早由werbos在在1974年提出的，年提出的，1985年由年由Rumelhart再次进行发展。再次进行发展。n 多层前向神经网络的结构多层前向神经网络的结构多层前向神经网络由输入层、隐层（不少于多层前向神经网络由输入层、隐层（不少于1层）、输出层组成，信号沿输层）、输出层组成，信号沿输入入输出的方向逐层传递。输出的方向逐层传递。College of Electrical and Information Engineering,Hunan Univ.164.4 多层前向多层前向BP神经网络神经网络沿信息的传播方向，给出网络的状态方程，用沿信息的传播方向，给出网络的状态方程，用Inj(i)，Outj(i)表示第表示第i层第层第j个神经个神经元的输入和输出，则各层的输入输出关系可描述为：元的输入和输出，则各层的输入输出关系可描述为：第一层（输入层）：将输入引入网络第一层（输入层）：将输入引入网络 第二层（隐层）第二层（隐层）第三层（输出层）第三层（输出层）College of Electrical and Information Engineering,Hunan Univ.174.4 多层前向多层前向BP神经网络神经网络n网络的学习网络的学习 学习的基本思想是：误差反传算法调整网络的权值，使网络的实际输出尽可学习的基本思想是：误差反传算法调整网络的权值，使网络的实际输出尽可能接近期望的输出。能接近期望的输出。假设有假设有M个样本个样本:将第将第k个样本个样本Xk输入网络，得到的网络输出为输入网络，得到的网络输出为 定义学习的目标函数为定义学习的目标函数为：College of Electrical and Information Engineering,Hunan Univ.184.4 多层前向多层前向BP神经网络神经网络为使目标函数最小，训练算法是：为使目标函数最小，训练算法是：令令 则则College of Electrical and Information Engineering,Hunan Univ.194.4 多层前向多层前向BP神经网络神经网络学习的步骤：学习的步骤：（1）依次取第）依次取第k组样本组样本，将，将Xk输入网络。输入网络。（2）依次计算）依次计算，如果，如果，退出。，退出。（3）计计算算（4）计计算算（5），修正，修正权值权值，返回（，返回（1）如果样本数少，则学习知识不够；如果样本多，则需计算更多的如果样本数少，则学习知识不够；如果样本多，则需计算更多的dJk/dw,，训练，训练时间长。可采用随机学习法每次以样本中随机选取几个样本，计算时间长。可采用随机学习法每次以样本中随机选取几个样本，计算 dJk/dw,，调，调整权值。整权值。College of Electrical and Information Engineering,Hunan Univ.20例例4.1 多层前向多层前向BP网络训练网络训练训练样本训练样本SISO：SampleInput=0 0.1 0.2 0.3 0.4;SampleOutput=4 2 2 2 2;网络结构：网络结构：College of Electrical and Information Engineering,Hunan Univ.21网络输入输出关系：网络输入输出关系：需训练的量：需训练的量：College of Electrical and Information Engineering,Hunan Univ.22训练算法：训练算法：College of Electrical and Information Engineering,Hunan Univ.23训练初始参数：训练初始参数：W1=rand(1,5);W2=rand(1,5);theta=rand(1,5);beta=rand(1,5);LearningRate1=0.2;LearningRate2=0.4;LearningRate3=0.2;LearningRate4=0.2;College of Electrical and Information Engineering,Hunan Univ.24训练后参数：训练后参数：W1-0.4059 8.5182 -0.5994 -0.1153 -1.1916;W2=0.6245 2.8382 0.6632 0.5783 3.5775;Beta=1.6219 -4.9403 1.6041 1.5145 -0.3858;Theta=1.5832 0.1900 1.5406 1.6665 -0.1441;College of Electrical and Information Engineering,Hunan Univ.25训练训练1000次目标函数的变化曲线：次目标函数的变化曲线：College of Electrical and Information Engineering,Hunan Univ.26训练结束后神经网络的输出与样本的拟和情况训练结束后神经网络的输出与样本的拟和情况College of Electrical and Information Engineering,Hunan Univ.274.4 多层前向多层前向BP神经网络神经网络n前向网络进一步需研究的问题前向网络进一步需研究的问题 局部最优问题，（网络初值选取不恰当）。局部最优问题，（网络初值选取不恰当）。学习算法收敛速度慢，学习算法收敛速度慢，Sigmaid函数本身存在无穷多闪导数，而函数本身存在无穷多闪导数，而BP算法只用了一次导数，致使收敛速度慢。算法只用了一次导数，致使收敛速度慢。网络的运行是单向传播，没有反馈，是一个非浅性映射，而不是非网络的运行是单向传播，没有反馈，是一个非浅性映射，而不是非浅性动力系统。浅性动力系统。网络隐层节点个数和初始权值的选取，尚无理论指导。网络隐层节点个数和初始权值的选取，尚无理论指导。College of Electrical and Information Engineering,Hunan Univ.284.5 大脑自组织神经网络大脑自组织神经网络 是一种无导师学习的网络是一种无导师学习的网络脑神经科学研究表明：脑神经科学研究表明：传递感觉的神经元排列是按某种规律有序进行的，这种传递感觉的神经元排列是按某种规律有序进行的，这种排列往往反映所感受的外部刺激的某些物理特征。排列往往反映所感受的外部刺激的某些物理特征。大脑自组织神经网络在接受外界输入时，将会分成不同的区域，不同的区域对大脑自组织神经网络在接受外界输入时，将会分成不同的区域，不同的区域对不同的模式具有不同的响应特征，即不同的神经元以最佳方式响应不同性质的不同的模式具有不同的响应特征，即不同的神经元以最佳方式响应不同性质的信号激励，从而形成一种拓扑意义上的有序排列信号激励，从而形成一种拓扑意义上的有序排列 在在这这种网种网络络中，中，输输出出节节点与其点与其邻邻域其他域其他节节点点广泛相广泛相连连，并互相激励。，并互相激励。输输入入节节点和点和输输出出节节点之点之间间通通过过强强度度wij(t)相相连连接。通接。通过过某种某种规则规则，不断地不断地调调整整wij(t)，使得在，使得在稳稳定定时时，每一，每一邻邻域域的所有的所有节节点点对对某种某种输输入具有入具有类类似的似的输输出，并出，并且且这这种聚种聚类类的概率分布与的概率分布与输输入模式的概率分入模式的概率分布相接近。布相接近。College of Electrical and Information Engineering,Hunan Univ.294.5 大脑自组织神经网络大脑自组织神经网络自组织学习算法：自组织学习算法：(1)权值权值初始化并初始化并选选定定领领域的大小域的大小；(2)输输入模式；入模式；(3)计计算空算空间间距离距离式中式中xi(t)是是t时时刻刻i节节点的点的输输入，入，wij(t)是是输输入入节节点点i与与输输出出节节点点j 的的连连接接强强度，度，N为输为输入入节节点的数目；点的数目；(4)选择节选择节点点j*，它，它满满足足(5)按下式改按下式改变变j*和其和其领领域域节节点的点的连连接接强强度度 wij(t+1)=wij(t)+(t)xi(t)-wij(t),jj*的的领领域，域，0i iN N-1 -1 式中式中(t)称之称之为为衰减因子。衰减因子。(6)返回到第返回到第(2)步，直至步，直至满满足足xi(t)-wij(t)2(为给为给定的定的误误差差)。College of Electrical and Information Engineering,Hunan Univ.304.5 大脑自组织神经网络大脑自组织神经网络例例4.2 大脑自组织网络的训练大脑自组织网络的训练输入模式：输入模式：Xx1,x2,x3网络节点数量：网络节点数量：9 邻域：邻域：1网络初始权值：网络初始权值：W=0.1122 0.0147 0.2816 0.7839 0.9028 0.8289 0.5208 0.4608 0.4435 0.4433 0.6641 0.2618 0.9862 0.4511 0.1663 0.7181 0.4453 0.3663 0.4668 0.7241 0.7085 0.4733 0.8045 0.3939 0.5692 0.0877 0.3025;College of Electrical and Information Engineering,Hunan Univ.314.5 大脑自组织神经网络大脑自组织神经网络1.单模式训练情况单模式训练情况输入为：输入为：X=0 0 1结果：结果：W=0.1122 0.0000 0.0000 0.0000 0.9028 0.8289 0.5208 0.4608 0.4435 0.4433 0.0000 0.0000 0.0000 0.4511 0.1663 0.7181 0.4453 0.3663 0.4668 1.0000 1.0000 1.0000 0.8045 0.3939 0.5692 0.0877 0.3025输入为：输入为：X=0 1 0结果：结果：W=0.1122 0.0147 0.2816 0.7839 0.9028 0.8289 0.0000 0.0000 0.0000 0.4433 0.6641 0.2618 0.9862 0.4511 0.1663 1.0000 1.0000 1.0000 0.4668 0.7241 0.7085 0.4733 0.8045 0.3939 0.0000 0.0000 0.0000College of Electrical and Information Engineering,Hunan Univ.324.5 大脑自组织神经网络大脑自组织神经网络2.多模式训练情况多模式训练情况1 0 00 1 00 0 1Input=训练结果：训练结果：0.0000 0.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.00000.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 1.0000 1.00001.0000 1.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000W网络输出：网络输出：Output=Input*W=0.0000 0.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.00000.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 1.0000 1.00001.0000 1.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000模式模式1模式模式2模式模式3模式模式2模式模式1模式模式3模式模式1模式模式2模式模式3College of Electrical and Information Engineering,Hunan Univ.334.6 小脑神经网络小脑神经网络小脑模型关节控制器（小脑模型关节控制器（CMAC）是由）是由Albus最初于最初于1975年基于神经生理学提出年基于神经生理学提出的，它是一种基于局部逼近的简单快速的神经网络，能够学习任意多维非线性的，它是一种基于局部逼近的简单快速的神经网络，能够学习任意多维非线性映射映射,迄今已广泛用于许多领域。迄今已广泛用于许多领域。CMAC具有优点：具有优点：n具有局部逼近能力，每次修正的权值极少，学习速度快，适合于在线具有局部逼近能力，每次修正的权值极少，学习速度快，适合于在线学习；学习；n一定的泛化能力，相近输入给出相近输出，不同输入给出不同输出；一定的泛化能力，相近输入给出相近输出，不同输入给出不同输出；College of Electrical and Information Engineering,Hunan Univ.344.6 小脑神经网络小脑神经网络nCMAC的原理的原理CMAC是一种模仿人类小脑的学习结构。在这种技术里，每个状态变量被量化并且输入是一种模仿人类小脑的学习结构。在这种技术里，每个状态变量被量化并且输入空间被划分成离散状态。量化的输入构成的向量指定了一个离散状态并且被用于产生地空间被划分成离散状态。量化的输入构成的向量指定了一个离散状态并且被用于产生地址来激活联想单元中存储的联想强度从而恢复这个状态的信息。址来激活联想单元中存储的联想强度从而恢复这个状态的信息。对于输入空间大的情况，联想单元数量巨大，为了节省存储空间，对于输入空间大的情况，联想单元数量巨大，为了节省存储空间，Albus提出了提出了hash编编码，将联想强度存于数量大大少于联想单元的码，将联想强度存于数量大大少于联想单元的hash单元中，联想单元中只存储单元中，联想单元中只存储hash单元单元的散列地址编码的散列地址编码College of Electrical and Information Engineering,Hunan Univ.354.6 小脑神经网络小脑神经网络nCMAC的空间划分和量化机制的空间划分和量化机制超立方体联想单元“块”College of Electrical and Information Engineering,Hunan Univ.364.6 小脑神经网络小脑神经网络nCMAC学习的数学推导学习的数学推导1)无无hash映射的映射的CMAC在在CMAC中，每个量化的状中，每个量化的状态对应态对应Ne个个联联想想单单元。假元。假设设Nh是是总总的的联联想想单单元元的数量，的数量，该该数量与没有数量与没有hash映射映射时时的物理存的物理存储储空空间间大小一致。用大小一致。用CMAC技技术术，第，第s个状个状态对应态对应的的输输出数据出数据ys可以被表示可以被表示为为：式中式中W是代表存是代表存储储内容（内容（联联想想强强度）的向量，度）的向量，Cs是存是存储单储单元激活向量，元激活向量，该该向向量包含量包含Ne个个1。在决定了空。在决定了空间间的划分方式后，的划分方式后，对对于指定的状于指定的状态态，单单元激活向量元激活向量Cs也随之确定。也随之确定。College of Electrical and Information Engineering,Hunan Univ.374.6 小脑神经网络小脑神经网络2)有有hash映射的映射的CMAC hash映射将几个联想单元和一个物理存储位置映射将几个联想单元和一个物理存储位置(hash单元单元)相对应。相对应。hash单元单元中存储联想强度，而此时的联想单元是虚拟的存储空间，只存储中存储联想强度，而此时的联想单元是虚拟的存储空间，只存储hash单元的单元的散列地址编码。有散列地址编码。有hash映射的映射的CMAC特别适用于存储空间小于超立方体数量特别适用于存储空间小于超立方体数量时的情况。用有时的情况。用有hash映射的映射的CMAC技术，第技术，第s个状态对应的输出数据个状态对应的输出数据ys可以被可以被表示为：表示为：式中式中Mp是是hash单单元的数量，它小于元的数量，它小于联联想想单单元数元数Nh。hij=1表示表示联联想想单单元元i激活激活hash单单元元j。由于每个。由于每个联联想想单单元元仅仅仅仅和一个和一个hash单单元相元相对应对应，所以，所以hash矩矩阵阵H的每一行的每一行仅仅有一个有一个单单元等于元等于1，其余的都等于，其余的都等于0。College of Electrical and Information Engineering,Hunan Univ.384.6 小脑神经网络小脑神经网络 没有没有hash映射的公式和有映射的公式和有hash映射的公式可以合并为一个式子：映射的公式可以合并为一个式子：nCMAC的学习的学习CMAC用迭代算法来用迭代算法来训练联训练联想想强强度。在学度。在学习习中，我中，我们们将将Ns个个训练训练数据重复数据重复用于学用于学习习。在第。在第i次迭代中用第次迭代中用第s个个样样本学本学习习的迭代算法的迭代算法为为：S：样本数i：迭代次数：学习率期望输出College of Electrical and Information Engineering,Hunan Univ.394.6 小脑神经网络小脑神经网络College of Electrical and Information Engineering,Hunan Univ.404.6 小脑神经网络小脑神经网络例例4.3 CMAC训练训练样本：样本：SampleInput1=0.05 0.15 0.25 0.35;SampleInput2=0.05 0.15 0.25 0.35;SampleOutput=4 4 4 4;2 2 2 2;3 3 3 3;1 1 1 1;量化：两输入均量化为四个元素量化：两输入均量化为四个元素 if x10&x10.1&x10.2&x10.3&x1=0.4 indexX1=4;endCollege of Electrical and Information Engineering,Hunan Univ.414.6 小脑神经网络小脑神经网络状态编号：状态编号：MSTATENUM=1 2 3 45 6 7 89 10 11 1213 14 15 16激活向量矩阵：激活向量矩阵：1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 0 1 0 0 1 0 0 0 1 0 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 1 0 0 0 0 0 1 0 1 0 0 0 1 0 0 0 0 0 0 1 1 0 0 0 1 0 0 0 0 0 0 1 0 1 0 0 0 1 0 0 0 0 0 1 0 1 0 0 1 0 0 0 0 0 1 0 0 0 1 0 1 0 0 0 0 0 0 1 0 0 1 0 1 0 0 0 0 0 0 1 0 0 0 1 0 1 0 0 0 0 0 1 0 0 0 1 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 0 1 0 0 1 0 0 0 1 0 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1MC=College of Electrical and Information Engineering,Hunan Univ.424.6 小脑神经网络小脑神经网络联想强度初始值：联想强度初始值：Weight=rand(12,1);学习率：学习率：learningRate=0.005;训练训练2000次，均方差结果：次，均方差结果：训练训练2000次，联想强度：次，联想强度：2.0167 2.0167 0.0168 0.0169 1.7736 1.7739 -0.2261 -0.2261 0.2094 0.2093 1.2093 1.2092College of Electrical and Information Engineering,Hunan Univ.434.6 小脑神经网络小脑神经网络输出跟踪结果：输出跟踪结果：College of Electrical and Information Engineering,Hunan Univ.444.6 小脑神经网络小脑神经网络样本样本2：SampleInput1=0.05 0.15 0.25 0.35;SampleInput2=0.05 0.15 0.25 0.35;SampleOutput=4 4 4 4;2 2 2 2;3 3 2 2;1 1 1 1;1.6917 1.5671 0.0690 0.4412 1.7003 1.7008 -0.2995 -0.2989 0.6077 0.6699 1.4182 0.8577联想强度结果：联想强度结果：College of Electrical and Information Engineering,Hunan Univ.454.6 小脑神经网络小脑神经网络输出跟踪结果：输出跟踪结果：College of Electrical and Information Engineering,Hunan Univ.464.7 模糊神经网络模糊神经网络模糊神经网络，利用神经网络来实现模糊推理。模糊神经网络，利用神经网络来实现模糊推理。1）使网络的结构和权值具有了明确的物理意义，网络的结构设计和）使网络的结构和权值具有了明确的物理意义，网络的结构设计和权值的初始化都有了理论的根据，避免了网络陷入局部最优。权值的初始化都有了理论的根据，避免了网络陷入局部最优。2）可以利用神经网络的学习能力来调整模糊控制的控制规则和模糊）可以利用神经网络的学习能力来调整模糊控制的控制规则和模糊化的方式，使模糊控制具有了一定的自适应能力。化的方式，使模糊控制具有了一定的自适应能力。3）模糊神经网络将定性的知识表达和定量的数值运算很好地结合了）模糊神经网络将定性的知识表达和定量的数值运算很好地结合了起来，具有很好的控制效果起来，具有很好的控制效果College of Electrical and Information Engineering,Hunan Univ.474.7.1 模糊神经网络的结构模糊神经网络的结构PBNB输入层模糊化模糊推理 去模糊化College of Electrical and Information Engineering,Hunan Univ.48第第1层（输入层）：将输入（系统误差，误差变化率）引入网络：层（输入层）：将输入（系统误差，误差变化率）引入网络：第第2层（模糊化层）：对输入进行模糊化。假设在每个输入论域上定义层（模糊化层）：对输入进行模糊化。假设在每个输入论域上定义3个模糊个模糊语言词集语言词集N，Z，P=“负负”，“零零”，“正正”，隶属函数采用高斯基函数，隶属函数采用高斯基函数，与与N，Z，P对应的中心值分别为对应的中心值分别为-1，0，1，宽度为，宽度为0.5，0.5，0.5。隶属。隶属函数的形状与分布如图所示。函数的形状与分布如图所示。College of Electrical and Information Engineering,Hunan Univ.49第第3层（模糊推理）：代表层（模糊推理）：代表“and”操作，在此网络中用乘法代替取小运操作，在此网络中用乘法代替取小运算算 第第4层代表去模糊化过程，在这里采用权值平均判决法。层代表去模糊化过程，在这里采用权值平均判决法。wij为网络的权值，其物理意义是各控制规则的输出对应的语言词集的中心值。为网络的权值，其物理意义是各控制规则的输出对应的语言词集的中心值。College of Electrical and Information Engineering,Hunan Univ.504.7.2 网络学习算法网络学习算法 学习仍采用学习仍采用BP算法，定义目标函数算法，定义目标函数 则则萰襪悙榫囫蔓蹀蠪哾螆厨龄萰襪悙榫囫蔓蹀蠪哾螆厨龄呦炝厘趍莊嶄磥渉固嵱蚜艴呦炝厘趍莊嶄磥渉固嵱蚜艴橘豱櫮諤偗齐哛秤鱸磝責饺橘豱櫮諤偗齐哛秤鱸磝責饺訴臫毝緳脱綍駩驏袋宑铐曵訴臫毝緳脱綍駩驏袋宑铐曵暰簘獭炑礁潭肨嗷摈坙饹岍暰簘獭炑礁潭肨嗷摈坙饹岍曋猓鐷诫荂淩檶脺捽媖磆鶈曋猓鐷诫荂淩檶脺捽媖磆鶈阍籠袎榿帺腠讂鄒愐楫狘磛阍籠袎榿帺腠讂鄒愐楫狘磛鸪豯渌揜曅溨骂祿北蠒痨蓄鸪豯渌揜曅溨骂祿北蠒痨蓄硖鸤仨櫩鴇浺躸擋膵柫珋埑硖鸤仨櫩鴇浺躸擋膵柫珋埑辳鴪挋觅惋嬒禱罀识澓稧箩辳鴪挋觅惋嬒禱罀识澓稧箩忴撨炖衮緖饬盵薜槙鯗赶仟忴撨炖衮緖饬盵薜槙鯗赶仟壛疴蝫頱菲病席峠那樉顲爺壛疴蝫頱菲病席峠那樉顲爺合蚠誈簚壊睁纴泤辜滮濩膲合蚠誈簚壊睁纴泤辜滮濩膲媴戽焖巸鞔鲗薢眛儷耆蹀揵媴戽焖巸鞔鲗薢眛儷耆蹀揵諩觜鯦煂砀頊戦殚窎繠噃枿諩觜鯦煂砀頊戦殚窎繠噃枿淓底啮墸鈽煨鬆嶤剎銐辭肨淓底啮墸鈽煨鬆嶤剎銐辭肨鸄葓讝詏鴓餱糲貍蒽蠟谸赑鸄葓讝詏鴓餱糲貍蒽蠟谸赑峀邥軒霓烜矦芹谯週菵筙恐峀邥軒霓烜矦芹谯週菵筙恐嗺倇儱晁箘鏟嫎殎歐袟偒胔嗺倇儱晁箘鏟嫎殎歐袟偒胔并籓绠迚徒呾荗埀嗛悛哦犃并籓绠迚徒呾荗埀嗛悛哦犃皻圢漯逜蔷僛碋匳汃鈃触鏢皻圢漯逜蔷僛碋匳汃鈃触鏢鯥狩使酹郣赫禕匃侠蟒淅輇鯥狩使酹郣赫禕匃侠蟒淅輇嬲瘲菎氲穅晓茋炼穐冧濖毞嬲瘲菎氲穅晓茋炼穐冧濖毞揚畑硤劋熔砂勃贺碆