资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,4.4.1 RBF网络的模型,RBF,网络的结构,输入层,隐含层(RBF层),输出层,W,1,W,2,RBF,网络的结构,RBF网络为具有单隐层的两层前向网络。,输入层节点只是传递输入信号到隐层。,输入节点,输出层神经元,通常是简单的线性神经元,其传输函数为,工具箱函数purelin(),RBF,网络的结构,隐层神经元(也称RBF节点),径向基传输函数,偏置值,乘积,距离,例如,如果RBF神经元宽度为0.1,则域值为8.326,那么,向量距离为8.326时,输出为0.5。,径向基传输函数,阈值或宽度可调节RBF神经元的敏感程度。,径向基函数的宽度Spread(分布系数),从函数顶点1到0.5的距离。,b与Spread,RBF,网络的输出,1.RBF神经元输出,RBF网络隐层第i个节点的输出,u,i,为,2.输出层神经元输出,输出层第k个节点的输出,y,k,为,N,为模式样本对数;,L,为网络输出节点数。,4.4.2 RBF网络的学习,建立RBF网络,包括:确定隐层神经元的个数、中心向量(输入到隐层的权值)、偏值,隐层到输出层的权值,输出神经元的偏值等。,目标函数,RBF网络依然是有导师学习网络。,RBF,网络的可调参数分为两部分。,第一部分:径向基函数的参数,RBF,单元的中心向量和偏值,。,第二部分:输出单元的参数,隐含层到输出层的权值,及输出层的偏值,。,RBF,网络的可调参数,第一部分:,RBF,单元的参数,方法一:直接法,以训练样本的输入向量作为RBF神经元的中心向量。这样,径向基神经元数等于输入样本数,每个神经元的中心向量为训练样本的一个输入向量。各神经元的偏值相同。,该方法创建RBF网络的速度很快,但当输入向量数目很大时,将导致网络的规模也很大。,方法二:有监督学习法,第一部分:,RBF,单元的参数,RBF网络的所有参数都用监督学习(梯度下降法)从样本学习。,分别计算误差性能函数对各组参数的偏导数,得参数的修正公式,作业:用,梯度下降法推导RBF网络调节各参数的公式。,方法三:样本聚类法,对所有样本的输入进行聚类(将数据集划分成一定数量的子集),找出有代表性的数据点(聚类中心点)作为RBF单元的中心向量,从而极大地减少隐RBF单元数目,降低网络的复杂程度。,这里介绍k-均值聚类算法调整中心向量。此算法中,聚类中心为使得该子类内各样本向量距该中心的距离最小。,第一部分:,RBF,单元的参数,K-,均值聚类算法,K-,均值法的聚类准则函数,含义:求k个子集中的各样本与其所属样本子集中心间的距离平方和,再对所有k类求和。,该准则函数能使聚类域中所有样本到该类中心距离的平方和(欧式距离)为最小。,K-,均值聚类算法,算法步骤,(1)给定初始聚类中心向量 c,i,(0)和判定停止计算的,;,(2)计算距离(欧氏距离)并求出最小距离的节点,式中,k为样本序号,r为中心向量c,i,(k-1)与输入样本x(k)距离最近的隐节点序号;,K-,均值聚类算法步骤,(3)调整中心,其中,(k)=(k-1)/(1+int(k/q),1/2,(k),是学习速率,,0(k),1,。,int()表示对()进行取整运算。,可见,每经过q个样本之后,调小一次学习速率,逐渐减至零。,K-,均值聚类算法步骤,(4),判定聚类质量,对于全部样本k(k=1,2,N)反复进行以上(2)、(3)步,直至满足,J,e,,则聚类结束。,上述k-均值聚类法是在类别k已知的条件下进行的。若类别未知,则可以假设类别数是逐步增加的,例如对k=1,2,3,分别使用该算法。显然准则函数是随着k的增加而单调减少的。当达到合理聚类数后,J的变化呈平缓趋势。,聚类示意图(二维),K-,均值聚类,K-,均值聚类算法确定,RBF,神经元的参数,1.RBF神经元中心向量,c,i,2.RBF神经元宽度(或偏值,b,),原则:,使得所有RBF单元的接受域之和覆盖整个训练样本空间。,方法1,:宽度为中心向量(聚类中心)与属于该类的样本之间的平均距离。,方法2,:宽度为该单元的中心与其它最邻近的N个近邻单元中心距离的平均值。,方法3,:经验试凑法,第一部分:,RBF,单元的参数,第二部分:,输出单元参数的学习,方法一:线性最小二乘法,方法二:梯度法,4.4.3 RBF网络的Matlab仿真,在MATLAB命令窗口键入“,help radbasis,”,便可得到与径向基神经网络相关的函数。,径向基神经网络工具箱函数,1.计算矢量间的距离函数dist(),2.径向基传输函数radbas(),3.设计径向基网络newrb(),net=newrb(X,T,goal,spread),式中,X为输入向量;T 为目标向量;goal为目标均方差,默认为0;spread为径向基函数的分布系数(宽度),默认为1;net为生成的网络。,利用函数newrb()建立的径向基网络,能够在给定的误差目标范围内找到能解决问题的最小的网络。不需要再训练,可以直接使用。,4.设计精确径向基网络newrbe(),net=newrbe(X,T,spread),基于,GUI,的径向基神经网络设计,基于,Simulink,的径向基神经网络设计,径向基神经网络工具箱函数,4.4.4 RBF网络的应用,RBF网络的应用主要是函数逼近。从理论上而言,RBF网络和BP网络一样可近似任何的连续非线性函数。,例:利用RBF网络实现正弦函数逼近,X=-1:0.1:1;,T=sin(PI*X);,用,RBF,作为隐单元的“基”构成隐含层空间,这样就可将输入矢量直接(即不通过权连接)映射到隐空间。当,RBF,的中心点确定以后,这种映射关系也就确定了。而隐含层空间到输出空间的映射是线性的,即网络的输出是隐单元输出的线性加权和。此处的权即为网络可调参数。由此可见,从总体上看,网络由输入到输出的映射是非线性的,而网络输出对可调参数而言却又是线性的。,这样网络的权就可由线性方程组直接解出或用LMS方法计算,,从而大大加快学习速度并避免局部极小问题。,4.4.5 RBF网络的有关问题,构成,RBF,网络的基本思想,4.4.5 RBF网络的有关问题,RBF网络是一种局部逼近的神经网络。众所周知,BP网络用于函数逼近时,权值的调节采用的是负梯度下降法,这种调节权值的方法有它的局限性,即存在着收敛速度慢和局部极小等缺点。而RBF神经网络无论在逼近能力、分类能力和学习速度等方面均优于BP网络。径向基函数网络比BP网络需要更多的神经元。,RBF,网络与,BP,网络,采用径向基函数网络来完成函数逼近任务,将结果同,BP,网络以及改进,BP,算法的前向网络的训练结果做比较后,发现径向基函数网络所用的时间最短。,但并不等于径向基网络就可以取代其它前馈网络。这是因为径向基网络很可能需要比,BP,网络多得多的隐含层神经网络元来完成工作。,BP,网络使用,sigmoid(),函数,这样的神经元有很大的输入可见区域。而径向基网络使用的径向基函数,输入空间区域很小。这就导致了在实际需要的输入空间较大时,需要很多的径向基神经元。,RBF,网络与,BP,网络,
展开阅读全文