人工神经网络课件3.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,单层感知器,Rosenblatt（1958）提出感知器作为有教师学习的第一个模型。,感知器是用于,线性可分,模式分类的最简单神经网络模型。,如果用来训练神经网络的模式来自两个线性可分得类，Rosenblatt已经证明，特定的感知器算法一定是收敛的。,单层感知器的神经元模型,偏置输入一般置为1,单层感知器激活函数,激活函数一般选择为STEP函数,训练设计,给出由标准输入和标准输出组成的样本对,足够多的样本对构成训练集合,反复进行训练，并跟踪实际输出与标准输出之间的误差,根据误差修改权重,直到误差满意为止。,训练可分为,串行模式,和,批量模式,学习算法,通用规则：定义某个与权重相关的能量函数E(w)，通过修改w,使E(w)0,相关方法：,最速下降法（梯度法）,Newton法,最小均方法LMS,（详见板书推导）,单层感知器Matlab展示,多层感知器MLP,具有隐层的前传网络,MLP必须具有实现逻辑函数的能力,MLP必须具有实现模式空间分类的能力,MLP必须具有实现非线性变换（泛函逼近）能力,主要困难：隐层神经元的学习算法,MLP神经元模型,MLP激活函数,Sigmoid函数（S形曲线）,logsig(n)=1/(1+exp(-n),tansig(n)=2/(1+exp(-2*n)-1,This is mathematically equivalent to tanh(n)双曲正切函数,MLP激活函数,选择Sigmoid函数发明者认为的依据：,1、算法要求激活函数在定义域内任意点连续可微。,2、发明者认为Sigmoid函数与人的神经生理活动规律相似。,3、数学上Sigmoid函数便于通过叠加实现复杂映射。,MLP的网络结构及符号约定,源节点,输入层,隐藏神,经元层,神经元输出层,P,k,w,jk,V,j,w,ij,O,i,K表示输入向量的维数，,表示输入向量的个数（又称为模式）,从输入到输出的顺序表示为：K,J,I,信号（函数响应）沿箭头方向向前传递；,同时误差反向传递,BackPropagation Algorithm,详见板书推导过程,BP算法的优缺点,优点：算法一定收敛，用途广泛,缺点：,存在局部最优问题,收敛速度慢,层数与每层神经元数的选取无科学依据,被证明具有“喜新厌旧”倾向（过度训练问题）,BP算法的修正与推广,对能量函数重新构造,动量法,共轭梯度法等变形,实际应用的注意事项,经验定理1：BP网的推广能力与网络大小成反比（过度拟和问题）,经验定理2：两个隐层足以逼近任意连续函数,证明：连续函数可分为Bump,G(x)-G(x-c)在x=c/2时取得最大值（Peak）,G(ax+b)-G(ax+c)可在任意处取得最大值,用Sigmoid函数可压缩Peak,实际应用的注意事项,经验定理3：关于各层神经元数量的选取有如下经验：,对输入层：决定于问题,对输出层：决定于要求,隐层：神经元数量约为e,输入层节点数,可对影响小的隐层神经元逐步进行剔除,