机器学习神经网络PPT.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2016/12/28,#,机器学习神经网络,什么是神经网络,BP(,误差逆传播,),神经网络,遗传算法原理,遗传,BP,神经网络相结合,仿真,目录,什么是神经网络,神经元,：生物学上的神经元,人工神经元是对生物神经元的简化和模拟。生物神经元由细胞体、树突和轴突这三部分组成，如图所示。树突是细胞的输入端，通过细胞间连接的节点“突触”接触四周细胞传出的神经冲动，轴突相当于细胞的输出端，其端部的众多神经末梢为信号的输出端子，用于传出神经冲动。生物神经元具有兴奋和抑制两种工作状态。当传入的神经冲动，使细胞膜电位升高到阈值,(,约为,40mV),时，细胞进入兴奋状态，产生神经冲动，由轴突输出。相反，若传入的神经冲动，使细胞膜电位降到低于阈时，细胞进入抑制状态，没有神经冲动输出。,什么是神经网络,神经元,模型：为了模拟生物神经元，一个简化的人工神经元如图所示。,它有三个基本要素：,1,一组连接权,(,对应于生物神经元的突触,),，连接强度由各连接上的权值表示，权,值为正表示激励，为负值表示抑制。,2,一个求和单元，用于求取各输入信息的加权和,(,线性组合,),。,3,一个非线性激励函数，起非线性映射作用并限制神经元输出幅度在一定的范围之内。此外还有一个阙值。阈值也被看作是一个输入分量，也就是阈值也是一个权值。在网络的设计中，偏差起着重要的作用，它使得激活函数的图形可以左右移动而增加解决问题的可能性。,什么是神经网络,神经元,模型：数学表达,净,输入通过,传递（,Transfer,Function,）,f,(),后，便得到第,j,个神经元的输出,:,于是节点,j,的净输入可表示为：,什么是神经网络,神经元,模型,：传递函数,/,激励函数,阶跃函数,Sigmoid,（,x,）,函数,BP,神经网络,BP,神经网络原理,BP,算法由数据流的前向计算（正向传播）和误差信号的反向传播两个过程构成。正向传播时，传播方向为输入层隐层输出层，每层神经元的状态只影响下一层神经元。若在输出层得不到期望的输出，则转向误差信号的反向传播流程。通过这两个过程的交替进行，在权向量空间执行误差函数梯度下降策略，动态迭代搜索一组权向量，使网络误差函数达到最小值，从而完成信息提取和记忆过程。,BP,神经网络,BP,神经网络原理：正向传播,至此,B-P,网络就完成了,n,维空间向量对,m,维空间的近似映射。,输出层节点的输出为,BP,神经网络,BP,神经网络原理：,反,向传播,定义误差,函数,式,中 为,期望输出。对于个样本，全局误差为：,BP,神经网络,BP,神经网络原理：,反,向传播,输出层权值的变化,于是,最终,输出层,各神经元的权值调整公式为,：,（学习效率）,BP,神经网络,BP,神经网络,计算步骤,BP,神经网络,BP,神经网络存在的问题,BP,算法理论具有依据可靠、推导过程严谨、精度较高、通用性较好等优点，但标准,BP,算法存在以下缺点,：,收敛,速度缓慢,；,容易,陷入局部极小值,；,难以,确定隐层数和隐层节点个数,。,在,实际应用中，,BP,算法很难胜任，因此出现了很多改进算法。,自适应调整学习速率：调整的基本指导思想是：在学习收敛的情况下，增大,，以缩短学习时间；当,偏大致使不能收敛时，要及时减小,，直到收敛为止。,利用动量法改进,BP,算法：动量法权值调整算法的具体做法是：将上一次权值调整量的一部分迭加到按本次误差计算所得的权值调整量上，作为本次的实际权值调整,量,。,遗传算法原理,遗传,算法,(GA,Genetic Algorithm),，也称进化算法。遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识,。,进化论知识,作为,遗传算法生物背景的介绍，下面内容了解即可,：,种群,(Population),：生物的进化以群体的形式进行，这样的一个群体称为种群,。,个体,：组成种群的单个生物,。,基因,(Gene),：一个遗传因子。,染色体,(Chromosome),：包含一组的基因。,生存竞争,，适者生存：对环境适应度高的、牛,B,的个体参与繁殖的机会比较多，后代就会,越来越,多,。适应度低的个体参与繁殖的机会比较少，后代就会越来越少。,遗传,与变异：新个体会遗传父母双方各一部分的基因，同时有一定的概率发生基因变异。,简单,说来就是：繁殖过程，会发生基因交叉,(Crossover),，基因突变,(Mutation),，适应度,(Fitness),低的个体会被逐步淘汰，而适应度高的个体会越来越多。那么经过,N,代的自然选择后，保存下来的个体都是适应度很高的，其中很可能包含史上产生的适应度最高的那个个体。,遗传算法,原理,流程图,遗传算法原理,基于,遗传算法的神经网络权值学习,具体步骤如下：,1,编码方式：神经网络的权值学习是一个复杂的连续参数优化问题，如果采用,二进制编码,，会造成编码串过长，且需要再解码为实数，使权值变化为步进，影响网络,学习精度,。这里我们采用了实数编码，如,图,34,所,示，神经网络的各个权值按一定的顺序,级联,为一个长串，串上的每一个位置对应着网络的一个权值。,遗传算法原理,基于,遗传算法的神经网络权值学习,3,评价函数：将染色体上表示的各权值分配到给定的网络结构中，网络以训练集,样本,为输入输出，运行后返回误差平方和的倒数作为染色体的评价函数。,遗传算法原理,基于,遗传算法的神经网络权值学习,4,遗传算子：对于不同的应用问题，遗传算子的形式多种多样，这里采用了权值,交叉,和权值变异算子。如图,35,所示。,遗传算法原理,基于,遗传算法的神经网络权值学习,其中，,N,是群体规模。在实际学习中，一般将适应度最大的个体无条件地遗传给,下一代,。,遗传,BP,神经网络相,结合,遗传,BP,神经网络相,结合的优势,遗传,算法能够收敛到全局最优解，而且遗传算法的鲁棒性较强，将遗传算法与,前馈神经网络,结合起来是很有意义的，不仅能发挥神经网络的非线性映射,能力，,而且使,神经网络,具有很快的收敛速度和较强的学习能力,。,将,遗传算法用于学习神经网络权值，首先确定神经网络的结构，列出神经网络的,神经元,和神经元之间的连接关系，将这些连接权编码成实数码串表示的个体，随机地,生成这些,码串的群体；然后，进行常规的遗传算法优化计算；最后将最优个体解码，确定,神经网络,的权值。,遗传,BP,神经网络相,结合,遗传,一,BP,结合,算法,在本文中设计的权值学习算法中，网络的权值是经过三个阶段的学习得到的,。,第一个,阶段，利用,BP,算法进行一定次数的学习以达到选取初值的效果,；,第二,个阶段，,采用遗传,算法完成接近给定精度的网络学习，完成一定精度的学习,；,第三,个阶段，在遗传,算法,收敛速度较慢时，改用,BP,算法完成给定精度的学习。这样建立的网络模型稳定、,全局,收敛速度快，同时具有很强的记忆能力和推广能力。算法流程图如,图所,示。,遗传,BP,神经网络相,结合,遗传,一,BP,神经网络模型,有了上面的理论基础，我们现在开始构建用于图像识别的遗传,BP,网络分类器，,其网络模型,如图,37,所示,仿真,手写体,数字识别在邮政编码识别、银行业务等方面有重要的应用，由于字体变化大,，因此,识别率要求较高,。,实验,数据为美国邮政服务数据库,USPS(US Postal Service,),中,的编码集,。,USPS,数据库以,Matlab,文件形式存在的。有,7291,个训练样本和,2007,个测试,样本,，每一个模式都以,16x 16,的点阵形式存在，点阵的每一个元素,都是,-1+l,之间的,双精度,实数,。,我们,从训练样本中选取,200,个作为训练集，从测试样本中选取,100,个作为,测试,集,。,表,32,、,33,给出了每一个文件的,结构。其中,trainarg,给出了每个模式的真是,类别,。比如说，一个数是,6,，那么它在,6,这个位置上为,1,，其余位置为一,1,。,仿真,我们,分别采用遗传一,BP,神经网络和标准,BP,神经网络进行实验,。网络,参数设置如下：我们都采用四层神经网络，输入节点为,256,，输出节点设为,4(,经过,8421,编码,),，为了保证网络输出,O,l,范围内的数，隐含层和输出层神经元的,传递函数,均取,Sigmoid,函数。交叉率选,为,0.3,，,变异率选,为,0.1,。,经过,实验，各个网络收敛曲线如图,3-8,，图,39,所示，从曲线中我们可以发现，,在相同,的误差范围内，遗传一,BP,网络收敛速度快，训练时间短。在对数字图像进行识别时,，遗传,一,BP,网络的正确识别率达到,98,，而,BP,网络识别率是,94,7,。,仿真,介绍,了图像识别中常用的前馈神经网络及其采用,BP,算法，并将具有全局优化功能的遗传算法与前馈神经网络相结合，提出了一种遗传与,BP,相结合的图像识别方法，解决了,BP,算法容易陷入局部极小的不足。并给出了仿真,试验,结果,。,