BP神经网络PPT.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,BP神经网络PPT,主要内容,一,.,人工神经网络基本知识,生物神经网络、生物神经元,人工神经网络、人工神经元,人工神经网络三要素,典型激活函数,神经网络几种典型形式,二,.,前馈神经网络、多层感知器、及非线性分类,三,.BP,神经网络,四,.,数据处理及神经网络结构的选择,五,.,应用,人工神经网络,是,生物神经网络,的某种模型,(,数学模型,),是对生物神经网络的模仿,基本处理单元为,人工神经元,1.,生物神经系统与生物神经元,大量,生物神经元,的广泛、复杂连接，形成,生物神经网络,(Biological Neural Network,BNN),。,实现各种智能活动,生物神经元,(neuron),是基本的信息处理单元,(1),生物神经系统,生物神经元,(neuron),是基本的信息处理单元,其组成：,树突,(dendrites),接收来自外接的信息,细胞体,(cell body),神经细胞主体，信息加工,轴突,(axon),细胞的输出装置，将信号向外传递，,与多个神经元连接,突触（,synapsse),神经元经突触向其它神经元（胞体或树突）传递信号,(2),生物神经元的基本特征,神经元之间彼此,连接,神经元之间的,连接强度,决定,信号传递,的强弱,神经元之间的,连接强度,可以,随训练改变,学习、遗忘、疲劳,-,神经网络中各神经元之间,连接的强弱,，按外部的激励信号做,自适应变化,兴奋与抑制,信号可以起,兴奋,作用，也可以起,抑制,作用,一个神经元接受信号的,累积效果（综合大小，代数和）,决定该神经元的,状态,(,兴奋、抑制,),每个神经元可以有一个,“阈值”,2.,人工神经网络与人工神经元,(1),基本的人工神经元模型,McCulloch-Pitts,神经元模型,输入信号；链接强度与权向量；,信号累积,激活与抑制,(1),基本的人工神经元模型,(2),输出函数,f,(2),几种常见形式的传递函数,(,激活函数,),(2),输出函数,f,(2),输出函数,f,主要内容,人工神经网络基本知识,二,.,前馈神经网络、多层感知器、及非线性分类,三,.BP,神经网络,四,.,数据处理及神经网络结 构的选择,五,.,应用,各神经元接受来自前级的输入，并产生输出到下一级，,无反馈,，可用一有向无环图表示。,网络中的节点分两类：,输入节点,；,计算节点,(,神经元节点,),节点按层,(layer),组织：,第,i,层的输入只与第,i,-1,层的输出相连。,输入信号由输入层输入,由第一层节点输出，传向下层，,前馈：信息由低层向高层单向流动,。,-,可见层,输入层,(input layer),输入节点所在层，无计算能力,输出层,(output layer),节点为神经元,隐含层,(hidden layer),中间层，节点为神经元,1.,前馈,(forward),神经网络,具有,三层计算单元的,前馈神经网络结构,2.,感知器神经网络,(,感知器,),、感知器神经元,感知器神经元,单层感知器网络,感知器神经元的传递函数,单层感知网络可以实现线性分类,2.,感知器神经网络、感知器神经元,(,续,),(1),多层感知器,(MLP),的一致逼近性,单个阈值神经元可以实现,任意多输入,的,与,、,或,及,与非,、,或非,逻辑门。,任何逻辑函数可由两层前馈网络（一层计算单元）实现,。,三层或三层以上的前馈网络通常称为,多层感知器,多层感知器的适用范围大大超过单层网络。,3.,多层感知器（含两层以上的计算单元）,多层感知器示意,当神经元的输出函数为,sigmoid,等函数时，三层前馈网络,(,含两层计算单元,),可以逼近,任意的多元非线性函数,。,主要内容,一,.,人工神经网络基本知识、神经元与感知器,二,.,前馈神经网络、多层感知器、及非线性分类,三,.BP,神经网络,四,.,数据处理及 神经网络结构的选择,五 应用,基于,阈值神经元,的多层感知器不足,隐含层不直接与外界连接，误差无法直接估计,中间层神经元的激活函数为阈值函数,(,或阶跃函数,),无法采用,梯度下降法,训练神经元权值,基于,BP,算法的多层感知器,(BP,网络,),各,计算单元,(,神经元节点,),传递函数,：,Sigmoid,函数,误差,逐层反向传播；,信号,逐层,正向传递,BP,神经网络训练的两个阶段,(1),信号正向传递过程,输入信息,从,输入层,经,隐层,逐层、正向传递，直至得到各计算单元的输出,(2),误差反向传播过程,输出层误差,从,输出层,开始，逐层、反向传播，可间接计算隐层各单元的误差，并用此误差修正前层的权值,.,BP,网络的优点,特别适合于求解内部机制复杂的问题,BP,网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明,它具有实现任何复杂非线性映射的功能,具有自学习能力,网络能通过学习,带正确答案的实例集,自动提取“合理的”求解规则,网络具有一定的推广、概括能力,。,BP,网络的问题，如：,BP,算法的学习速度较慢,网络训练失败的可能性较大,网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定,。,网络的预测能力（泛化能力、推广能力）与训练能力（逼近能力、学习能力）的矛盾,。,主要内容,一,.,人工神经网络基本知识、神经元与感知器,二,.,前馈神经网络、多层感知器、及非线性分类,三,.BP,神经网络,四,.,数据处理及神经网络结构的选择,五 应用,PART1.,输入,/,输出数据的处理,回归或状态预测，数据处理方式有所区别,建模前输入输出数据的预处理,正向标准化,建模后输入输出数据的后处理,反向标准化,特征的平移,特征的尺度调整,0,1,-1,1,-,a,a,0,a,PART2.,神经网络的层次选择,对多层网络要确定选用几个隐含层？,1988,年,Cybenko,指出，若各节点均采用,S,型函数，则,一个隐含层,足以实现任意判决分类问题；,两个隐含层,足以实现输入图形的任意输出,网络层次选取依经验和情况而定，通常不宜过多。,PART3.,节点数目的确定,输入层、输出层、隐含层节点数,1.,输入层节点数的确定,节点数,=,输入向量的维数,2.,输出层节点数的确定,节点数,取决于,:,输出的表示方法,;,类别数目；,待逼近的函数数目。,(1),两类别问题,单输出型,1,个判别函数，,1,个输出节点,(2),多类别问题,输出节点数是类别数：,“,C,中取,1(1-of-C)”,C,位“,0-1”,二进制编码,输出节点数是二进制编码的状态数,8,类问题，,3,位二进制数,可能会需增加,1,个隐含层以满足要求,(3),输出节点数是待逼近的函数个数,隐含层节点数目越大，网络学习能力越强，但不能保证预测能力好,“,过学习,(,过拟合,)”,overfitting,隐含层节点不能过少，网络不能构建复杂决策面：节点数越小，网络学习能力低,-“,欠学习,(,欠拟合,)”,underfitting,如何选择适当数目“隐含层”节点，以取得“过学习”与“欠学习”之间的平衡？,3.,隐含层节点数的确定,试凑法,结合问题先验知识,结合特定算法,对隐含层节点数的选择，,Nielson,等指出：,除了图像情况，,在大多数情况下，可使用,4-5,个隐含层节点对应,1,个输入节点。,在图像情况下,，像素的数目决定了输入节点的数目，此时隐含层结点可取输入结点数的,10%,左右。,其它经验,主要内容,一,.,人工神经网络基本知识、神经元与感知器,二,.,前馈神经网络、多层感知器、及非线性分类,三,.BP,神经网络,四,.,神经网络结构的选择,五 应用,回归,状态预测,1.,状态预测,-,参考,MATLAB,神经网络,30,个案例分析,例,.,基于,BP,神经网络的数据分类,四类语音特征信号分析,每组语音信号为,24,维输入；,四类语音信号：民歌、古筝、摇滚、流形,共计,2000,组语音信号,要求：基于,BP,网络设计一个语音信号类别预测模型,代码：见案例,1,例：,2.,回归估计,例：基于,BP,神经网络的公路运量,(,客运量、货运量,),预测,公路运量与该地区人数、机动车数量、公路面积有关。,已知某地区,20,年的公路运量有关数据，对于未来某两年，若明确该地区人数、机动车数量、公路面积，要求：预测该地区的公路运量。,分析：,(1),明确模型输入输出关系,(2),建模：,原始数据读取；数据标准化处理；网络训练；,(3),模型评价：,对原始数据仿真，明确预测误差,(4),输出预测结果：对新数据预测结果,