神经网络分类器ppt课件.ppt

第五章第五章 神神经网网络分分类器器5.1 感知器算法感知器算法5.2 神神经网网络分分类器器1.5.1 感知器算法感知器算法一、引言一、引言模式模式识别与人工智能是研究如何利用与人工智能是研究如何利用计算机算机实现人人脑的一些的一些功能。功能。2.人工神人工神经网网络研究的研究的发展：展：u1943年，提出形式神年，提出形式神经元的数学模型，人工神元的数学模型，人工神经网网络研究的研究的开端。开端。u1949年，提出神年，提出神经元的学元的学习准准则，为神神经网网络的学的学习算法奠算法奠定了基定了基础。u50年代，研究年代，研究类似于神似于神经网网络的分布系的分布系统。u50年代末提出感知模型，把神年代末提出感知模型，把神经网网络的的实现付付诸工程工程实践。践。u1982年，提出神年，提出神经网网络的数学模型，引入了能力的概念，研的数学模型，引入了能力的概念，研究了网究了网络的的动力学特性；力学特性；设计出用出用电子子线路路实现网网络的方案，的方案，大大促大大促进了神了神经网网络的研究。的研究。u1986年，提出多年，提出多层感知器的反向感知器的反向传播算法。播算法。u现在神在神经网网络的的应用已渗透到智能控制、信号用已渗透到智能控制、信号处理、理、优化化计算、生物医学工程等算、生物医学工程等领域。域。3.二、人工神二、人工神经元元1、生物神、生物神经元元典型的神典型的神经元，即神元，即神经细胞胞结构：胞体、构：胞体、树突、突、轴突、突触突、突触胞体：神胞体：神经细胞的本体，完成普通胞的本体，完成普通细胞的生存功能。胞的生存功能。树突：有大量的分枝，接受来自其他神突：有大量的分枝，接受来自其他神经元的信号。元的信号。轴突：用以突：用以输出信号。出信号。突触：神突触：神经元相元相联系的部位，系的部位，对树突的突触突的突触为兴奋性的，使性的，使下一个神下一个神经元元兴奋；对胞体的突触胞体的突触为抑制性的，阻止下一个抑制性的，阻止下一个神神经元元兴奋。4.神神经元的基本工作机制：元的基本工作机制：u神神经元的两种工作状元的两种工作状态：兴奋和抑制。和抑制。u动态极化原极化原则：在每一个神：在每一个神经元中，信息以元中，信息以预知的确定方知的确定方向流向流动，即从神，即从神经元的接收信息部分元的接收信息部分传到到轴突的突的电脉冲起脉冲起始部分，再始部分，再传到到轴突突终端的突触，以与其它神端的突触，以与其它神经元通信。元通信。u连接的接的专一性原一性原则：神：神经元之元之间无无细胞胞质的的连续，神，神经元元不构成随机网不构成随机网络，每一个神，每一个神经元与另一些神元与另一些神经元构成精确元构成精确的的联接。接。信号的信号的传递过程：程：u接受接受兴奋电位；位；u信号的信号的汇集和集和传导；u信号的信号的输出。出。5.2、人工神、人工神经元元人工神人工神经元模型：元模型：xi：输入，神入，神经元的元的输入入值i：权值，突触的，突触的连接接强度度f：输出函数，非出函数，非线性函数性函数y：输出出神神经元元动作：作：常用常用输出函数：出函数：阈值函数：函数：6.双曲正切函数：双曲正切函数：非非线性，性，单调性性无限次可微无限次可微权值很大很大时接接近近阈值函数函数权值很小很小时接接近近线性函数性函数阶跃函数：函数：7.f 为阈值函数：函数：3、感知器模型、感知器模型8.则：y=sgn(WTX)即：即：y=f(WTX)这种神种神经元没有内部状元没有内部状态的的转变，而且函数，而且函数为阈值型。因此，型。因此，它它实质上是一种上是一种线性性阈值计算算单元。元。感知器是一个具有感知器是一个具有单层计算算单元的人工神元的人工神经网网络。感知器。感知器训练算法就是由算法就是由这种神种神经网网络演演变来的。来的。设阈值：=-0W=(1,2,n,0)TX=(x1,x2,xn,1)T感知器算法能感知器算法能够通通过对训练模式模式样本集的本集的“学学习”得出判得出判别函函数的系数解。数的系数解。9.算法描述算法描述用用样本本训练时，若，若xi，g(x)0，则w不不变。若若g(x)0，分，分别赋予初始增予初始增广广权矢量矢量w(1)的各分量的各分量较小的任意小的任意值。u输入入训练模式模式xk，计算判算判别函数函数值wT(k)xk u调整增广整增广权矢量，矢量，规则是：是：如果如果wT(k)xk0,则w(k+1)=w(k)+Cxk如果如果wT(k)xk0,则w(k+1)=w(k)u如果如果kdj(x)任意任意 j i，则判判xi(1)赋初初值，分，分别给c个个权矢量矢量wi(1)（i=1,2,c）赋任意任意的初的初值，选择正常数正常数，置步数，置步数k=1.(2)输入符号未入符号未规范化的增广范化的增广训练模式模式xk,xkx1,x2 xN,计算算c个判个判别函数：函数：di(xk)=wi(k)xk(i=1,2,c)(3)调整增广整增广权矢量，矢量，规则是：是：u如果如果xki和和di(xk)dj(xk)(任意任意j i)，则：wi(k+1)=wi(k)(i=1,2,c)算法步算法步骤：16.u如果如果xki和和dl(xk)di(xk)(l i)则：wi(k+1)=wi(k)+xk wl(k+1)=wl(k)-xk wj(k+1)=wi(k)(任意任意j l,i)(4)如果如果kN,令令k=k+1,返至返至(2)。如果。如果k=N，则检验判判别函数函数wix对x1,x2 xN,是否都能正确分是否都能正确分类。若。若是，是，结束；若不是，令束；若不是，令k=1,返至返至(2)17.例例2：已知：已知训练样本本(0，0)属于属于1类，(1，1)属于属于2类，(-1，1)属于属于3类，试求解向量求解向量w1*,w2*,w3*18.实验四四：实验所所用用样本本数数据据如如表表给出出，编制制程程序序实现1、2、3、4类的分的分类。19.7、感知器算法推广、感知器算法推广由感知器算法：由感知器算法：进一步：将一步：将cxk变为对分分类错误敏感的准敏感的准则函数函数J(w,x)定定义：梯度下降准梯度下降准则20.u感知机感知机Perceptron(Rosenblatt 1958)Adaline(Widrow and Hoff)uPerceptron(Minsky&Papert,1969)uHopfield模型模型(Hopfield，1982)u多多层感知机感知机MLP与反向与反向传播算法播算法BP(Rumelhart,1986)5.2 神神经网网络分分类器器神神经网网络的特点的特点u自学自学习u自适自适应u并行并行处理理u分布表达与分布表达与计算算21.神神经网网络本本质上可以理解上可以理解为函数逼近，可以函数逼近，可以应用到众多用到众多领域：域：u优化化计算算u信号信号处理理u智能控制智能控制u模式模式识别u机器机器视觉等等神神经网网络的的应用用22.常用常用输出函数：出函数：线性性输出函数：出函数：a=f(x)=xSigmoid 函数：函数：23.Hebb学学习规则：如果神如果神经元元ui接收来自另一神接收来自另一神经元元uj的的输出，出，则当当这两个神两个神经元同元同时兴奋时，从，从uj到到ui的的权值wij就得到加就得到加强，可写成：，可写成：神神经元的学元的学习算法算法式中式中wij为到到uj的第的第i个个权值的修正量，的修正量，为控制修正速度的系控制修正速度的系数。数。“修正修正”为“增增强”或或“减弱减弱”的概念，不局限于代数的概念，不局限于代数的的“加加”或或“减减”。24.u前前馈神神经网网络：各神：各神经元接受前元接受前级输入，并入，并输出到下一出到下一级，无反无反馈，可用一有向无，可用一有向无环图表示。表示。u前前馈网网络通常分通常分为不同的不同的层，第，第i层的的输入只与第入只与第i-1层的的输出出联接。接。u可可见层：输入入层和和输出出层u隐层：中：中间层5.2.1 前前馈神神经网网络及其主要方法及其主要方法25.26.例：感知器例：感知器u双双层神神经网网络：一：一层为输入入层，另，另一一层有有计算算单元；元；u修正修正权值w：式中式中k为迭代次数。迭代次数。i=1,2,n j=1,2,mu反复依次反复依次输入入训练集中的特征向量集中的特征向量x，计算算实际输出出值，并修正，并修正权向量向量u与与线性判性判别函数等价，只解决函数等价，只解决线性可分性可分问题，收，收敛速度快速度快27.三三层前前馈神神经网网络用三用三层前前馈神神经网网络实现逻辑门例：与非例：与非门(NAND)x1,x2-1,1y-1,1用前用前馈神神经网网络实现“与非与非门”，可，可组成任何成任何逻辑函数函数28.三三层神神经网网络实现非非线性分性分类例：异或例：异或(XOR)任何一个任何一个逻辑电路都可以只用路都可以只用XOR门来来实现，XOR是通用是通用门29.实线：+虚虚线：-数字：数字：权值单个个阈值神神经元可元可实现任意多任意多输入的与、或、与非、或非入的与、或、与非、或非门任何任何逻辑函数可用一个三函数可用一个三层前前馈网网络实现30.有有4个模式，要分个模式，要分为2类：31.u适当适当选取神取神经元的元的输出函数，两出函数，两层前前馈神神经网网络可以逼近可以逼近任意的多元非任意的多元非线性函数性函数u若有足若有足够多的多的隐单元，任何从元，任何从输入到入到输出的出的连续函数都可函数都可以用一个以用一个这样的三的三层网网络任意精度近似任意精度近似u三三层或三或三层以上的前以上的前馈网网络通常被叫做多通常被叫做多层感知器感知器(MLP)uMLP的适用范的适用范围大大超大大超过单层网网络32.多多层前前馈网网络u双双层网网络一个一个线性性边界界u三三层或三或三层以上以上任意任意决策决策边界界存在存在问题：u未未给出出隐单元数目元数目u未未给出出权值u仅根据根据训练样本，很本，很难知道知道应该有什么形式的界有什么形式的界面函数面函数u实际设计过程中程中还有很有很多多问题33.u三三层前前馈网网络的使用范的使用范围大大超大大超过二二层前前馈网网络，但学，但学习方法方法较为复复杂，主要困，主要困难是中是中间的的隐层不直接与外界不直接与外界连接，接，无法直接无法直接计算其算其误差。差。1、反向、反向传播算法播算法u反向反向传播算法：从后向前反向逐播算法：从后向前反向逐层“传播播”输出出层的的误差，差，以以间接算出接算出隐层误差。分两个差。分两个阶段：段：u正向正向过程：从程：从输入入层经隐层逐逐层正向正向计算各算各单元的元的输出出u反向反向过程：由程：由输出出层误差逐差逐层反向反向计算算隐层各各单元的元的误差，并用此差，并用此误差修正前差修正前层的的权值u用已知用已知类别的特征向量的特征向量为训练集，当集，当输入属于第入属于第j类的特的特征向量征向量时，应使使输出出yj=1，其他，其他输出出为-1；设期望的期望的输出出为：Y=y1,y2,ynT，实际输出出为：34.某一某一层第第j个个计算算单元：元：ui：前一：前一层的第的第i个个计算算单元元uk：后一：后一层的第的第k个个计算算单元元uOj：本：本层的第的第j个个计算算单元的元的输出出uwij：前一：前一层第第i个个单元到本元到本层第第j个个单元的元的权值35.正向正向过程：程：输入某入某样本本时，从前到后，从前到后对每个神每个神经元元计算：算：对输出出层，是是实际输出出值，yj是期望是期望输出出值，误差差为：定定义局部梯度：局部梯度：计算算权值对误差的影响：差的影响：36.利用梯度下降原理利用梯度下降原理为使使误差尽快减小，令修正量差尽快减小，令修正量为：wij=-jOi wij(t+1)=wij(t)+wij(t)t为迭迭代次数代次数若若单元元j为输出出单元：元：若若单元元j不是不是输出出单元，元，则Oj会影响后会影响后层所有所有单元，有：元，有：37.误差反向差反向传播原理示意播原理示意图隐层单元元j的局部梯度的局部梯度j正比于正比于输出出单元局部梯度的元局部梯度的k加加权和和由此，由此，输出出单元的局部梯度就元的局部梯度就“反向反向”传播回到播回到隐层单元元当非当非线性函数性函数f为双曲正切函数双曲正切函数时：38.反向反向传播算法播算法u设权值的随机初始的随机初始值(较小的随机数小的随机数)u反复反复执行如下操作行如下操作(依次依次输入如下入如下样本本)，直到收，直到收敛l从前向后逐从前向后逐层计算每个算每个单元的元的Oj，l计算每个算每个输出出单元的局部梯度元的局部梯度jl从后向前反向从后向前反向计算每个算每个隐层单元元l计算并保存每个算并保存每个权值修正量修正量l修正修正权值可可对各各样本修正本修正权值，也可各，也可各样本本计算算j后按后按总误差修正差修正权值39.讨论u梯度下降法求非梯度下降法求非线性函数极性函数极值，可能局部极小，不能保，可能局部极小，不能保证收收敛到全局极小点到全局极小点u三三层或更多或更多层网网络，初始，初始权值不能全不能全为零或都相同，否零或都相同，否则各各隐层单元无差异，迭代无效果。通常采用小随机数，如元无差异，迭代无效果。通常采用小随机数，如区区间-0.3，0.3u初始初始值影响收影响收敛，不收，不收敛时改改变初始初始值重新迭代重新迭代u步步长参数参数对收收敛影响大，不同影响大，不同问题最佳最佳值不同，不同，约0.13u惯性系数性系数影响收影响收敛速度，常用速度，常用0.91，1时不收不收敛u输入入单元数元数=特征向量特征向量维数，数，输出出单元数元数=类别个数个数 40.径向基函数：沿某种径向径向基函数：沿某种径向对称的称的标量函数。空量函数。空间中任意一点中任意一点x到某一中心到某一中心xc之之间欧氏距离的欧氏距离的单调函数，函数，记作：作：2、径向基函数网、径向基函数网络最常用的径向基函数是高斯核函数：最常用的径向基函数是高斯核函数：xc：为核函数中心核函数中心：为函数的函数的宽参数，控制了函数的径向作用范参数，控制了函数的径向作用范围，即，即x远离离xc时函数取函数取值很小很小41.网网络特点：特点：u只有一个只有一个隐层，输入入层到到隐层之之间的的权值均固定均固定为1，隐层单元采用径向基函数作元采用径向基函数作为其其输出特性。出特性。u输出出节点点为线性性输出出单元，元，隐层到到输出出节点之点之间的的权值可可调，输出出为隐层的加的加权求和。求和。42.径向基函数网径向基函数网络的作用的作用u对未知函数未知函数f(x)的逼近器。的逼近器。输出出为隐层的的线性加性加权求和，求和，采用基函数的加采用基函数的加权和来和来实现对函数的逼近函数的逼近u隐层把原始的非把原始的非线性可分的特征空性可分的特征空间变换到另一个空到另一个空间（通常是高（通常是高维空空间），使之可以），使之可以线性可分。性可分。43.可可调参数的参数的选择：u三种可三种可调参数：参数：隐层基函数中心、方差，基函数中心、方差，输出出单元的元的权值u根据根据经验选择函数中心及方差函数中心及方差u用聚用聚类方法方法选择基函数基函数u通通过训练样本用本用误差差纠正算法求得正算法求得44.5.2.2 竞争学争学习和和侧抑制抑制上述前上述前馈网网络属于属于监督学督学习，需要同，需要同时提供提供输入入样本和相本和相应的的理想理想输出。引出。引进竞争机制的前争机制的前馈网网络可以可以实现无无监督学督学习，完，完成聚成聚类的任的任务。结构构在二在二层前前馈网网络的的输出出层各各单元之元之间相互用相互用较大的大的负权值输入入对方的方的输出，构成正反出，构成正反馈互互联。竞争的争的结果是：具有果是：具有较大大输入的入的单元元输出出为1，其他，其他单元元输出都出都为0网网络功能功能实现无无监督学督学习，完成聚，完成聚类的任的任务45.网网络动作机制作机制学学习时先用随机数作先用随机数作为权值初始初始值，整个学，整个学习过程随程随时将将权值进行行归一化一化处理，即：理，即：使各使各权向量向量满足：足：当当样本本为归一化一化样本，学本，学习可按如下算法可按如下算法进行：行：46.讨论：u网网络不可能收不可能收敛到修正量到修正量趋向于零的状向于零的状态，采用，采用强制收制收敛方法，在学方法，在学习过程中将步程中将步长参数参数缓慢减小至零。慢减小至零。u学学习结果受初始果受初始值和学和学习样本本顺序影响很大，聚序影响很大，聚类的的结果果不一定理想，需要加入适当的人工干不一定理想，需要加入适当的人工干预。例：先。例：先选择少量少量典型性好的典型性好的样本作本作为权向量初始向量初始值。47.带反反馈的神的神经网网络示意示意图输入：外部入：外部输入信号和同一区域的反入信号和同一区域的反馈信号信号5.2.3 自自组织特征映射神特征映射神经网网络输入入信信号号反反馈信信号号输出信号出信号48.概念概念u依依据据大大脑对信信号号处理理的的特特点点，提提出出了了一一种种神神经网网络模模型型自自组织特特征征映映射射模模型型，自自组织特特征征映映射射模模型型是是典典型型的的自自组织系系统，因而也有人称其，因而也有人称其为“自自组织模型模型”。u由由输入入层和和竞争争层构构成成的的两两层网网络。两两层之之间的的各各神神经元元实现双向全双向全连接，网接，网络中没有中没有隐含含层。u自自组织的的过程程实际上上就就是是一一种种无无指指导的的学学习。它它通通过自自身身训练，自，自动对输入模式入模式进行分行分类。自自组织特征映射神特征映射神经网网络49.自自组织特征映射神特征映射神经网网络结构示意构示意图交互作用函数交互作用函数或或网网络功能：形成功能：形成认知地知地图，进行聚行聚类50.学学习方法和学方法和学习过程程u用随机数用随机数设定定权值初始初始值，并始，并始终进行行权向量向量归一化，使一化，使其其满足：足：u反复反复进行以下运算，直到达到行以下运算，直到达到预定的学定的学习次数或每次学次数或每次学习中中权值改改变量小于某一量小于某一阈值l输入一个入一个样本本计算各算各输出出单元的元的强度度l找出主找出主兴奋单元元C，使，使l确定各确定各输出出单元元兴奋度度l计算各算各权值修正量修正量wij，修正，修正权值，进行行归一化一化51.讨论：uR的的选择，如：，如：L：输出平面出平面边长N：输入向量入向量维数数u必要必要时根据学根据学习次数更新学次数更新学习步步长和和邻域交互作用半径域交互作用半径u输入高入高维向量空向量空间向二向二维平面的映射，映射的不唯一性平面的映射，映射的不唯一性u学学习结果与果与权值初始初始值和和样本本顺序有关序有关52.5.2.4 神神经网网络模式模式识别典型方法典型方法多多层感知器模型是模式感知器模型是模式识别中中应用最多的的网用最多的的网络模型模型两种拓扑两种拓扑结构：构：ACON:all classes one net，多，多输出型出型OCON:one class one net，单输出型出型ACONOCON53.多多输出型出型应用典型方法用典型方法ACON应用最多，典型方法是：用最多，典型方法是：u网网络的每个的每个输入入节点点对应于于样本的一个特征本的一个特征u输出出层单元采用元采用“c中取中取1”编码，每个，每个输出出节点点对应一个一个类，即即输出出层单元数元数=模式模式类数数l训练样本数据的期望本数据的期望输出：出：0,0,1,0,即其所属即其所属类的相的相应输出出节点点为1，其他，其他节点均点均为0l识别阶段：未知段：未知样本的本的类别判定判定为与与输出出值最大的最大的节点点对应的的类别54.单输出型出型应用典型方法：用典型方法：每一每一类别建立一个网建立一个网络u输入：每个入：每个输入入节点点对应样本的一个特征本的一个特征u输出：出：输出出层节点只有一个点只有一个u训练：输入入训练样本的本的类别是是i，则第第i个网个网络的期望的期望输出出设为1，其余网，其余网络输出出节点均点均为0u识别：输出出值最大的网最大的网络对应的的类别u减少减少隐层节点，克服点，克服类别之之间的耦合，各网的耦合，各网络的的隐层节点点数可以不同。数可以不同。55.神神经网网络与模式与模式识别神神经网网络与与统计模式模式识别在方法上具有一定的等价关系：在方法上具有一定的等价关系：u单层感知器感知器 vs.线性分性分类器器u多多层感知器感知器 vs.非非线性分性分类器器u径向基函数网径向基函数网络 vs.Parzen窗密度估窗密度估计分分类器器u竞争学争学习和和侧抑制抑制 vs.数据聚数据聚类56.后面内容直接删除就行资料可以编辑修改使用资料可以编辑修改使用57.主要经营：网络软件设计、图文设计制作、发布广告等公司秉着以优质的服务对待每一位客户，做到让客户满意！58.致力于数据挖掘，合同简历、论文写作、PPT设计、计划书、策划案、学习课件、各类模板等方方面面，打造全网一站式需求59.感感谢您的您的观看和下看和下载The user can demonstrate on a projector or computer,or print the presentation and make it into a film to be used in a wider field60.