神经网络感知机ppt课件.ppt

感知机感知机人工神人工神经网网络模型模型1.大大脑是由生物神是由生物神经元构成的元构成的巨型网巨型网络，它在本，它在本质上不同于上不同于计算机，是一种大算机，是一种大规模的并行模的并行处理系理系统，它具有学，它具有学习、联想想记忆、综合等能力，并有巧妙合等能力，并有巧妙的信息的信息处理方法。理方法。2.人工神人工神经网网络是模是模拟人人脑思思维方式方式的数学模型，从微的数学模型，从微观结构和功能上构和功能上对人人脑进行抽象和行抽象和简化，模化，模拟人人类智能。智能。人工神人工神经网网络(简称神称神经网网络)也是由大也是由大量的、功能比量的、功能比较简单的形式神的形式神经元互元互相相连接而构成的复接而构成的复杂网网络系系统，用它，用它可以模可以模拟大大脑的的许多基本功能和多基本功能和简单的思的思维方式。方式。3.我我们不可能不可能对生物学上的生物学上的神神经网网络作完全的了解，只可作完全的了解，只可能在某种成度上描述我能在某种成度上描述我们所了所了解的情况。同解的情况。同样，人工神，人工神经网网络也只可能是在某种程度上也只可能是在某种程度上对真真实的神的神经网网络的一种模的一种模拟和和逼近。逼近。4.神神经元模型元模型a)生物神生物神经元模型元模型神神经元元neuron,neural cell也就是神也就是神经细胞。人胞。人脑就是由大量神就是由大量神经元元组合而成的。合而成的。神神经元由元由 细胞体、胞体、树突和突和轴突突组成。成。中心中心 接受器接受器 传导信息信息5.人工神人工神经元模型，如元模型，如图所示所示6.感知机是最早被感知机是最早被设计并被并被实现的人工神网的人工神网络。感知。感知器是一种非常特殊的神器是一种非常特殊的神经网网络，它在人工神，它在人工神经网网络的的发展展历史上有着非常重要的地位，尽管它的能力史上有着非常重要的地位，尽管它的能力非常有限，主要用于非常有限，主要用于线性分性分类。或或7.某个神某个神经元元 j 的的输入入输出关系出关系为其中，其中，为阀值，为连接接权，f()为变换函数，也称活化函数函数，也称活化函数(activation function)。8.感知机的感知机的结构构9.我我们以以单层感知器来感知器来说明：明：两个两个输入入 x1 和和 x2 。一个一个阀值 两个待两个待调整的整的权值W1和和W2决策函数决策函数为样本集分本集分别属于属于2类。10.1 特点：特点：）多）多输入，入，单输出出）激活函数）激活函数传递函数函数为二二值，一般，一般为阶跃函函数或符号函数数或符号函数）输出出为二二值：或：或）1 u0-1 u 0或或1 u0 u 011.2 感知机的工作方式：感知机的工作方式：学学习阶段段修改修改权值（根据（根据“已知的已知的样本本”对权值不断修改；不断修改；有有导师学学习）工作工作阶段段 计算算单元元变化，由响化，由响应函数函数给出新出新输入下的入下的输出。出。12.样本：本：pp1，p2 ppYy1，y2 yppYW学习机W学习算法学学习的的过程，主要是修正程，主要是修正权值，阈值感知机的学习阶段：13.n设有有N个个训练样本本n当当给定某个定某个样本本p的的输入入/输出出模式模式对时，感知机，感知机输出出单元会元会产生一个生一个实际输出向量，用期出向量，用期望望输出（出（样本本输出）与出）与实际输出之差来修正网出之差来修正网络连接接权值。14.n权值修改采用修改采用简单的的误差学差学习规则n基本思想：基本思想：利用某个神利用某个神经单元的期望元的期望输出与出与实际输出之出之间的差来的差来调整整该神神经单元与上一元与上一层中相中相应神神经单元的的元的的连接接权值，最，最终减减小小这种偏差。种偏差。即：神即：神经单元之元之间连接接权的的变化正比于化正比于输出出单元期望元期望输出与出与实际的的输出之差出之差15.对于所有的i和j，il，2，s；j1，2，r，感知器修正权值公式为：上述用来修正感知器上述用来修正感知器权值的学的学习算法在算法在MATLAB神神经网网络工具箱中已工具箱中已编成了子程序，成成了子程序，成为一个名一个名为1earnp.m的函数。只要直接的函数。只要直接调用此函数，即可立即用此函数，即可立即获得得权值的修正量。此函数所需要的的修正量。此函数所需要的输入入变量量为：输入、入、输出矢量和目出矢量和目标矢量：矢量：P、A和和T。调用命令用命令为：dW，dBlearnp(P，A，T)；(4-5)16.输入矢量入矢量P，输出矢量出矢量Y，目，目标矢量矢量为T的感知器网的感知器网络，其学，其学习规则为：n如果第如果第i个神个神经元的元的输出是正确的，出是正确的，即有：即有：yiti，那么与第，那么与第i个神个神经元元联接的接的权值wij和偏差和偏差值bi保持不保持不变；17.n如果第如果第i个神个神经元的元的输出是出是0，但，但期望期望输出出为1，即有，即有yi0，而，而ti1，此，此时权值修正算法修正算法为：新：新的的权值wij为旧的旧的权值wij加上加上输入矢量入矢量pj；类似的，新的偏差似的，新的偏差bi为旧偏差旧偏差bi加上它的加上它的输入入1；18.n如果第如果第i个神个神经元的元的输出出为1，但期，但期望望输出出为0，即有，即有yi1，而，而ti0，此此时权值修正算法修正算法为：新的：新的权值wij等于旧的等于旧的权值wij减去减去输入矢量入矢量pj；类似的，新的偏差似的，新的偏差bi为旧偏差旧偏差bi减减去去1。19.n感知器学感知器学习规则的的实质为：权值的的变化量等于正化量等于正负输入入矢量。矢量。20.举例：用感知器例：用感知器实现“与与”的功能的功能1）设w1=0;w2=0;=0;2)输入入x=x1,x2 输出出y样本：本：x1=0 0 1 1 x2=0 1 0 1 y=0 0 0 1 要求：确定此感知器中的要求：确定此感知器中的3个参数个参数“w1,w2,”。21.即即，时y1=0,y2=0,y3=0,y4=1;22.计算感知机在算感知机在ui作用下的作用下的输出出yi由模型可描述由模型可描述为：j=1,2 n=2 i=1,2,3,4,用矩用矩阵表示表示为s1=(w1,w2)u1=（0，0）00；s3=(w1,w2)u3=（0，0）00；s2=(w1,w2)u2=（0，0）00；s4=(w1,w2)u4=（0，0）00；23.由响由响应函数函数Y=1 1 1 1,即即y1=y2=y3=y4=1;24.n调整整权值和和阈值n由由ei(t)=|di-yi(t)|ne(t)=(1,1,1,0)n求求E(t)=3,设0.5nw1(t+1)=w1(t)+(|di-yi(t)|x1)n=0+0.5(1,1,1,0)(0,0,1,1)=0.5;nw2(t+1)=w2(t)+(|di-yi(t)|x2)n=0+0.5(1,1,1,0)(0,1,0,1)=0.5;n(t+1)=(t)+(E(t)2=0+9=9;n由此由此w1=0.5,w2=0.5,=9;n返回重新返回重新计算，直到算，直到E满足要求。足要求。25.nerr_goal=0.001;lr=0.9;nmax_expoch=10000;nX=0 0 1 1;0 1 0 1;T=0 0 0 1;nM,N=size(X);L,N=size(T);nWij=rand(L,M);y=0;b=rand(L);nfor epoch=1:max_expochn NETi=Wij*X;n for j=1:Nn for i=1:Ln if(NETi(i,j)=b(i)n y(i,j)=1;n else n y(i,j)=0;n endn endn endn nE=(T-y);EE=0;nfor j=1:Nn EE=EE+abs(E(j);nendn if(EEerr_goal)n breakn endn Wij=Wij+lr*E*X;%调整整权值n b=b+sqrt(EE);%调整整阈值nendn epoch,Wij,bn 26.算法步算法步骤：）设输入入变量量为x1,x2,xm；(j=1,2,m)，设置置权系数初系数初值wj(wj一般取一般取-1,1之之间的随机小数的随机小数)；）确定学）确定学习样本，即本，即给定定输入入输出出样本本对，输入：入：u=u1，u2un，,(i=1,2,n)输出：出：d=d1，d2dn,(i=1,2,n)27.）分）分别计算感知机在算感知机在ui作用下的作用下的输出出yi；t指第指第t次次计算并算并调整整权值。28.n）调整整权值和和阈值n（1）求）求ei(t)=di-yi(t)n（2）求）求E(t)若若E(t)0，调整整权值;nwj(t+1)=wj(t)+(di-yi(t)xji)，写，写出矩出矩阵为W(t+1)=W(t)+(di-yi(t)ui);n(t+1)=(t)+(E(t)2 返回返回3n若若E(t)满足要求足要求则结束。束。n：训练步步长，一般，一般0030*0.7+90*0.3-60=-12060*0.7+59*0.3-60=-0.30y1001Net31.n%沿用例沿用例“求与求与”第二第二阶段工作期，段工作期，验证网网络 n X1=X;n NETi=Wij*X1;M,N=size(X1);n for j=1:Nn for i=1:Ln if(NETi(i,j)=b(i)n y(i,j)=1;n else n y(i,j)=0;n endn endn endn y32.n初始化：初始化：initp n训练：trainp n仿真：仿真：simup初始化：初始化：initp 可自可自动产生生-1,1区区间中的随机初始中的随机初始权值和和阈值,例例:n w,b=initp(2,8)或或 w,b=initp(p,t)33.n训练：ntrainp 感知器网感知器网络学学习和仿真的和仿真的过程程ntp=disp_freq max_epoch;n(显示示频率和率和训练的最大步数的最大步数)nw,b,te=trainpw,b,p,t,tp;nTrain函数完成每一步函数完成每一步训练后后,返回返回新的网新的网络权值和和阈值,并并显示已完示已完成的成的训练步数步数ep及及误差差te34.n仿真：仿真：simupn注意注意:使用使用trainp函数并不能保函数并不能保证感感知器网知器网络在取在取训练所得到的所得到的权值和和阈值时就可以就可以顺利达到要求利达到要求,因此因此,训练完成后，最好要完成后，最好要验证一下一下:n a=simupp,w,b;n if all(a=t);n disp(Itworks!);n end35.n%直接利用直接利用mat 工具箱（工具箱（initp trainp simup）nclear allnNNTWARN OFFnp=0 0 1 1;n 0 1 0 1nt=0 0 0 1nw1,b1=initp(p,t)%初始化初始化nw1,b1,epoches,errors=trainp(w1,b1,p,t,-1)；%训练n%计算完算完毕nfigure(2);nploterr(errors)na1=simup(p,w1,b1);%仿真仿真na1nif all(a=t),disp(It works!)；ne=t-a1;nk=1:1:4;nfigure(3);nplot(k,e)36.感知器的感知器的图形解形解释 由感知器的网由感知器的网络结构，我构，我们可以看出感可以看出感知器的基本功能是将知器的基本功能是将输入矢量入矢量转化成化成0或或1的的输出。出。这一功能可以通一功能可以通过在在输人矢量空人矢量空间里的作里的作图来加以解来加以解释。感知器感知器权值参数的参数的设计目的，就是根据学目的，就是根据学习法法则设计一条一条W*P+b0的的轨迹，使其迹，使其对输入矢入矢量能量能够达到期望位置的划分。达到期望位置的划分。37.以以输入矢量入矢量r2为例，例，对于于选定的定的权值w1、w2和和b，可以在以，可以在以p1和和p2分分别作作为横、横、纵坐坐标的的输入平面内画出入平面内画出W*P+bw1 p1十十w2 p2十十b0的的轨迹，迹，它是一条直它是一条直线，此直，此直线上的及其上的及其线以上以上部分的所有部分的所有p1、p2值均使均使w1 p1十十w2 p2十十b0，这些点若通些点若通过由由w1、w2和和b构成的感知器构成的感知器则使其使其输出出为1；该直直线以下部分的点以下部分的点则使感知器的使感知器的输出出为0。38.所以当采用感知器所以当采用感知器对不同的不同的输入矢入矢量量进行期望行期望输出出为0或或1的分的分类时，其，其问题可可转化化为：对于已知于已知输入矢量在入矢量在输入空入空间形成的不同点的位置，形成的不同点的位置，设计感知感知器的器的权值W和和b，将由，将由W*P+b0的直的直线放置在适当的位置上使放置在适当的位置上使输入矢量按期入矢量按期望望输出出值进行上下分行上下分类。39.输入矢量平面入矢量平面图40.w的解并不唯一，能把两的解并不唯一，能把两类分开即可分开即可由于网由于网络是以是以w1x1+w2x2+=0为分界分界线的，的，这可以看成一直可以看成一直线或一超平面。或一超平面。所以，感知机具有所以，感知机具有线性分性分类能力，可用于两能力，可用于两类模模式分式分类，得到的，得到的w1，w2，不唯一，但只限于不唯一，但只限于线性分性分类。举例：用感知机例：用感知机实现“与与”的功能的功能41.感知机只能感知机只能对线性可分离的模式性可分离的模式进行正确行正确的分的分类。当。当输入模式是入模式是线性不可分性不可分时，则无无论怎怎样调节突触的突触的结合合强度和度和阈值的大的大小也不可能小也不可能对输入入进行正确的分行正确的分类。局限：局限：所以在所以在1969年，年，Minsky和和Papert发表了名表了名为Perceptron的的专著著,书中指出中指出,这样的的简单的的线性感知器的功能非常有性感知器的功能非常有限，使得随后的研究限，使得随后的研究处于低潮。于低潮。42.43.“或或”运运算算“异或异或”运运算算可可实现分分类无法用一条直无法用一条直线划划分，分，对于异或，不于异或，不能能实现正确分正确分类44.16个布个布尔代数表代数表x1x2y0y1y2y3y4y5y6y7y8y9y10y11y12y13y14y15000101010101010101010011001100110011100000111100001111110000000011111111对y6和和y9的情况，找不到相的情况，找不到相应的直的直线，感知机，感知机无法无法处理理45.（特征（特征检测器）器）解决方法：构造多解决方法：构造多层感知机网感知机网络，即含有，即含有隐层的网的网络，但只能修改最后一，但只能修改最后一层权值阈值46.例：如例：如图是一个含有两个是一个含有两个输入，三个感知机入，三个感知机隐层神神经元和一元和一个个输出神出神经元的三元的三层感知机网感知机网络，若取，若取y1y2zx1x2y3y1=sgn(2x1+2x2+1)y2=sgn(-x1+0.25x2+0.8)y3=sgn(0.75x1-2x2+1.4)z=sgn(y1+y2+y3-3)实现了非了非线性分性分类y1y2y347.感知机小感知机小结：1）训练时，逐个取，逐个取样本本进行行计算，修改算，修改权值阈值2）对于于线性可分性可分问题，1层感知机网感知机网络可以可以实现；对于于线性不可分性不可分问题，需，需2层或以上感知机网或以上感知机网络3）感知机只能解决）感知机只能解决输出是两出是两态（二（二值）的）的问题，输出是出是0/14）单层感知机具有感知机具有线性分性分类能力能力48.Matlab的神的神经网网络工具箱介工具箱介绍“与与”功能的功能的matlab程序程序实现自己自己编程程实现“与与”功能功能“异或异或”功能的功能的matlab程序程序实现49.后面内容直接删除就行资料可以编辑修改使用资料可以编辑修改使用50.主要经营：网络软件设计、图文设计制作、发布广告等公司秉着以优质的服务对待每一位客户，做到让客户满意！51.致力于数据挖掘，合同简历、论文写作、PPT设计、计划书、策划案、学习课件、各类模板等方方面面，打造全网一站式需求52.感感谢您的您的观看和下看和下载The user can demonstrate on a projector or computer,or print the presentation and make it into a film to be used in a wider field53.