人工神经网络介绍.ppt

,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,人工神经网络介绍,主要参考书目,1,、华科教案,2,、彭放等，数学建模方法，科学出版社，,2007,年。,3,、史忠植，神经计算，电子工业出版社，,1993,年,11,月；,4,、,飞思科技产品研发中心，神经网络理论与,MATLAB7,实现，电子工业出版社，,2005.3.,前言,他能干吗,?,简单说来，这个东西就是模拟人脑的行为的，他就是根据人脑内部的神经结构将其仿生用于解决问题的，所以，理论上来说，只要人脑能做的，他应该都能做的。,具体说来，就是给你,2,堆很复杂的数据，要你找出他们之间的关系，那当然很难是不是？然后神经网络就解决这样的事情。通过对他的训练，最后他能建立其这,2,堆乱七八糟间的数据的关系。,最后的效果就是，你给他第,3,堆数据，他自动能得到这堆数据所对应的输出是什么,!,例子：数据拟和,例子：学习样本集,1,学习样本集,2,大家有疑问的，可以询问和交流,可以互相讨论下，但要小声点,前言,这么说太抽象了，然后我们来理解下人脑对事物的认识就清楚了，比如你每天所碰到的那么多人这是一堆数据，对吧，然后呢，另一堆数据就是他们的性别，刚开始人脑也不知道什么性别不性别的，不知道性别有两类，性别分男女，随后呢，成长过程中，不断看到一些人，然后不断有人告诉你这个是男人，那个是女人，好了，你脑子内部的神经元开始活动，开始建立连接，其实就是相当于上面的训练。最后的效果就是随便给你个人，即使你没看到过的，你也能知道这个是什么性别的，所以，数学上也把神经网络叫为从,n,维空间向,m,维向量空间的高度非线性映射,!,前言,现在他用的地方很多，预测是个大方面，比如交通流量什么的，有些人希望能根据前,3,月的流量就知道后面一个月的流量，那么就可以用些历史数据对这个神经网络训练，最后效果就是你给他,3,个月的数据，他就给你输出这个月的数据，其实是预测了，就相当于人脑内部的神经元建立完毕后，给定任何一个人，他都能对他进行性别判别。,前言,还有，不少人当然异想天开用在其他方面了，比如股票，更加心黑点的就是彩票了，告诉你前,8,期的彩号，能预测出最新一期的中奖号，那是多么好的事情啊！,前言,他无所不能吗,?,显然不是，世上哪有那么好的事情啊！,神经网络的限制条件，应用条件是你的输入量和你想要输出的或者说预测的量，要有明确的物理意义，你不能把两堆莫名奇妙的根本没关系的量，仍给他训练。那样即使他训练完毕，碰到新的问题还是解决不了,!,前言,还是人的那个例子，性别呢，就是分,2,类的，,(,第,3,类我就先不考虑了。,),一个人他不是男人，就是女人。所以人和性别之间是有明确对应关系的，这样的东西，你去训练是有道理的。再一个例子：人与其自己照片之间的对应,第一节 神经网络原理,他的原理完全就是根据大脑神经元的工作方式，神经与神经元通过阈值，连接权方式的连接模式，可处理各种复杂映射关系。,数学上也证明了用,3,层神经网络模型，理论上可逼近任意函数。,人脑的活动机理,输 入,大脑处理,处理结果,输 入,大 脑 处 理,处 理 结 果,人脑的活动机理,输 入,大脑处理,处理结果,人脑的活动机理,正确的分类处理是靠不同的连接权值 来实现的,M,P,模型,(,模拟人脑网络,),其中 表示输入，表示输出,对应于生物神经元的轴突。,。权值 表示输入的连接强度。正权表示兴奋输入，负权表示抑制输入。表示神经元兴奋时的阈值，当加权和大于 时，神经元处于兴奋状态。,在,M-P,模型基础上发展起来的常用神经网络模型如图所示：,神经元的结构模型,x(i=1,，,2,，,，,n),为该神经元的输入,W,i,为该神经元分别与各输入间的连接强度，称为连接权值；,为该神经元的阈值，,s,为外部输入的控制信号，它可以用来调整神经元的连接权值，使神经元保持在某一状态；,y,为神经元的输出。,神经元的工作过程一般是：,(1),从各输入端接收输入信号,x,i,；,(2),根据连接权值,w,i,，求出所有输入的加权和,：,(3),用某一特性函数,(,又称作用函数,)f,进行转换，得到输出,y,：,第二节 神经网络模型,一、感知器模型,感知器是由美国学者,Rosenblatt,于,1958,年提出的一个具有单层计算单元的神经网络。,单层感知器模型：,线性阈值单元示意,1,、线性阈值单元,线性阈值单元是前向网络,(,又称前馈网络,),中最基本的计算单元，它具有,n,个输入,(x,1,，,x,2,，,x,n,),，一个输出,(y),，,n,个连接权值,(w,1,，,w,2,，,，,w,n,。,),，且符合下式：,感知器,只有一个节点的感知器：,感知器输出：,利用简单感知器可以实现逻辑,代数中的一些运算。取阶跃,函数作为状态转移函数。,感知器,感知器输出：,“,与”运算，当,时，上式,完成逻辑“与”运算。,“,或”运算，当,时，上式完成逻辑“或”运算。,“,非”运算，当,时，上式完成逻辑“非”运算。,2,、单层感知器及其算法,单层感知器只有一个计算层，它以信号模板作为输入，经计算后汇总输出，层内无互连，从输出至输入无反馈，是一种典型的前向网络，如图所示。,在单层感知器中，当输入的加权和大于等于阈值时，输出为,1,，否则为,0,或,-1,。它与,M-P,模型的不同之处是假定神经元间的连接强度,(,即连接权值,w,ij,）是可变的，这样它就可以进行学习。,单层感知器的学习及其算法：,学习的目的是调整连接权值，以使网络对任何输入都能得到所期望的输出。,考虑仅有一个输出节点的情况，其中，,x,i,是该输出节点的输入；,w,i,是相应的连接权值,(i=1,，,2,，,n),；,y(t),是时刻,t,的输出；,d,是所期望的输出，它或者为,1,，或者为,-1,。学习算法如下：,(1),给,w,i,(0)(i=1,，,2,，,，,n),及阈值,分别赋予一个较小的非零随机数作为初值；这里,w,i,(0),表示在时刻,t=0,时第,i,个输入的连接权值。,(2),输入一个样例,X=x,1,，,x,2,，,，,x,n,和一个所期望的输出,d,。,(3),计算网络的实际输出：,(4),调整连接权值：,此处,01,，它是一个增益因子，用于控制调整速度。如果实际输出与已知的输出一致，表示网络已经作出了正确的决策，此时就无需改又,w,i,(t),的值。,(5),转到第,(2),步，直到连接权值,w,，对一切样例均稳定不变时为止。,3,、多层感知器,只要在输入层与输出层之间增加一层或多层隐层，就可得到多层感知器。,三层感知器,中国神经网络委员会（,CNNC,）简介,中国神经网络委员会创建于,1990,年，当时国际上神经网络学术研究迅猛发展。最重要的发起推动人是罗沛霖院士,(IEEEFellow),，他在,1987,年访问美国时，会晤了人工神经网络的学术权威霍普费尔德和密德，回国后便推动这项学术活动，促成了由中国电子学会、中国计算机学会、中国自动化学会、中国人工智能学会、中国生物物理学会、中国心理学会等十五个国家一级学会成立了中国神经网络委员会联合体，挂靠在中国电子学会，其英文名称为,ChinaNeuralNetworksCouncil,，简记为,CNNC,。,中国神经网络委员会（,CNNC,）简介,同年（,1990,年）在北京召开召开了第一届全国神经网络学术会议，罗沛霖担任大会主席。这次会议虽是第一届，到会竟有四百余人，选读论文一百五十篇。从此，这个新学科在全国蓬勃发展起来。,中国神经网络委员会（,CNNC,）简介,CNNC,是一个非营利性的学术团体，目的和宗旨是团结本学术科研领域多学科的广大科技工作者，通过开展国际和国内学术交流活动，促进模仿生物神经智能系统工作原理的智能技术繁荣和发展，促进智能领域边缘学科的交叉融合和科技合作，促进新的学术科研成果在高技术产业领域的推广应用，为发展智能信息科学技术做贡献。,中国神经网络委员会（,CNNC,）简介,CNNC,始终把开展学术活动作为中心工作，自成立之日起，作为发起者已举办了十五届全国性和国际性的学术会议，其中大型国际会议包括国际神经网络联合大会（,InternationalJiontConferenceonNeuralNetworks,IJCNN92,）、,95,年和,2001,年的亚太地区神经网络国际会议（,ICONIP95,，,ICONIP98,InternationalConferenceonNeuralInformationProcessing,）、,98,年和,2005,年的神经网络与脑国际会议,(InternationalConferenceonNeuralNetworksandBrain,ICNNB05),等。,中国神经网络委员会（,CNNC,）简介,CNNC,在国际神经网络界创立了很好的声誉，与本学术领域国际知名学者和主要国际学术组织,(IEEENeuralNetworksSociety,和国际神经网络学会,-INNS),有密切的学术联系。,CNNC,是亚太神经网络联合会（,AsiaPacificNeuralNetworkAssembly,，简记,APNNA,，,93,年创立）的五个发起国和地区（中国、日本、新西兰、韩国、中国香港地区）的代表之一，,CNNC,的主席吴佑寿院士和钟义信教授分别任,APNNA,的,95-96,年度和,2001-2002,年度主席。,CNNC,的委员在,IEEENNS(IEEE,神经网络学会,),和国际神经网络学会（,INNS,）也担任重要学术职务。,IEEENNS,的中国地区专业分会于,2003,年底成立，主席沙踪院士。,中国神经网络委员会（,CNNC,）简介,CNNC,的最高决策机构是委员会会议。目前的委员大部分是由国家一级学会的理事担任，学科专业涉及人工智能、通信电子学、微电子技术、计算机科学与技术、自动化、信息处理学、声学、光学、生物物理学、数学、神经科学、心理学、医学、生命电子学、化学工程、仿生学等。,