收藏 分销(赏)

人工神经网络第1-3章.ppt

上传人:精*** 文档编号:12166927 上传时间:2025-09-19 格式:PPT 页数:98 大小:1.08MB 下载积分:18 金币
下载 相关
人工神经网络第1-3章.ppt_第1页
第1页 / 共98页
人工神经网络第1-3章.ppt_第2页
第2页 / 共98页


点击查看更多>>
资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,第1章,引言,1.1,人工神经网络的提出,1.2,人工神经网络的特点,1.3,历史回顾,9/19/2025,1,第1章,引言,人类对人工智能的研究可以分成两种方式对应着,两种不同的技术,:,传统的人工智能技术心理的角度模拟,基于人工神经网络的技术生理的角度模拟,9/19/2025,2,1.1,人工神经网络的提出,人工神经网络(,Artificial Neural Networks,,简记作,ANN,),是对人类大脑系统的一阶特性的一种描述。简单地讲,它是一个,数学模型,,可以用,电子线路,来实现,也可以用,计算机程序,来模拟,是人工智能研究的一种方法。,9/19/2025,3,1.1,人工神经网络的提出,联想、推理、判断、决策语言,的能力,这是智能的高级形式的又一方面。,预测和认识,“主动”和“被动”之分。联想、推理、判断、决策的能力是“主动”的基础。,运用进行抽象、概括的能力,上述这5种能力,被认为是人类智能最为,基本的能力,9/19/2025,6,1.1,人工神经网络的提出,作为5种能力综合表现形式的3种能力,发现、发明、创造、创新的能力,实时、迅速、合理地应付复杂环境的能力,预测、洞察事物发展、变化的能力,9/19/2025,7,1.1,人工神经网络的提出,二、人工智能,人工智能:研究如何使类似计算机这样的设备去模拟人类的这些能力。,研究人工智能的目的,增加人类探索世界,推动社会前进的能力,进一步认识自己,三大学术流派,符号主义(或叫做符号/逻辑主义)学派,联接主义(或者叫做PDP)学派,进化主义(或者叫做行动,/,响应)学派,9/19/2025,8,1.1,人工神经网络的提出,1.1.2,物理符号系统,人脑的反映 形式化,现实 信息 数据,物理系统 物理符号系统,表现智能,9/19/2025,9,1.1,人工神经网络的提出,Newell和Simon假说:一个物理系统表现智能行为的充要条件是它有一个物理符号系统,概念:物理符号系统需要有一组称为符号的实体组成,它们都是物理模型,可以在另一类称为符号结构的实体中作为成分出现,以构成更高级别的系统,9/19/2025,10,1.1,人工神经网络的提出,困难:,抽象舍弃一些特性,同时保留一些特性,形式化处理用物理符号及相应规则表达物理系统的存在和运行。,局限:,对全局性判断、模糊信息处理、多粒度的视觉信息处理等是非常困难的。,9/19/2025,11,1.1,人工神经网络的提出,1.1.3 联接主义观点,核心:智能的本质是联接机制。,神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统,ANN力求从四个方面去模拟人脑的智能行为,物理结构,计算模拟,存储与操作,训练,9/19/2025,12,1.1,人工神经网络的提出,1.1.4 两种模型的比较,心理过程 逻辑思维 高级形式(思维的表象),生理过程,形象思维,低级形式(思维的根本),仿生,人工神经网络,联结主义观点,物理符号系统,9/19/2025,13,1.1,人工神经网络的提出,物理符号系统和人工神经网络系统的差别,项目,物理符号系统,人工神经网络,处理方式,逻辑运算,模拟运算,执行方式,串行,并行,动作,离散,连续,存储,局部集中,全局分布,9/19/2025,14,1.1,人工神经网络的提出,两种人工智能技术的比较,项目,传统的AI技术,ANN技术,基本实现方式,串行处理;由程序实现控制,并行处理;对样本数据进行多目标学习;通过人工神经元之间的相互作用实现控制,基本开发方法,设计规则、框架、程序;用样本数据进行调试(由人根据已知的环境去构造一个模型),定义人工神经网络的结构原型,通过样本数据,依据基本的学习算法完成学习自动从样本数据中抽取内涵(自动适应应用环境),适应领域,精确计算:符号处理,数值计算,非精确计算:模拟处理,感觉,大规模数据并行处理,模拟对象,左脑(逻辑思维),右脑(形象思维),9/19/2025,15,1.2,人工神经网络的特点,信息的分布表示,运算的全局并行和局部操作,处理的非线性,9/19/2025,16,1.2.1,人工神经网络的概念,1、定义,1)HechtNielsen(1988年),人工神经网络是一个并行、分布处理结构,它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元(,PE,Processing Element,)具有局部内存,并可以完成局部操作。每个处理单元有一个单一的输出联接,这个输出可以根据需要被分枝成希望个数的许多并行联接,且这些并行联接都输出相同的信号,即相应处理单元的信号,信号的大小不因分支的多少而变化。,9/19/2025,17,1.2.1,人工神经网络的概念,(1)HechtNielsen(1988年)(续),处理单元的输出信号可以是任何需要的数学模型,每个处理单元中进行的操作必须是完全局部的。也就是说,它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。,9/19/2025,18,1.2.1,人工神经网络的概念,强调:,并行、分布处理结构;,一个处理单元的输出可以被任意分枝,且大小不变;,输出信号可以是任意的数学模型;,处理单元完全的局部操作,9/19/2025,19,1.2.1,人工神经网络的概念,(2)Rumellhart,McClelland,Hinton的PDP,1),一组处理单元,(,PE,或,AN,);,2),处理单元的,激活状态,(,a,i,);,3),每个处理单元的,输出函数,(,f,i,);,4),处理单元之间的,联接模式,;,5),传递规则,(,w,ij,o,i,);,6),把处理单元的输入及当前状态结合起来产生激活值的,激活规则,(,F,i,);,7),通过经验修改联接强度的,学习规则,;,8),系统运行的环境(,样本,集合)。,9/19/2025,20,1.2.1,人工神经网络的概念,(3)Simpson(1987年),人工神经网络是一个非线性的有向图,图中含有可以通过改变权大小来存放模式的加权边,并且可以从不完整的或未知的输入找到模式。,9/19/2025,21,1.2.1,人工神经网络的概念,2、关键点,(1),信息的分布表示,(2),运算的全局并行与局部操作,(3),处理的非线性特征,3、对大脑基本特征的模拟,1),形式上:神经元及其联接;,BN,对,AN,2),表现特征:信息的存储与处理,9/19/2025,22,1.2.1,人工神经网络的概念,4、别名,人工神经系统(,ANS,),神经网络(,NN,),自适应系统(,Adaptive Systems,)、自适应网(,Adaptive Networks,),联接模型(,Connectionism,),神经计算机(,Neurocomputer,),9/19/2025,23,1.2.2 学习(Learning)能力,人工神经网络可以根据所在的环境去改变它的行为,自相联的网络,异相联的网络,:,它在接受样本集合,A,时,可以抽取集合,A,中输入数据与输出数据之间的映射关系。“抽象”功能。,不同的人工神经网络模型,有不同的学习,/,训练算法,9/19/2025,24,1.2.3,基本特征的自动提取,由于其运算的,不精确性,,表现成“,去噪音、容残缺,”的能力,利用这种不精确性,比较自然地实现模式的自动分类。,普化(,Generalization,)能力与抽象能力,9/19/2025,25,1.2.4,信息的分布存放,信息的分布存提供容错功能,由于信息被分布存放在几乎整个网络中,所以,当其中的某一个点或者某几个点被破坏时,信息仍然可以被存取。,系统在受到,局部,损伤时还可以正常工作。,并不是说可以任意地对完成学习的网络进行修改。也正是由于信息的分布存放,对一类网来说,当它完成学习后,如果再让它学习新的东西,这时就会破坏原来已学会的东西。,9/19/2025,26,1.2.5,适应性(,Applicability),问题,擅长两个方面:,对大量的数据进行分类,并且只有较少的几种情况;,必须学习一个复杂的非线性映射。,目前应用:,人们主要将其用于语音、视觉、知识处理、辅助决策等方面。,在数据压缩、模式匹配、系统建模、模糊控制、求组合优化问题的最佳解的近似解(不是最佳近似解)等方面也有较好的应用。,9/19/2025,27,1.3,历史回顾,1.3.1,萌芽期(,20,世纪,40,年代),人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期,到,1949,年止。,1943,年,心理学家,McCulloch,和数学家,Pitts,建立起了著名的阈值加权和模型,简称为,M-P,模型。发表于数学生物物理学会刊,Bulletin of Methematical Biophysics,1949,年,心理学家,D.O.Hebb,提出神经元之间突触联系是可变的假说,Hebb,学习律。,9/19/2025,28,1.3.2,第一高潮期(,19501968,),以,Marvin Minsky,,,Frank Rosenblatt,,,Bernard Widrow,等为代表人物,代表作是单级感知器(,Perceptron,)。,可用电子线路模拟。,人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究,希望尽快占领制高点。,9/19/2025,29,1.3.3,反思期(,19691982,),M.L.Minsky,和,S.Papert,,,Perceptron,,,MIT Press,,,1969,年,异或”运算不可表示,二十世纪,70,年代和,80,年代早期的研究结果,认识规律:认识实践再认识,9/19/2025,30,1.3.4,第二高潮期(,19831990,),1982,年,,J.Hopfield,提出循环网络,用,Lyapunov,函数,作为网络性能判定的能量函数,建立ANN稳定性的判别依据,阐明了ANN与动力学的关系,用非线性动力学的方法来研究ANN的特性,指出信息被存放在网络中神经元的联接上,9/19/2025,31,1.3.4,第二高潮期(,19831990,),2,),1984,年,,J.Hopfield,设计研制了后来被人们称为,Hopfield,网,的电路。较好地解决了著名的,TSP,问题,找到了最佳解的近似解,引起了较大的轰动。,3,),1985,年,,UCSD,的,Hinton,、,Sejnowsky,、,Rumelhart,等人所在的并行分布处理(,PDP,)小组的研究者在,Hopfield,网络中引入了随机机制,提出所谓的,Boltzmann,机,。,9/19/2025,32,1.3.4,第二高潮期(,19831990,),4,),1986,年,并行分布处理小组的,Rumelhart,等研究者重新独立地提出多层网络的学习算法,BP,算法,,较好地解决了多层网络的学习问题。(,Paker1982,和,Werbos1974,年),国内首届神经网络大会,是,1990,年,12,月在北京举行的,。,9/19/2025,33,1.3.5,再认识与应用研究期(,1991,),问题:,1),应用面还不够宽,2),结果不够精确,3)存在可信度的问题,9/19/2025,34,1.3.5,再认识与应用研究期(,1991,),研究:,1),开发现有模型的应用,并在应用中根据实际运行情况对模型、算法加以改造,以提高网络的训练速度和运行的准确度。,2),充分发挥两种技术各自的优势是一个有效方法,3),希望在理论上寻找新的突破,建立新的专用,/,通用模型和算法。,4)进一步对生物神经系统进行研究,不断地丰富对人脑的认识。,9/19/2025,35,第2章 人工神经网络基础,2.1 生物神经网,2.2 人工神经元,2.3 人工神经网络的拓扑特性,2.4 存储与映射,2.5 人工神经网络的训练,9/19/2025,36,2.1 生物神经网,1,、构成,胞体(Soma),枝蔓(Dendrite,),胞体(Soma),轴突(Axon),突触(Synapse),2,、工作过程,9/19/2025,37,2.1 生物神经网,3、六个基本特征:,1),神经元及其联接,;,2),神经元之间的联接强度决定,信号传递,的强弱;,3),神经元之间的联接强度是可以随,训练,改变的;,4),信号可以是起,刺激,作用的,也可以是起,抑制,作用的;,5),一个神经元接受的信号的,累积效果,决定该神经元的状态;,6),每个神经元可以有一个“,阈值,”。,9/19/2025,38,2.2,人工神经元,神经元是构成神经网络的最基本单元(构件)。,人工神经元模型应该具有生物神经元的六个基本特性。,9/19/2025,39,2.2.1,人工神经元的基本构成,人工神经元模拟生物神经元的,一阶特性,。,输入:,X=,(,x,1,,,x,2,,,,,x,n,),联接权:,W=,(,w,1,,,w,2,,,,,w,n,),T,网络输入:,net=x,i,w,i,向量形式:,net=XW,x,n,w,n,x,1,w,1,x,2,w,2,net=XW,9/19/2025,40,2.2.2,激活函数,(Activation Function),激活函数执行对该神经元所获得的网络输入的变换,也可以称为激励函数、活化函数:,o=f,(,net,),1,、线性函数(,Liner Function,),f,(,net,),=k*net+c,net,o,o,c,9/19/2025,41,2、非线性斜面函数(Ramp Function),if net,f,(,net,),=k*netif|net|0,为一常数,被称为饱和值,为该神经元的最大输出。,9/19/2025,42,2、非线性斜面函数(Ramp Function),-,-,net,o,9/19/2025,43,3、阈值函数(Threshold Function)阶跃函数,if net,f,(,net,),=,-if net,、,、,均为非负实数,,为阈值,二值形式:,1if net,f(net)=,0if net,双极形式:,1if net,f,(,net,),=,-1if net,9/19/2025,44,3、阈值函数(Threshold Function)阶跃函数,-,o,net,0,9/19/2025,45,4,、,S,形函数,压缩函数(,Squashing Function,)和逻辑斯特函数(,Logistic Function,)。,f,(,net,),=a+b/(1+exp(-d*net),a,,,b,,,d,为常数。它的饱和值为,a,和,a+b,。,最简单形式为:,f,(,net,),=1/(1+exp(-d*net),函数的饱和值为,0,和,1,。,S,形函数有较好的增益控制,9/19/2025,46,4,、,S,形函数,a+b,o,(0,c),net,a,c=a+b/2,9/19/2025,47,2.2.3 M-P,模型,x,2,w,2,f,o=f(net),x,n,w,n,net=XW,x,1,w,1,McCulloch,Pitts,(,M,P,)模型,也称为处理单元(,PE,),9/19/2025,48,2.3,人工神经网络的拓扑特性,连接的拓扑表示,AN,i,w,ij,AN,j,9/19/2025,49,2.3.1,联接模式,用正号(“,+,”,可省略)表示传送来的信号起,刺激,作用,它用于增加神经元的活跃度;,用负号(“,-,”)表示传送来的信号起,抑制,作用,它用于降低神经元的活跃度。,层次,(又称为“级”)的划分,导致了神经元之间的三种不同的,互连模式,:,9/19/2025,50,2.3.1,联接模式,1、,层(级)内联接,层内联接又叫做区域内(,Intra-field,)联接或侧联接(,Lateral,)。,用来加强和完成层内神经元之间的竞争,2、,循环联接,反馈信号。,9/19/2025,51,2.3.1,联接模式,3、层(级)间联接,层间(,Inter-field,)联接指不同层中的神经元之间的联接。这种联接用来实现层间的信号传递,前馈信号,反馈信号,9/19/2025,52,2.3.2,网络的分层结构,单级网,简单单级网,9/19/2025,53,简单单级网,x,1,x,2,x,n,o,1,o,2,o,m,w,nm,w,11,w,1m,w,2m,w,n1,输出层,输入层,9/19/2025,54,简单单级网,W=,(,w,ij,),输出层的第,j,个神经元的网络输入记为,net,j,:,net,j,=x,1,w,1j,+x,2,w,2j,+x,n,w,nj,其中,1 j m,。取,NET=,(,net,1,,,net,2,,,,,net,m,),NET=XW,O=F,(,NET,),9/19/2025,55,单级横向反馈网,输出层,x,1,o,1,w,11,w,1m,x,2,o,2,w,2m,x,n,o,m,w,n1,输入层,V,9/19/2025,56,单级横向反馈网,V=,(,v,ij,),NET=XW+OV,O=F,(,NET,),时间参数,神经元的状态在主时钟的控制下同步变化,考虑,X,总加在网上的情况,NET,(,t+1,),=X,(,t,),W+O,(,t,),V,O(t+1)=F(NET(t+1),O,(,0,),=0,考虑仅在,t=0,时加,X,的情况。,稳定性判定,9/19/2025,57,多级网,输出层,隐藏层,输入层,o,1,o,2,o,m,x,1,x,2,x,n,9/19/2025,58,层次划分,信号只被允许从较低层流向较高层。,层号确定层的高低:层号较小者,层次较低,层号较大者,层次较高。,输入层,:被记作第,0,层。该层负责接收来自网络外部的信息,输出层,隐藏层,输入层,o,1,o,2,o,m,x,1,x,2,x,n,9/19/2025,59,第j层,:第,j-1,层的直接后继层(,j0,),它直接接受第,j-1,层的输出。,输出层,:它是网络的最后一层,具有该网络的最大层号,负责输出网络的计算结果。,隐藏层,:除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号,也不直接向外界发送信号,输出层,隐藏层,输入层,o,1,o,2,o,m,x,1,x,2,x,n,9/19/2025,60,约定,:,输出层的层号为该网络的层数:,n,层网络,或,n,级网络。,第,j-1,层到第,j,层的联接矩阵为第,j,层联接矩阵,输出层对应的矩阵叫输出层联接矩阵。今后,在需要的时候,一般我们用,W,(,j,),表示第,j,层矩阵,。,输出层,隐藏层,输入层,o,1,o,2,o,m,x,1,x,2,x,n,W,(1),W,(2),W,(3),W,(h),9/19/2025,61,多级网h层网络,输出层,隐藏层,输入层,o,1,o,2,o,m,x,1,x,2,x,n,W,(1),W,(2),W,(3),W,(h),9/19/2025,62,多级网,非线性激活函数,F(X)=kX+C,F,3,(F,2,(F,1,(XW,(1),)W,(2),)W,(3),),9/19/2025,63,循环网,x,1,o,1,输出层,隐藏层,输入层,x,2,o,2,o,m,x,n,9/19/2025,64,循环网,如果将输出信号反馈到输入端,就可构成一个多层的循环网络。,输入的原始信号被逐步地“加强”、被“修复”。,大脑的,短期记忆特征,看到的东西不是一下子就从脑海里消失的。,稳定,:反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小,并且最后能消失。当变化最后消失时,网络达到了平衡状态。如果这种变化不能消失,则称该网络是不稳定的。,9/19/2025,65,2.4,存储与映射,空间模式,(,Spatial Model,),时空模式,(,Spatialtemporal Model,),空间模式三种,存储类型,1、,RAM方式(Random Access Memory),随机访问方式是将地址映射到数据。,2、,CAM方式(Content Addressable Memory),内容寻址方式是将数据映射到地址。,3、,AM方式(Associative Memory),相联存储方式是将数据映射到数据。,9/19/2025,66,2.4,存储与映射,后续的两种方式是人工神经网络的工作方式。,在学习,/,训练期间,人工神经网络以,CAM,方式工作;权矩阵又被称为网络的,长期存储,(,Long Term Memory,,简记为,LTM,)。,网络在正常工作阶段是以,AM,方式工作的;神经元的状态表示的模式为,短期存储,(,Short Term Memory,,简记为,STM,),。,9/19/2025,67,2.4,存储与映射,自相联,(,Auto-associative,),映射,:,训练网络的样本集为向量集合为,A,1,,,A,2,,,,,A,n,在理想情况下,该网络在完成训练后,其权矩阵存放的将是上面所给的向量集合。,9/19/2025,68,2.4,存储与映射,异相联(Hetero-associative)映射,(,A,1,,,B,1,),(,A,2,,,B,2,),,,(,A,n,,,B,n,),该网络在完成训练后,其权矩阵存放的将是上面所给的向量集合所蕴含的对应关系。,当输入向量,A,不是样本的第一的分量时,样本中不存在这样的元素(,A,k,,,B,k,),使得,A,i,A,k,A或者AA,k,A,j,且此时有,A,i,AA,j,则向量,B,是,B,i,与,B,j,的插值。,9/19/2025,69,2.5,人工神经网络的训练,人工神经网络最具有吸引力的特点是它的学习能力。,1962,年,,Rosenblatt,给出了人工神经网络著名的学习定理:人工神经网络可以学会它可以表达的任何东西。,人工神经网络的表达能力大大地限制了它的学习能力。,人工神经网络的学习过程就是对它的训练过程,9/19/2025,70,2.5.1,无导师学习,无导师学习,(Unsupervised Learning),与无导师训练,(Unsupervised Training),相对应,抽取样本集合中蕴含的统计特性,,并以神经元之间的联接权的形式存于网络中。,9/19/2025,71,2.5.1,无导师学习,Hebb,学习律、竞争与协同(,Competitive and Cooperative,)学习、随机联接系统(,Randomly Connected Learning,)等。,Hebb,算法,D.O.Hebb,在,1961,年,的核心:,当两个神经元同时处于激发状态时被加强,否则被减弱。,数学表达式表示:,W,ij,(,t+1,),=W,ij,(,t,),+o,i,(,t,),o,j,(,t,),9/19/2025,72,2.5.2,有导师学习,有导师学习,(Supervised Learning),与有导师训练,(Supervised Training),相对应。,输入向量与其对应的输出向量构成一个“训练对”。,9/19/2025,73,训练算法的主要步骤,1),从样本集合中取一个样本(,A,i,,,B,i,);,2),计算出网络的实际输出,O,;,3),求,D=B,i,-O,;,4),根据,D,调整权矩阵,W,;,5)对每个样本重复上述过程,直到对整个样本集来说,误差不超过规定范围。,9/19/2025,74,Delta,规则,Widrow,和,Hoff,的写法,:,W,ij,(,t+1,),=W,ij,(,t,),+,(,y,j,-a,j,(,t,),o,i,(,t,),也可以写成:,W,ij,(,t+1,),=W,ij,(,t,),+W,ij,(,t,),W,ij,(t),=,j,o,i,(t),j,=y,j,-a,j,(t),9/19/2025,75,Delta,规则,Grossberg,的写法为:,W,ij,(t)=a,i,(t)(o,j,(t)-W,ij,(t),更一般的,Delta,规则为:,W,ij,(,t,),=g,(,a,i,(t),,,y,j,,,o,j,(,t,),,W,ij,(,t,),9/19/2025,76,第,3,章,感知器,主要内容,:,感知器与人工神经网络的早期发展;,线性可分问题与线性不可分问题;,Hebb,学习律;,Delta,规则;,感知器的训练算法。,重点:,感知器的结构、表达能力、学习算法,难点:,感知器的表达能力,9/19/2025,77,第,3,章,感知器,3.1,感知器与人工神经网络的早期发展,3.2,感知器的学习算法,3.2.1,离散单输出感知器训练,算法,3.2.2,离散多输出感知器训练,算法,3.2.3,连续多输出感知器训练,算法,3.3,线性不可分问题,3.3.1,异或,(Exclusive OR),问题,3.3.2,线性不可分问题的克服,实现!,问题的发现与解决!,9/19/2025,78,3.1,感知器与ANN的早期发展,McCulloch 和Pitts 1943年,发表第一个系统的ANN研究阈值加权和(M-P)数学模型。,1947年,开发出感知器。,1949年,提出Hebb学习律。,单输出的感知器(M-P模型),x,2,x,1,o,x,n,9/19/2025,79,3.1,感知器与ANN的早期发展,1962,年,,Rosenblatt,宣布:人工神经网络可以学会它能表示的任何东西,o,1,多输出感知器,x,1,x,2,o,2,o,m,x,n,输入层,输出层,9/19/2025,80,3.2,感知器的学习算法,感知器的学习是有导师学习,感知器的训练算法的基本原理来源于著名的,Hebb,学习律,基本思想:逐步地将样本集中的样本输入到网络中,根据输出结果和理想输出之间的差别来调整网络中的权矩阵,9/19/2025,81,3.2.1,离散单输出感知器训练算法,二值网络:自变量及其函数的值、向量分量的值只取,0,和,1,函数、向量。,权向量:,W=,(,w,1,,,w,2,,,,,w,n,),输入向量:,X=,(,x,1,,,x,2,,,,,x,n,),训练样本集:,(,X,,,Y,),|Y,为输入向量,X,对应的输出,9/19/2025,82,算法,3-1,离散单输出感知器训练算法,1.初始化权向量W;,2.重复下列过程,直到训练完成:,2.1 对每个样本(X,Y),重复如下过程:,2.1.1 输入X;,2.1.2 计算o=F(XW);,2.1.3 如果输出不正确,则,当o=0时,取 W=W+X,,当o=1时,取 W=W-X,9/19/2025,83,3.2.2,离散多输出感知器训练算法,样本集:,(,X,Y)|Y,为输入向量,X,对应的输出,输入向量:,X=,(,x,1,x,2,x,n,),理想输出向量:,Y=,(,y,1,y,2,y,m,),激活函数:,F,权矩阵,W=,(,w,ij,),实际输出向量:,O=,(,o,1,o,2,o,m,),o,1,多输出感知器,x,1,x,2,o,2,o,m,x,n,输入层,输出层,9/19/2025,84,算法,3-2,离散多输出感知器训练算法,1.初始化权矩阵W;,2.重复下列过程,直到训练完成:,2.1 对每个样本(X,Y),重复如下过程:,2.1.1 输入X;,2.1.2 计算O=F(XW);,2.1.3 for j=1 to m do 执行如下操作:,if o,j,y,j,then,if o,i,=0 then for i=1 to n,w,ij,=w,ij,+x,i,else for i=1 to n do,w,ij,=w,ij,-x,i,9/19/2025,85,算法,3-2,离散多输出感知器训练算法,算法思想,:将单输出感知器的处理逐个地用于多输出感知器输出层的每一个神经元的处理。,第,1,步,,权矩阵的初始化,:一系列小伪随机数。,9/19/2025,86,算法,3-2,离散多输出感知器训练算法,第,2,步,,循环控制。,方法,1,:循环次数控制法,:对样本集执行规定次数的迭代,改进分阶段迭代控制:设定一个基本的迭代次数,N,,每当训练完成,N,次迭代后,就给出一个中间结果,9/19/2025,87,算法,3-2,离散多输出感知器训练算法,方法,2,:精度控制法:,给定一个精度控制参数,精度度量:实际输出向量与理想输出向量的对应分量的差的绝对值之和;,实际输出向量与理想输出向量的欧氏距离的和,“死循环”:网络无法表示样本所代表的问题,9/19/2025,88,算法,3-2,离散多输出感知器训练算法,方法,3,:,综合控制法:,将这两种方法结合起来使用,注意:精度参数的设置。根据实际问题选定;初始测试阶段,精度要求低,测试完成后,再给出实际的精度要求。,9/19/2025,89,3.2.3,连续多输出感知器训练算法,用公式,w,ij,=w,ij,+,(,y,j,-o,j,),x,i,取代了算法,3-2,第,2.1.3,步中的多个判断,y,j,与,o,j,之间的差别对,w,ij,的影响由,(,y,j,-o,j,),x,i,表现出来,好处:不仅使得算法的控制在结构上更容易理解,而且还使得它的适应面更宽,9/19/2025,90,算法,3-3,连续多输出感知器训练算法,1用适当的小伪随机数初始化权矩阵W;,2.初置精度控制参数,学习率,精度控制变量d=+1;,3While d do,3.1 d=0;,3.2 for 每个样本(X,Y)do,3.2.1 输入X(,=(x,1,,x,2,,x,n,),);,3.2.2 求O=F(XW);,3.2.3 修改权矩阵W:,for i=1 to n,j=1 to m do,w,ij,=w,ij,+(y,j,-o,j,)x,i,;,3.2.4 累积误差,for j=1 to m do,d=d+(y,j,-o,j,),2,9/19/2025,91,算法,3-3,连续多输出感知器训练算法,1、,程序实现:,、,、,d,、,i,、,j,、,n,、,m,为简单变量来表示,,W,为,n,行,m,列的二维数组。样本集二维数组,2、,系统的调试,3、Minsky,在,1969,年证明,有许多基本问题是感知器无法解决,4、,问题线性可分性可能与时间有关,5、,很难从样本数据集直接看出问题是否线性可分,6、,未能证明,一个感知器究竟需要经过多少步才能完成训练。,9/19/2025,92,3.3,线性不可分问题,3.3.1,异或,(Exclusive OR),问题,g(x,y),y,0,1,x,0,0,1,1,1,0,9/19/2025,93,用于求解XOR的单神经元感知器,x,y,o,单神经元感知器,的图像,ax+by=,1,y,x,1,(0,0),(1,1),9/19/2025,94,线性不可分函数,变量,函数及其值,x,y,f,1,f,2,f,3,f,4,f,5,f,6,f,7,f,8,f,9,f,10,f,11,f,12,f,13,f,14,f,15,f,16,0,0,0,0,0,0,0,0,0,0,1,1,1,1,1,1,1,1,0,1,0,0,0,0,1,1,1,1,0,0,0,0,1,1,1,1,1,0,0,0,1,1,0,0,1,1,0,0,1,1,0,0,1,1,1,1,0,1,0,1,0,1,0,1,0,1,0,1,0,1,0,1,9/19/2025,95,线性不可分函数,R.O.Windner 1960年,自变量个数,函数的个数,线性可分函数的个数,1,4,4,2,16,14,3,256,104,4,65,536,1882,5,4.3*10,9,94,572,6,1.8*10,19,5,028,134,9/19/2025,96,3.3.2,线性不可分问题的克服,用多个单级网组合在一起,并用其中的一个去综合其它单级网的结果,我们就可以构成一个两级网络,该网络可以被用来在平面上划分出一个封闭或者开放的凸域来,一个非凸域可以拆分成多个凸域。按照这一思路,三级网将会更一般一些,我们可以用它去识别出一些非凸域来。,解决好隐藏层的联接权的调整问题是非常关键的,9/19/2025,97,两级单输出网在,n,维空间中划分出,m,边凸域,x,1,AN,m,AN,1,AN,o,x,n,o,9/19/2025,98,
展开阅读全文

开通  VIP、SVIP  下载更划算
下载10份以上建议开通 VIP 会员
下载20份以上建议开通SVIP会员


开通VIP      成为共赢上传

当前位置:首页 > 包罗万象 > 大杂烩

移动网页_全站_页脚广告1

关于我们      便捷服务       自信AI       AI导航        关注我们

©2010-2026 宁波自信网络信息技术有限公司  版权所有

客服电话:0574-28810668  投诉电话:18658249818

gongan.png浙公网安备33021202000488号   

icp.png浙ICP备2021020529号-1  |  浙B2-20240490  

关注我们 :微信公众号    抖音    微博    LOFTER 

客服