资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,郭文生,计算机科学与技术系,联系电话:,15120017048,Email,:,gwsice,2025/9/19 周五,1,教材,书名:,人工神经网络导论,出版社:高等教育出版社,出版日期:,2006,年,12,月,作者:,蒋宗礼,2025/9/19 周五,2,主要参考书目,1,、,Simon Haykin,,神经网络原理(第,2,版),机械工业出版社,,2004,2,、阎平凡、张长水,人工神经网络与模拟进化计算,清华大学出版社,,2005,3,、,Nello Cristianini,、,John Shawe-Taylor,,支持向量机导论,电子工业出版社,,2004,4,、韩立群,人工神经网络教程,北京邮电大学出版社,,2006,2025/9/19 周五,3,课程目的和基本要求,了解人工神经网络的有关研究思想,从中学习开拓者们的部分问题求解方法。,通过实验进一步体会有关模型的用法和性能,获取一些初步的经验。,查阅适当的参考文献,将所学的知识与自己未来研究课题(包括研究生论文阶段的研究课题)相结合起来,达到既丰富学习内容,又有一定的研究和应用的目的。,2025/9/19 周五,6,主要内容,智能及其实现,ANN,基础,Perceptron,BP,自组织竞争网,RBF,统计学习初步,Hopfield,网与,BAM,小脑模型,支持向量机,2025/9/19 周五,7,人工神经网络,是人工智能科学的,希望之花,,是,科学研究思想在不同领域融会贯通的,丰硕成果,。,第,1,章 引言,2025/9/19 周五,8,第,1,章,引言,主要内容,:,智能与人工智能;,ANN,的特点;,历史回顾与展望,重点:,智能的本质;,ANN,是一个非线性大规模并行处理系统,难点:,对智能的刻画,2025/9/19 周五,9,第,1,章,引言,1.1,人工神经网络的提出,1.2,人工神经网络的特点,1.3,历史回顾,1,.,4,应用领域,2025/9/19 周五,10,第,1,章,引言,人类对人工智能的研究可以分成两种方式对应着,两种不同的技术,:,传统的人工智能技术,心理的角度模拟,基于人工神经网络的技术,生理的角度模拟,2025/9/19 周五,11,1.1,人工神经网络的提出,人工神经网络(,Artificial Neural Networks,,简记作,ANN,),是对人类大脑系统的一阶特性的一种描述。简单地讲,它是一个,数学模型,,可以用,电子线路,来实现,也可以用,计算机程序,来模拟,是人工智能研究的一种方法。,2025/9/19 周五,12,1.1,人工神经网络的提出,1.1.1,智能与人工智能,一、,智能的含义,智能是个体有目的的行为,合理的思维,以及有效的、适应环境的综合能力,。,智能是个体认识客观事物和运用知识解决问题的能力,。,人类个体的智能是一种综合能力。,2025/9/19 周五,13,1.1,人工神经网络的提出,智能可以包含,8,个方面,感知与认识,客观事物、客观世界和自我的能力,感知是智能的基础,最基本的能力,通过,学习,取得经验与积累知识的能力,这是人类在世界中能够不断发展的最基本能力。,理解知识,运用知识,和经验分析、解决问题的能力,这一能力可以算作是智能的高级形式。是人类对世界进行适当的改造,推动社会不断发展的基本能力。,2025/9/19 周五,14,1.1,人工神经网络的提出,联想、推理、判断、决策语言,的能力,这是智能的高级形式的又一方面。,预测和认识,“主动”和“被动”之分。联想、推理、判断、决策的能力是“主动”的基础。,运用进行,抽象、概括,的能力,上述这,5,种能力,被认为是人类智能最为,基本的能力,2025/9/19 周五,15,1.1,人工神经网络的提出,作为,5,种能力综合表现形式的,3,种能力,发现、发明、创造、创新的能力,实时、迅速、合理地应付复杂环境的能力,预测、洞察事物发展、变化的能力,2025/9/19 周五,16,1.1,人工神经网络的提出,二、人工智能,人工智能:研究如何使类似计算机这样的设备去模拟人类的这些能力。,研究人工智能的目的,增加人类探索世界,推动社会前进的能力,进一步认识自己,三大学术流派,符号主义(或叫做符号,/,逻辑主义)学派,联接主义(或者叫做,PDP,)学派,进化主义(或者叫做行动,/,响应)学派,2025/9/19 周五,17,偃师造人,偃师谒见王,王荐之曰:“若与偕来者何人邪?”对曰:“臣之所造能倡者。”穆王惊视之,趣步俯仰,信人也。巧夫颌其颐,则歌合律;摔其手,则舞应节。千变万化,惟意所适。王以为实人也,与盛姬内御并观之。技将终,倡者瞬其目而招王之左右侍妾。王大怒,立欲诛偃师。偃师大慑,立剖散倡者以示王,皆傅会革、木、胶、漆、白、黑、丹、青之所为。王谛料之,内则肝、胆、心、肺、脾、肾、肠、胃,外则筋骨、支节、皮毛、齿发,皆假物也,而无不毕具者。合会复如初见。,列子,2025/9/19 周五,18,巴贝奇,艾达,冯,.,诺依曼,2025/9/19 周五,19,他狂怒之下回过头来,只见裘千尺膝头放着一碟待贺客的蜜枣,正吃得津津有味,缓缓的道:“我二十年前就已说过,你公孙家这门功夫,难练易破,不练也罢,。”,人工智能的困境与希望,2025/9/19 周五,20,1.1,人工神经网络的提出,1.1.2,物理符号系统,人脑的反映 形式化,现实 信息 数据,物理系统 物理符号系统,表现智能,2025/9/19 周五,21,1.1,人工神经网络的提出,起源于,50,年中期,由,Allen Newell,和,Herbert Simon,提出模拟人类求解问题的心理过程。,(GPS),对思维过程进行形式化,用符号表示概念、符号之间满足一定的逻辑关系,采用启发式知识及启发式搜索对问题求解。,符号主义的基本思想是把人类思维逻辑加以形式化,用一阶谓词逻辑加以描述问题求解的思维过程,实现人的左脑抽象逻辑思维功能。,2025/9/19 周五,22,1.1,人工神经网络的提出,Newell,和,Simon,假说:一个物理系统表现智能行为的充要条件是它有一个物理符号系统,概念:物理符号系统需要有一组称为符号的实体组成,它们都是物理模型,可以在另一类称为符号结构的实体中作为成分出现,以构成更高级别的系统,2025/9/19 周五,23,1.1,人工神经网络的提出,困难:,抽象,舍弃一些特性,同时保留一些特性,形式化处理,用物理符号及相应规则表达物理系统的存在和运行。,局限:,对全局性判断、模糊信息处理、多粒度的视觉信息处理等是非常困难的。,2025/9/19 周五,24,1.1,人工神经网络的提出,1958,年,CMU,的,Newell,和,Simon,预言:,10,年内:计算机将成为世界象棋冠军;发现和证明重要的数学定理;优秀作曲家水平的曲子;大多数心理学理论将由计算机形成;,80,年代将全面成为人工智能的时代;,2000,年机器的智能的将超过人类。,2025/9/19 周五,25,1.1,人工神经网络的提出,1997,年,IBM,的,Deep Blue,超级计算机战胜称霸国际象棋棋坛十二年的俄罗斯人,Kasporov.,2025/9/19 周五,26,1.1,人工神经网络的提出,1.1.3,联接主义观点,核心:智能的本质是联接机制。,神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统,ANN,力求从四个方面去模拟人脑的智能行为,物理结构,计算模拟,存储与操作,训练,2025/9/19 周五,27,1.1,人工神经网络的提出,1.1.4,两种模型的比较,心理过程 逻辑思维 高级形式(思维的表象),生理过程,形象思维,低级形式(思维的根本),仿生,人工神经网络,联结主义观点,物理符号系统,2025/9/19 周五,28,1.1,人工神经网络的提出,物理符号系统和人工神经网络系统的差别,项目,物理符号系统,人工神经网络,处理方式,逻辑运算,模拟运算,执行方式,串行,并行,动作,离散,连续,存储,局部集中,全局分布,2025/9/19 周五,29,1.1,人工神经网络的提出,两种人工智能技术的比较,项目,传统的,AI,技术,ANN,技术,基本实现方式,串行处理;由程序实现控制,并行处理;对样本数据进行多目标学习;通过人工神经元之间的相互作用实现控制,基本开发方法,设计规则、框架、程序;用样本数据进行调试(由人根据已知的环境去构造一个模型),定义人工神经网络的结构原型,通过样本数据,依据基本的学习算法完成学习,自动从样本数据中抽取内涵(自动适应应用环境),适应领域,精确计算:符号处理,数值计算,非精确计算:模拟处理,感觉,大规模数据并行处理,模拟对象,左脑(逻辑思维),右脑(形象思维),2025/9/19 周五,30,1.2,人工神经网络的特点,信息的分布表示,运算的全局并行和局部操作,处理的非线性,2025/9/19 周五,31,1.2.1,人工神经网络的概念,1,、定义,1,),HechtNielsen,(,1988,年),人工神经网络是一个并行、分布处理结构,它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元(,PEProcessing Element,)具有局部内存,并可以完成局部操作。每个处理单元有一个单一的输出联接,这个输出可以根据需要被分枝成希望个数的许多并行联接,且这些并行联接都输出相同的信号,即相应处理单元的信号,信号的大小不因分支的多少而变化。,2025/9/19 周五,32,1.2.1,人工神经网络的概念,(,1,),HechtNielsen,(,1988,年)(续),处理单元的输出信号可以是任何需要的数学模型,每个处理单元中进行的操作必须是完全局部的。也就是说,它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。,2025/9/19 周五,33,1.2.1,人工神经网络的概念,强调:,并行、分布处理结构;,一个处理单元的输出可以被任意分枝,且大小不变;,输出信号可以是任意的数学模型;,处理单元完全的局部操作,2025/9/19 周五,34,1.2.1,人工神经网络的概念,(,2,),Rumellhart,,,McClelland,,,Hinton,的,PDP,1,),一组处理单元,(,PE,或,AN,);,2,),处理单元的,激活状态,(,a,i,);,3,),每个处理单元的,输出函数,(,f,i,);,4,),处理单元之间的,联接模式,;,5,),传递规则,(,w,ij,o,i,);,6,),把处理单元的输入及当前状态结合起来产生激活值的,激活规则,(,F,i,);,7,),通过经验修改联接强度的,学习规则,;,8,),系统运行的环境(,样本,集合)。,2025/9/19 周五,35,1.2.1,人工神经网络的概念,(,3,),Simpson,(,1987,年),人工神经网络是一个非线性的有向图,图中含有可以通过改变权大小来存放模式的加权边,并且可以从不完整的或未知的输入找到模式。,2025/9/19 周五,36,1.2.1,人工神经网络的概念,2,、关键点,(,1,),信息的分布表示,(,2,),运算的全局并行与局部操作,(,3,),处理的非线性特征,3,、对大脑基本特征的模拟,1,),形式上:神经元及其联接;,BN,对,AN,2,),表现特征:信息的存储与处理,2025/9/19 周五,37,1.2.1,人工神经网络的概念,4,、别名,人工神经系统(,ANS,),神经网络(,NN,),自适应系统(,Adaptive Systems,)、自适应网(,Adaptive Networks,),联接模型(,Connectionism,),神经计算机(,Neurocomputer,),2025/9/19 周五,38,1.2.2,学习(,Learning,)能力,人工神经网络可以根据所在的环境去改变它的行为,自相联的网络,异相联的网络,:,它在接受样本集合,A,时,可以抽取集合,A,中输入数据与输出数据之间的映射关系。,“,抽象,”,功能。,不同的人工神经网络模型,有不同的学习,/,训练算法,2025/9/19 周五,39,1.2.3,基本特征的自动提取,由于其运算的,不精确性,,表现成,“,去噪音、容残缺,”,的能力,利用这种不精确性,比较自然地实现模式的自动分类。,泛化(,Generalization,)能力与抽象能力,2025/9/19 周五,40,1.2.4,信息的分布存放,信息的分布存提供容错功能,由于信息被分布存放在几乎整个网络中,所以,当其中的某一个点或者某几个点被破坏时,信息仍然可以被存取。,系统在受到,局部,损伤时还可以正常工作。,并不是说可以任意地对完成学习的网络进行修改。也正是由于信息的分布存放,对一类网来说,当它完成学习后,如果再让它学习新的东西,这时就会破坏原来已学会的东西。,2025/9/19 周五,41,1.2.5,适应性,(,Applicability),问题,擅长两个方面:,对大量的数据进行分类,并且只有较少的几种情况;,必须学习一个复杂的非线性映射。,目前应用:,人们主要将其用于语音、视觉、知识处理、辅助决策等方面。,在数据压缩、模式匹配、系统建模、模糊控制、求组合优化问题的最佳解的近似解(不是最佳近似解)等方面也有较好的应用。,2025/9/19 周五,42,1.3,历史回顾,1.3.1,萌芽期(,20,世纪,40,年代),人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期,到,1949,年止。,1943,年,心理学家,McCulloch,和数学家,Pitts,建立起了著名的阈值加权和模型,简称为,M-P,模型。发表于数学生物物理学会刊,Bulletin of Methematical Biophysics,1949,年,心理学家,D.O.Hebb,提出神经元之间突触联系是可变的假说,Hebb,学习律。,2025/9/19 周五,43,1.3.2,第一高潮期(,19501968,),以,Marvin Minsky,,,Frank Rosenblatt,,,Bernard Widrow,等为代表人物,代表作是单级感知器(,Perceptron,)。,可用电子线路模拟。,人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究,希望尽快占领制高点。,2025/9/19 周五,44,1.3.3,反思期(,19691982,),M.L.Minsky,和,S.Papert,,,Perceptron,,,MIT Press,,,1969,年,“,异或,”,运算不可表示,二十世纪,70,年代和,80,年代早期的研究结果,认识规律:认识,实践,再认识,2025/9/19 周五,45,1.3.4,第二高潮期(,19831990,),1982,年,,J.Hopfield,提出循环网络,用,Lyapunov,函数,作为网络性能判定的能量函数,建立,ANN,稳定性的判别依据,阐明了,ANN,与动力学的关系,用非线性动力学的方法来研究,ANN,的特性,指出信息被存放在网络中神经元的联接上,2025/9/19 周五,46,1.3.4,第二高潮期(,19831990,),2,),1984,年,,J.Hopfield,设计研制了后来被人们称为,Hopfield,网,的电路。较好地解决了著名的,TSP,问题,找到了最佳解的近似解,引起了较大的轰动。,3,),1985,年,,UCSD,的,Hinton,、,Sejnowsky,、,Rumelhart,等人所在的并行分布处理(,PDP,)小组的研究者在,Hopfield,网络中引入了随机机制,提出所谓的,Boltzmann,机,。,2025/9/19 周五,47,1.3.4,第二高潮期(,19831990,),4,),1986,年,并行分布处理小组的,Rumelhart,等研究者重新独立地提出多层网络的学习算法,BP,算法,,较好地解决了多层网络的学习问题。(,Paker1982,和,Werbos1974,年),国内首届神经网络大会,是,1990,年,12,月在北京举行的,。,2025/9/19 周五,48,1.3.5,再认识与应用研究期(,1991,),问题:,1,),应用面还不够宽,2,),结果不够精确,3,)存在可信度的问题,2025/9/19 周五,49,1.3.5,再认识与应用研究期(,1991,),研究:,1,),开发现有模型的应用,并在应用中根据实际运行情况对模型、算法加以改造,以提高网络的训练速度和运行的准确度。,2,),充分发挥两种技术各自的优势是一个有效方法,3,),希望在理论上寻找新的突破,建立新的专用,/,通用模型和算法。,4,)进一步对生物神经系统进行研究,不断地丰富对人脑的认识。,2025/9/19 周五,50,1.4,应用领域,1.4.1,信息处理领域,信号处理,模式识别,数据压缩,2025/9/19 周五,51,1.4.2,自动化领域,系统辨识,神经控制器,智能检测,2025/9/19 周五,52,1.4.3,工程领域,汽车工程,军事工程,化学工程,水利工程,2025/9/19 周五,53,1.4.4,医学领域,检测数据分析,生物活性研究,医学专家系统,2025/9/19 周五,54,1.4.5,经济领域,信贷分析,市场预测,2025/9/19 周五,55,2025/9/19 周五,56,第,2,章 人工神经网络建模基础,主要内容,:,BN,与,AN,;,拓扑结构;,存储;,训练,重点:,AN,;拓扑结构;训练,难点:,训练,2025/9/19 周五,57,第,2,章 人工神经网络基础,2.1,生物神经网,2.2,人工神经元,2.3,人工神经网络的拓扑特性,2.4,人工神经网络的训练,2025/9/19 周五,58,2.1,生物神经网,1,、构成,胞体,(Soma),树突(,Dendrite,),胞体,(Soma),轴突(,Axon,),突触(,Synapse,),2,、工作过程,2025/9/19 周五,59,2.1,生物神经网,生物神经网络复杂多样,不仅在于神经元和突触的数量大、组合方式复杂和联系广泛,还在于突触传递的机制复杂。已经发现的传递机制有突触后兴奋、突触后抑制、突触前兴奋、突触前抑制,远程“抑制”。,2025/9/19 周五,60,2.1,生物神经网,3,、六个基本特征:,1,),每个神经元都是一个多输入单输出的信息处理单元,;,2,),神经元输入分兴奋性输入和抑制性输入两种类型;,3,),每个神经元可以有一个,“,阈值,”,;,4,),神经元输入与输出间有固定的时滞,主要取决于突触延搁;,5,),忽略时间整合作用和不应期;,6),神经元本身是非时变的,即其突触时延和突触强度均为常数,。,2025/9/19 周五,61,2.2,人工神经元,神经元是构成神经网络的最基本单元(构件)。,人工神经元模型应该具有生物神经元的六个基本特性。,2025/9/19 周五,62,2.2.1,人工神经元的基本构成,人工神经元模拟生物神经元的,一阶特性,。,输入:,X=,(,x,1,,,x,2,,,,,x,n,),联接权:,W=,(,w,1,,,w,2,,,,,w,n,),T,网络输入:,net=x,i,w,i,向量形式:,net=XW,x,n,w,n,x,1,w,1,x,2,w,2,net=XW,2025/9/19 周五,63,2.2.1,人工神经元的基本构成,神经元的数学模型,2025/9/19 周五,64,嚣魏牟,显然未想过这问题,怒道:有什么不同,人脑兽脑我全看过,还不是骨壳和肉酱吧!,项少龙,哈哈一笑道:“你正说出了人和禽兽的最大分别,禽兽会研究它们的脑和人的脑有什么分别吗?”,寻秦记,2.2 人工神经元,2025/9/19 周五,65,2.2.1 人工神经元的基本构成,定理:令,(*),为,有界,、非常量的单调递增连续函数,,I,p,代表,p,维单位超立方体,0,1,p,。,C(I,p,),表示定义在,I,p,上的连续函数构成的集合,则给定任何函数,f C(I,p,),和,0,,存在整数,M,和一组实数,i,,,i,和,w,ij,,其中,i=1,M,,,j=1,p,,使得网络输出,可任意逼近,f(*),,即,2025/9/19 周五,66,2.2.2,激活函数,(Activation Function),激活函数,执行对该神经元所获得的网络输入的变换,也可以称为激励函数、活化函数:,o=f,(,net,),1,、线性函数(,Liner Function,),f,(,net,),=k*net+c,net,o,o,c,2025/9/19 周五,67,2,、非线性斜面函数,(Ramp Function),if net,f,(,net,),=k*netif|net|0,为一常数,被称为饱和值,为该神经元的最大输出。,2025/9/19 周五,68,2,、非线性斜面函数(,Ramp Function,),-,-,net,o,2025/9/19 周五,69,3,、阈值函数(,Threshold Function,)阶跃函数,if net,f,(,net,),=,-if net,、,、,均为非负实数,,为阈值,二值形式:,1if net,f,(,net,),=,0if net,双极形式:,1if net,f,(,net,),=,-1if net,2025/9/19 周五,70,3,、阈值函数(,Threshold Function,)阶跃函数,-,o,net,0,2025/9/19 周五,71,4,、,S,形函数,压缩函数(,Squashing Function,)和逻辑斯特函数(,Logistic Function,)。,f,(,net,),=a+b/(1+exp(-d*net),a,,,b,,,d,为常数。它的饱和值为,a,和,a+b,。,最简单形式为:,f,(,net,),=1/(1+exp(-d*net),函数的饱和值为,0,和,1,。,S,形函数有较好的增益控制,2025/9/19 周五,72,4,、,S,形函数,a+b,o,(0,c),net,a,c=a+b/2,2025/9/19 周五,73,2.2.3 M-P,模型,x,2,w,2,f,o=f,(,net,),x,n,w,n,net=XW,x,1,w,1,McCullochPitts,(,MP,)模型,也称为处理单元(,PE,),2025/9/19 周五,74,2.3,人工神经网络的拓扑特性,连接的拓扑表示,AN,i,w,ij,AN,j,2025/9/19 周五,75,2.3.1,联接模式,用正号(,“,+”,,可省略)表示传送来的信号起,刺激,作用,它用于增加神经元的活跃度;,用负号(,“,-”,)表示传送来的信号起,抑制,作用,它用于降低神经元的活跃度。,层次,(又称为,“,级,”,)的划分,导致了神经元之间的三种不同的,互连模式,:,2025/9/19 周五,76,2.3.1,联接模式,1,、,层(级)内联接,层内联接又叫做区域内(,Intra-field,)联接或侧联接(,Lateral,)。,用来加强和完成层内神经元之间的竞争,2,、,循环联接,反馈信号。,2025/9/19 周五,77,2.3.1,联接模式,3,、层(级)间联接,层间(,Inter-field,)联接指不同层中的神经元之间的联接。这种联接用来实现层间的信号传递,前馈信号,反馈信号,2025/9/19 周五,78,2.3.2,网络的分层结构,单级网,简单单级网,2025/9/19 周五,79,简单单级网,x,1,x,2,x,n,o,1,o,2,o,m,w,nm,w,11,w,1m,w,2m,w,n1,输出层,输入层,2025/9/19 周五,80,简单单级网,W=,(,w,ij,),输出层的第,j,个神经元的网络输入记为,net,j,:,net,j,=x,1,w,1j,+x,2,w,2j,+x,n,w,nj,其中,1 j m,。取,NET=,(,net,1,,,net,2,,,,,net,m,),NET=XW,O=F,(,NET,),2025/9/19 周五,81,单级横向反馈网,输出层,x,1,o,1,w,11,w,1m,x,2,o,2,w,2m,x,n,o,m,w,n1,输入层,V,2025/9/19 周五,82,单级横向反馈网,V=,(,v,ij,),NET=XW+OV,O=F,(,NET,),时间参数,神经元的状态在主时钟的控制下同步变化,考虑,X,总加在网上的情况,NET,(,t+1,),=X,(,t,),W+O,(,t,),V,O(t+1)=F(NET(t+1),O,(,0,),=0,考虑仅在,t=0,时加,X,的情况。,稳定性判定,2025/9/19 周五,83,多级网,输出层,隐藏层,输入层,o,1,o,2,o,m,x,1,x,2,x,n,2025/9/19 周五,84,层次划分,信号只被允许从较低层流向较高层。,层号确定层的高低:层号较小者,层次较低,层号较大者,层次较高。,输入层,:被记作第,0,层。该层负责接收来自网络外部的信息,输出层,隐藏层,输入层,o,1,o,2,o,m,x,1,x,2,x,n,2025/9/19 周五,85,第,j,层,:第,j-1,层的直接后继层(,j0,),它直接接受第,j-1,层的输出。,输出层,:它是网络的最后一层,具有该网络的最大层号,负责输出网络的计算结果。,隐藏层,:除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号,也不直接向外界发送信号,输出层,隐藏层,输入层,o,1,o,2,o,m,x,1,x,2,x,n,2025/9/19 周五,86,约定,:,输出层的层号为该网络的层数:,n,层网络,或,n,级网络。,第,j-1,层到第,j,层的联接矩阵为第,j,层联接矩阵,输出层对应的矩阵叫输出层联接矩阵。今后,在需要的时候,一般我们用,W,(,j,),表示第,j,层矩阵,。,输出层,隐藏层,输入层,o,1,o,2,o,m,x,1,x,2,x,n,W,(1),W,(2),W,(3),W,(h),2025/9/19 周五,87,多级网,h,层网络,输出层,隐藏层,输入层,o,1,o,2,o,m,x,1,x,2,x,n,W,(1),W,(2),W,(3),W,(h),2025/9/19 周五,88,多级网,非线性激活函数,F(X)=kX+C,F,3,(F,2,(F,1,(XW,(1),)W,(2),)W,(3),),2025/9/19 周五,89,循环网,x,1,o,1,输出层,隐藏层,输入层,x,2,o,2,o,m,x,n,2025/9/19 周五,90,循环网,如果将输出信号反馈到输入端,就可构成一个多层的循环网络。,输入的原始信号被逐步地,“,加强,”,、被,“,修复,”,。,大脑的,短期记忆特征,看到的东西不是一下子就从脑海里消失的。,稳定,:反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小,并且最后能消失。当变化最后消失时,网络达到了平衡状态。如果这种变化不能消失,则称该网络是不稳定的。,2025/9/19 周五,91,2.4,人工神经网络的训练,人工神经网络最具有吸引力的特点是它的学习能力。,1962,年,,Rosenblatt,给出了人工神经网络著名的学习定理:人工神经网络可以学会它可以表达的任何东西。,人工神经网络的表达能力大大地限制了它的学习能力。,人工神经网络的学习过程就是对它的训练过程,2025/9/19 周五,92,2.4,人工神经网络的训练,2025/9/19 周五,93,2.4.1,无导师学习,无导师学习,(Unsupervised Learning),与无导师训练,(Unsupervised Training),相对应,抽取样本集合中蕴含的统计特性,,并以神经元之间的联接权的形式存于网络中。,2025/9/19 周五,94,2.4.1,无导师学习,Hebb,学习律、竞争与协同(,Competitive and Cooperative,)学习、随机联接系统(,Randomly Connected Learning,)等。,Hebb,算法,D.O.Hebb,在,1961,年,的核心:,当两个神经元同时处于激发状态时权值被加强,否则被减弱。,数学表达式表示:,W,ij,(,t+1,),=W,ij,(,t,),+,o,i,(,t,),o,j,(,t,),2025/9/19 周五,95,2.4.1,无导师学习,在,Hebb,学习规则中,学习信号简单地等于神经元的输出:,r=f(W,j,T,X),则权向量的调整公式为,Wj,=,f(W,j,T,X)X,显然,经常出现的输入模式将对权向量有最大的影响,在这种情况下,需要预先设置权饱和值。,2025/9/19 周五,96,2.4.1,无导师学习,例,2,.1,设有,4,输入单输出神经元网络,其阈值,T=0,,学习率,=1,,,3,个输入样本和初始的权向量分别为,X,1,=(1,-2,1.5,0),T,,,X,2,=(1,-0.5,-2,-1.5),T,,,X,3,=(0,1,-1,1.5),T,,,W(0)=(1,-1,0,0.5),T,,激活函数为双极性离散函数。,2025/9/19 周五,97,2.4.2,有导师学习,有导师学习,(Supervised Learning),与有导师训练,(Supervised Training),相对应。,输入向量与其对应的输出向量构成一个,“,训练对,”,。,有导师学习的训练算法的主要步骤包括:,1,),从样本集合中取一个样本(,A,i,,,B,i,);,2,),计算出网络的实际输出,O,;,3,),求,r=B,i,-O,;,4,),根据,r,调整权矩阵,W,;,5,)对每个样本重复上述过程,直到对整个样本集来说,误差不超过规定范围。,2025/9/19 周五,98,Delta,规则,Widrow,和,Hoff,的写法,:,W,ij,(,t+1,),=W,ij,(,t,),+,(,d,j,-o,j,(,t,),o,i,(,t,),也可以写成:,W,ij,(,t+1,),=W,ij,(,t,),+W,ij,(,t,),W,ij,(t),=,j,o,i,(t),j,=d,j,-o,j,(t),2025/9/19 周五,99,Delta,规则,事实上,,delta,规则可以由输出值与期望值的最小平方误差条件推导出来:,其中误差,E,是权向量,W,j,的函数。欲使误差,E,最小,,W,j,应与误差的负梯度成正比,所以权值调整的公式为,2025/9/19 周五,100,第,3,章,感知器,3.1,感知器与人工神经网络的早期发展,3.2,感知器的学习算法,3.2.1,离散单输出感知器训练,算法,3.2.2,离散多输出感知器训练,算法,3.2.3,连续多输出感知器训练,算法,3.3,线性不可分问题,3.3.1,异或,(Exclusive OR),问题,3.3.2,线性不可分问题的克服,实现!,问题的发现与解决!,2025/9/19 周五,101,3.1,感知器与,ANN,的早期发展,McCulloch,和,Pitts 1943,年,发表第一个系统的,ANN,研究,阈值加权和,(M-P),数学模型。,1947,年,开发出感知器。,1949,年,提出,Hebb,学习律。,单输出的感知器,(M-P,模型,),x,2,x,1,o,x,n,2025/9/19 周五,102,3.1,感知器与,ANN,的早期发展,1962,年,,Rosenblatt,宣布:人工神经网络可以学会它能表示的任何东西,o,1,多输出感知器,x,1,x,2,o,2,o,m,x,n,输入层,输出层,2025/9/19 周五,103,3.2,感知器的学习算法,感知器的学习是有导师学习,感知器的训练算法的基本原理来源于著名的,Hebb,学习律,基本思想:逐步地将样本集中的样本输入到网络中,根据输出结果和理想输出之间的差别来调整网络中的权矩阵,2025/9/19 周五,104,3.2.1,离散单输出感知器训练算法,二值网络:自变量及其函数的值、向量分量的值只取,0,和,1,函数、向量。,权向量:,W=,(,w,1,,,w,2,,,,,w,n,),输入向量:,X=,(,x,1,,,x,2,,,,,x,n,),训练样本集:,(,X,,,Y,),|Y,为输入向量,X,对应的输出,2025/9/19 周五,105,算法,3-1,离散单输出感知器训练算法,1.,初始化权向量,W,;,2.,重复下列过程,直到训练完成:,2.1,对每个样本(,X,,,Y,),重复如下过程:,2.1.1,输入,X,;,2.1.2,计算,o=F,(,XW,);,2.1.3,如果输出不正确,则,当,o=0,时,取,W=W+X,,,当,o=1,时,取,W=W-X,2025/9/19 周五,106,3.2.2,离散多输出感知器训练算法,样本集:,(,X,Y)|Y,为输入向量,X,对应的输出,输入向量:,X=,(,x,1,x,2,x,n,),理想输出向量:,Y=,(,y,1,y,2,y,m,),激活函数:,F,权矩阵,W=,(,w,ij,),实际输出向量:,O=,(,o,1,o,2,o,m,),o,1,多输出感知器,x,1,x,2,o,2,o,m,x,n,输入层,输出层,2025/9/19 周五,107,算法,3-2,离散多输出感知器训练算法,1.,初始化权矩阵,W,;,2.,重复下列过程,直到训练完成:,2.1,对每个样本(,X,,,Y,),重复如下过程:,2.1.1,输入,X,;,2.1.2,计算,O=F,(,XW,);,2.1.3 for j=1 to m do,执行如下操作:,if o,j,y,j,then,if o,i,=0 then for i=1 to n,w,ij,=w,ij,+x,i,else for i=1 to n do,w,ij,=w,ij,-x,i,2025/9/19 周五,108,算法,3-2,离散多输出感知器训练算法,算法思想,:将单输出感知器的处理逐个地用于多输出感知器输出层的每一个神经元的处理。,第,1,步,,权矩阵的初始化,:一系列小伪随机数。,2025/9/19 周五,109,算法,3-2,离散多输出感知器训练算法,第,2,步,,循环控制。,方法,1,:循环次数控制法,:对样本集执行规定次数的迭代,改进,分阶段迭代控制:设定一个基本的迭代次数,N,,每当训练完成,N,次迭代后,就给出一个中间结果,2025/9/19 周五,110,算法,3-2,离散多输出感知器训练算法,方法,2,:精度控制法:,给定一个精度控制参数,精度度量:实际输出向量与理想输出向量的对应分量的差的绝对值之和;,实际输出向量与理想输出向量的欧氏距离的和,“,死循环,”,:网络无法表示样本所代表的问题,2025/9/19 周五,111,算法,3-2,离散多输出感知器训练算法,方法,3,:,综合控制法:,将这两种方法结合起来使用,注意:精度参数的设置。根据实际问题选定;初始测试阶段,精度要求低,测试完成后,再给出实际的精度要求。,2025/9/19 周五,112,3.2.3,连续多输出感知器训练算法,用公式,w,ij,=w,ij,+,(,y,j,-o,j,),x,i,取代了算法,3-2,第,2.1.3,步中的多个判断,y,j,与,o,j,之间的差别对,w,ij,的影响由,(,y,j,-o,j,),x,i,表现出来,好处:不仅使得算法的控制在结构上更容易理解,而且还使得它的适应面更宽,2025/9/19 周五,113,算法,3-3,连续多输出感知器训练算法,1,用适当的小伪随机数初始化权矩阵,W,;,2.,初置精度控制参数,,学习率,,精度控制变量,d=+1,;,3,While d do,3.1 d=0,;,3.2 for,每个样本(,X,,,Y,),do,3.2.1,输入,X,(,=(x,1,
展开阅读全文