我的人工神经网络-1-引言.ppt

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,教材,书名：人工神经网络导论,出版社：高等教育出版社,出版日期：,2001,年,8,月,定价：12.4元,作者：,蒋宗礼,主要参考书目,1,、,Philip D.Wasserman,，,Neural Computing:Theory and Practice,，,Van Nostrand Reinhold,，,1989,2,、胡守仁、余少波、戴葵，神经网络导论，国防科技大学出版社，,1993,年,10,月,3,、杨行峻、郑君里，人工神经网络，高等教育出版社，,1992,年,9,月,4、,闻新、周露、王丹力、熊晓英，MATLAB神经网络应用设计，科学出版社，2001.5.,5、张青贵，人工神经网络导论，中国水利水电出版社，2004.10.,课程目的和基本要求,作为人工神经网络的入门课程，用于将学生引入人工神经网络及其应用的研究领域。,介绍人工神经网络及其基本网络模型，使学生,了解智能系统描述的基本模型,掌握人工神经网络的基本概念、单层网、多层网、循环网等各种基本网络模型的结构、特点、典型学习算法、运行方式、典型问题,掌握软件实现方法。,第1章,引言,人工神经网络定义,人工神经网络的特点,人工神经网络的应用,人工神经网络的学术观点,人工神经网络的发展历史,第1章,引言,主要内容,：,智能与人工智能；,ANN,的特点；,历史回顾与展望,重点：,智能的本质；,ANN,是一个非线性大规模并行处理系统,难点：,对智能的刻画,人工神经网络定义,（,Artificial Neural Networks,，简记作,ANN,），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个,数学模型,，可以用,电子线路,来实现，也可以用,计算机程序,来模拟，是人工智能研究的一种方法。,人工神经网络的特点,人工神经网络的以下几个突出的优点使它近年来引起人们的极大关注：(1)可以充分逼近任意复杂的非线性关系；(2)所有定量或定性的信息都等势分布贮存于网络内的各神经元，故有很强的健壮性和容错性；(3)采用并行分布处理方法，使得快速进行大量运算成为可能；(4)可学习和自适应不知道或不确定的系统；(5)能够同时处理定量、定性知识。,人工神经网络的特点和优越性，主要表现在三个方面：,第一，具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。,第二，具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。,第三，具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型 人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。,人工神经网络的主要方向（理论）,理论研究可分为以下两类：1)利用神经生理与认知科学研究人类思维以及智能机理。2)利用神经基础理论的研究成果，用数理方法探索功能更加完善、性能更加优越的神经网络模型，深入研究网络算法和性能。如：稳定性、收敛性、容错性、鲁棒性等；开发新的网络数理理论，如：神经网络动力学、非线性神经场等。,应用研究可分为以下两类：1)神经网络的软件模拟和硬件实现的研究。2)神经网络在各个领域中应用的研究。这些领域主要包括：模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制等。随着神经网络理论本身以及相关理论、相关技术的不断 发展，神经网络的应用定将更加深入。,人工神经网络的主要方向（应用）,神经网络的应用方法,首先是对实际问题分析，看传统的方法行不行，如果行就用传统方法解决，如果传统方法解决的不理想，然后尝试用神经网络。,神经网络用于求解问题是因为它具有“学习”能力，对于,非线性、有噪、模式识别,等问题有着得天独厚的优势。,对于问题分析以后，重在选择相应的,模型求解,，尝试模型的求解过程同时也涉及到模型的优化等问题，最后编制程序运行。我个人认为选择什么样的模型求解实际问题是最关键的，用什么语言编程实现或者怎么实现好象都不是那么难。个人观点，欢迎补充。,人工神经网络的学术流派,三大学术流派,符号主义（或叫做符号/逻辑主义）学派,联接主义（或者叫做PDP）学派,进化主义（或者叫做行动,/,响应）学派,历史回顾,萌芽期（,20,世纪,40,年代）,最早可以追溯到人类开始研究自己的智能的时期，到,1949,年止。,1943,年，心理学家,McCulloch,和数学家,Pitts,建立起了著名的阈值加权和模型，简称为,M-P,模型。发表于数学生物物理学会刊,Bulletin of Methematical Biophysics,1949,年，心理学家,D.O.Hebb,提出神经元之间突触联系是可变的假说,Hebb,学习律,。,第一高潮期（,19501968,）,以,Marvin Minsky,，,Frank Rosenblatt,，,Bernard Widrow,等为代表人物，代表作是单级感知器（,Perceptron,）。,可用电子线路模拟。,人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。,反思期（,19691982,）,M.L.Minsky,和,S.Papert,，,Perceptron,，,MIT Press,，,1969,年,。,异或,运算不可表示,【,认识规律：认识实践再认识,】,第二高潮期（,19831990,）,1）1982,年，,J.Hopfield,提出循环网络,用,Lyapunov,函数,作为网络性能判定的能量函数，建立ANN稳定性的判别依据。,阐明了ANN与动力学的关系。,用非线性动力学的方法来研究ANN的特性。,指出信息被存放在网络中神经元的联接上,。,第二高潮期（,19831990,）,能量函数,当从某一初始状态变化时，网络的演变是使,E,下降，达到某一局部极小时就停止变化。这些能量的局部极小点就是网络的,稳定点,或称,吸引子,。,第二高潮期（,19831990,）,2,）,1984,年，,J.Hopfield,设计研制了后来被人们称为,Hopfield,网,的电路。较好地解决了著名的,TSP,问题，找到了最佳解的近似解，引起了较大的轰动。,3,）,1985,年，,UCSD,的,Hinton,、,Sejnowsky,、,Rumelhart,等人所在的并行分布处理（,PDP,）小组的研究者在,Hopfield,网络中引入了随机机制，提出所谓的,Boltzmann,机,。,第二高潮期（,19831990,）,4,）,1986,年，并行分布处理小组的,Rumelhart,等研究者重新独立地提出多层网络的学习算法,BP,算法,，较好地解决了多层网络的学习问题。（,Paker1982,和,Werbos1974,年）,国内首届神经网络大会,是,1990,年,12,月在北京举行的,。,再认识与应用研究期（,1991,）,问题：,1）,应用面还不够宽,2）,结果不够精确,3）存在可信度的问题,再认识与应用研究期（,1991,）,研究：,1）,开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的学习速度和运行的准确度。,2）,充分发挥两种技术各自的优势是一个有效方法,3）,希望在理论上寻找新的突破，建立新的专用,/,通用模型和算法。,4）进一步对生物神经系统进行研究，不断地丰富对人脑的认识。,作业,1、人工神经网络的定义。,2、了解人工神经网络的特点和应用。,