第1章人工神经网络概述.ppt

2006-4-28北京科技大学 信息学院 付冬梅1课程安排与要求课程安排与要求第一章：概论第一章：概论人工神经网络的发展历史人工神经网络的发展历史人工神经网络的定义、特点和应用人工神经网络的定义、特点和应用从生物神经元到人工神经元从生物神经元到人工神经元第二章第二章 人工神经网络的基本模型人工神经网络的基本模型人工神经元的基本模型人工神经元的基本模型几种典型的激活函数几种典型的激活函数人工神经网络的学习算法概述人工神经网络的学习算法概述人工神经网络的基本拓扑结构人工神经网络的基本拓扑结构2006-4-28北京科技大学 信息学院 付冬梅2课程安排与要求课程安排与要求第三章：感知器人工神经网络第三章：感知器人工神经网络单个感知器模型与解决问题的能力单个感知器模型与解决问题的能力单层感知器模型与解决问题的能力单层感知器模型与解决问题的能力单层感知器的学习算法单层感知器的学习算法单层感知器的局限性问题单层感知器的局限性问题多层感知器的设计方法多层感知器的设计方法单层感知器的单层感知器的MATLAB设计与实现设计与实现2006-4-28北京科技大学 信息学院 付冬梅3课程安排与要求课程安排与要求第四章：第四章：ADALINE人工神经网络人工神经网络ADALINE神经元网络模型和结构神经元网络模型和结构单个自适应线性神经元的学习方法单个自适应线性神经元的学习方法单层自适应线性神经元的学习方法单层自适应线性神经元的学习方法MATLAB程序仿真程序仿真关于自适应线性神经元的几点说明关于自适应线性神经元的几点说明 2006-4-28北京科技大学 信息学院 付冬梅6课程安排与要求课程安排与要求第七章：第七章：Hopfield人工神经网络人工神经网络离散离散Hopfield网络模型与运行方式网络模型与运行方式离散离散Hopfield网络的稳定性网络的稳定性离散离散Hopfield网络的设计问题网络的设计问题离散离散Hopfield网络的联想存储网络的联想存储连续连续Hopfield网络模型与运行方式网络模型与运行方式连续连续Hopfield网络的稳定性网络的稳定性2006-4-28北京科技大学 信息学院 付冬梅7课程安排与要求课程安排与要求第八章：第八章：CAMA人工神经网络人工神经网络CMAC网络的基本思想与结构模型网络的基本思想与结构模型 CMAC网络的工作原理网络的工作原理CMAC算法的程序语言描述算法的程序语言描述 CMAC网络的泛化能力网络的泛化能力 CMAC网络的几个问题网络的几个问题仿真示例仿真示例2006-4-28北京科技大学 信息学院 付冬梅8课程安排与要求课程安排与要求第九章：第九章：Elmen人工神经网络人工神经网络概述概述Elman神经网络结构神经网络结构Elman神经网络学习算法神经网络学习算法Elman网络的网络的MATLAB函数与实现函数与实现仿真示例仿真示例2006-4-28北京科技大学 信息学院 付冬梅9课程安排与要求课程安排与要求第十章：第十章：SOFM人工神经网络人工神经网络SOFM网络的思想来源网络的思想来源SOFM网络的结构模型网络的结构模型 SOFM神经元的基本功能函数神经元的基本功能函数SOFM的基本学习算法的基本学习算法仿真实例仿真实例 几点注意事项几点注意事项2006-4-28北京科技大学 信息学院 付冬梅10课程安排与要求课程安排与要求第十一章：第十一章：PID人工神经网络人工神经网络绪论绪论 PID神经网络模型、结构和特点神经网络模型、结构和特点PID神经网络的正向计算神经网络的正向计算PID神经网络的反传计算神经网络的反传计算PID神经网络神经网络连接权重初值的选取和等价系统连接权重初值的选取和等价系统 PID神经元网络控制系统神经元网络控制系统 2006-4-28北京科技大学 信息学院 付冬梅11课程安排与要求课程安排与要求第十二章：模糊人工神经网络第十二章：模糊人工神经网络n模糊神经网络的提出模糊神经网络的提出n模糊逻辑系统的组成与分类模糊逻辑系统的组成与分类n模糊逻辑系统的万能逼近理论模糊逻辑系统的万能逼近理论nTakagi-Sugeno型模糊神经网络型模糊神经网络n模糊神经网络模糊神经网络n模糊神经网络在控制中的应用模糊神经网络在控制中的应用n几点注意事项几点注意事项2006-4-28北京科技大学 信息学院 付冬梅12课程安排与要求课程安排与要求 课程以讲解为主，希望学生课下也能够课程以讲解为主，希望学生课下也能够做一些仿真验证性的工作。做一些仿真验证性的工作。希望能够保证听课率，做好课堂笔记。希望能够保证听课率，做好课堂笔记。2006-4-28北京科技大学 信息学院 付冬梅13第一章：概论第一章：概论人工神经网络人工神经网络(Artificial Neural Networks，简简记作记作ANN），），人工神经网络是对人类大脑系统的一阶特性人工神经网络是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。拟，是人工智能研究的一种方法。2006-4-28北京科技大学 信息学院 付冬梅141.1 人工神经网络的发展历史人工神经网络的发展历史第一章：概论第一章：概论 萌芽期（萌芽期（20世纪世纪40年代）年代）n人人工工神神经经网网络络的的研研究究最最早早可可以以追追溯溯到到人人类类开开始始研研究究自自己的智能的时期，到己的智能的时期，到1949年止。年止。n1943年年，心心理理学学家家McCulloch和和数数学学家家Pitts建建立立起起了了著著名名的的阈阈值值加加权权和和模模型型，简简称称为为M-P模模型型。发发表表于于数数学学生生物物物物理理学学会会刊刊Bulletin of Methematical Biophysicsn1949年，心理学家年，心理学家D.O.Hebb提出神经元之间突触联提出神经元之间突触联系是可变的假说系是可变的假说Hebb学习律。学习律。2006-4-28北京科技大学 信息学院 付冬梅15第一章：概论第一章：概论第一高潮期（第一高潮期（19501968）n以以Marvin Minsky，Frank Rosenblatt，Bernard Widrow等等 为为 代代 表表 人人 物物，代代 表表 作作 是是 单单 级级 感感 知知 器器（Perceptron）。）。n可用电子线路模拟。可用电子线路模拟。n人们乐观地认为几乎已经找到了智能的关键。许多部人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。门都开始大批地投入此项研究，希望尽快占领制高点。1.1 人工神经网络的发展历史人工神经网络的发展历史2006-4-28北京科技大学 信息学院 付冬梅16反思期（反思期（19691982）M.L.Minsky和和S.Papert，Perceptron，MIT Press，1969年年 n异或异或”运算不可表示运算不可表示 n二十世纪二十世纪70年代和年代和80年代早期的研究结果年代早期的研究结果 n认识规律：认识认识规律：认识实践实践再认识再认识 第一章：概论第一章：概论1.1 人工神经网络的发展历史人工神经网络的发展历史2006-4-28北京科技大学 信息学院 付冬梅17第一章：概论第一章：概论第二高潮期（第二高潮期（19831990）n1982年，年，J.Hopfield提出循环网络提出循环网络q用用LyapunovLyapunov函数函数函数函数作为网络性能判定的能量函数，作为网络性能判定的能量函数，建立建立ANNANN稳定性的判别依据稳定性的判别依据q阐明了阐明了ANNANN与动力学的关系与动力学的关系q用非线性动力学的方法来研究用非线性动力学的方法来研究ANNANN的特性的特性q指出信息被存放在网络中神经元的联接上指出信息被存放在网络中神经元的联接上 1.1 人工神经网络的发展历史人工神经网络的发展历史2006-4-28北京科技大学 信息学院 付冬梅18n2）1984年，年，J.Hopfield设计研制了后来被人设计研制了后来被人们称为们称为Hopfield网网的电路。较好地解决了著名的电路。较好地解决了著名的的TSP问题，找到了最佳解的近似解，引起了问题，找到了最佳解的近似解，引起了较大的轰动。较大的轰动。n3）1985年，年，UCSD的的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理（等人所在的并行分布处理（PDP）小组的研究者在小组的研究者在Hopfield网络中引入了随机机网络中引入了随机机制，提出所谓的制，提出所谓的Boltzmann机机。第一章：概论第一章：概论1.1 人工神经网络的发展历史人工神经网络的发展历史2006-4-28北京科技大学 信息学院 付冬梅19第一章：概论第一章：概论n4）1986年年，并并行行分分布布处处理理小小组组的的Rumelhart等等研研究究者者重重新新独独立立地地提提出出多多层层网网络络的的学学习习算算法法BP算算法法，较较好好地地解解决决了了多多层层网网络络的的学学习习问题。（问题。（Paker1982和和Werbos1974年）年）n n国内首届神经网络大会国内首届神经网络大会是是1990年年12月在北京月在北京举行的举行的。1.1 人工神经网络的发展历史人工神经网络的发展历史2006-4-28北京科技大学 信息学院 付冬梅20第一章：概论第一章：概论再认识与应用研究期（再认识与应用研究期（1991）n n问问问问题题题题：1)应应用用面面还还不不够够宽宽；2)结结果果不不够够精精确确；3)3)存存在在可信度的问题可信度的问题。n n研究：研究：研究：研究：1）开发现有模型的应用，在应用中对模型、算法加开发现有模型的应用，在应用中对模型、算法加以改造，提高网络的训练速度和准确度。以改造，提高网络的训练速度和准确度。2）希望在理论上寻找新的突破，建立新的专用希望在理论上寻找新的突破，建立新的专用/通用通用模型和算法。模型和算法。3）深入研究生物神经系统，丰富对人脑的认识。深入研究生物神经系统，丰富对人脑的认识。1.1 人工神经网络的发展历史人工神经网络的发展历史2006-4-28北京科技大学 信息学院 付冬梅21神经网络控制待解决的问题神经网络控制待解决的问题 1.1.神经网络的稳定性与收敛性问题。2.2.神经网络的研究，在逼近非线性函数问题 上，现在的理论，只解决了存在性问题。3.3.神经网络的学习速度一般都比较慢，为满 足实时控制的需要，必需予以解决。4.4.神经网络控制系统，稳定性、收敛性的分 析难度大。第一章：概论第一章：概论2006-4-28北京科技大学 信息学院 付冬梅22 几种不同的定义几种不同的定义 1）HechtNielsen（1988年）年）人工神经网络是一个并行、分布处理结构，它人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元这些处理单元(PEProcessing Element)具有局部内具有局部内存，并可以完成局部操作。每个处理单元有一个单存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分枝成希一的输出联接，这个输出可以根据需要被分枝成希望个数的许多并行联接，且这些并行联接都输出相望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元同的信号，即相应处理单元的的第一章：概论第一章：概论1.2 人工神经网络的定义、功能和应用人工神经网络的定义、功能和应用2006-4-28北京科技大学 信息学院 付冬梅231）HechtNielsen（1988年）（续）年）（续）信号，信号的大小不因分支的多少而变化。信号，信号的大小不因分支的多少而变化。处理处理单元的输出信号可以是任何需要的数学模型，单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。每个处理单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。处理单元局部内存中的值。第一章：概论第一章：概论1.2 人工神经网络的定义、功能和应用人工神经网络的定义、功能和应用2006-4-28北京科技大学 信息学院 付冬梅24HechtNielsen定义主要强调了：定义主要强调了：q 并行、分布处理结构；并行、分布处理结构；q 一个处理单元的输出可以被任意分枝，且一个处理单元的输出可以被任意分枝，且 大小不变；大小不变；q 输出信号可以是任意的数学模型；输出信号可以是任意的数学模型；q 处理单元完全的局部操作处理单元完全的局部操作 第一章：概论第一章：概论1.2 人工神经网络的定义、功能和应用人工神经网络的定义、功能和应用2006-4-28北京科技大学 信息学院 付冬梅252）Rumellhart，McClelland，Hinton的的PDP n一组处理单元一组处理单元（PE或或AN）；）；n处理单元的处理单元的激活状态激活状态（ai）；）；n每个处理单元的每个处理单元的输出函数输出函数（fi）；）；n处理单元之间的处理单元之间的联接模式联接模式；n传递规则传递规则（wijoi）；）；n把把处处理理单单元元的的输输入入及及当当前前状状态态结结合合起起来来产产生生激激活活值值的的激活规则激活规则（Fi）；）；n通过经验修改联接强度的通过经验修改联接强度的学习规则学习规则；n系统运行的环境（系统运行的环境（样本样本集合）。集合）。第一章：概论第一章：概论1.2 人工神经网络的定义、功能和应用人工神经网络的定义、功能和应用2006-4-28北京科技大学 信息学院 付冬梅263）Simpson（1987年）年）人工神经网络是一个非线性的有向图，图人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模边，并且可以从不完整的或未知的输入找到模式。式。第一章：概论第一章：概论1.2 人工神经网络的定义、功能和应用人工神经网络的定义、功能和应用2006-4-28北京科技大学 信息学院 付冬梅27人人工工神神经经网网络络对对生生物物神神经经网网络络模模拟拟时时的的几几个个关键点关键点1 1）信息的分布表示；）信息的分布表示；2 2）运算的全局并行与局部操作；）运算的全局并行与局部操作；3 3）处理的非线性特征。）处理的非线性特征。人工神经网络对大脑基本特征的模拟人工神经网络对大脑基本特征的模拟1 1）形式上：神经元及其联接；）形式上：神经元及其联接；2 2）表现特征：信息的存储与处理。）表现特征：信息的存储与处理。第一章：概论第一章：概论1.2 人工神经网络的定义、功能和应用人工神经网络的定义、功能和应用2006-4-28北京科技大学 信息学院 付冬梅28q 人工人工神经网络有吸引力的特征神经网络有吸引力的特征1）能逼近任意能逼近任意L2上的非线性函数；上的非线性函数；2）信息的并行分布式处理与存储；信息的并行分布式处理与存储；3）可以多输入、多输出；可以多输入、多输出；4）可硬件电路实现，或用现有的计算机技术实现；可硬件电路实现，或用现有的计算机技术实现；5）能进行学习，以适应环境的变化。能进行学习，以适应环境的变化。q 决定网络整体性能的三大要素决定网络整体性能的三大要素1）神经元（信息处理单元）的特性；神经元（信息处理单元）的特性；2）神经元间相互联接的形式神经元间相互联接的形式拓扑结构；拓扑结构；3）为适应环境而改善性能的学习规则。为适应环境而改善性能的学习规则。第一章：概论第一章：概论1.2 人工神经网络的定义、特点和应用人工神经网络的定义、特点和应用2006-4-28北京科技大学 信息学院 付冬梅29目前人工神经网络擅长两个方面：目前人工神经网络擅长两个方面：q对大量的数据进行分类，并且只有较少的几种情况；对大量的数据进行分类，并且只有较少的几种情况；q必须学习一个复杂的非线性映射。必须学习一个复杂的非线性映射。目前人工神经网络的主要应用领域：目前人工神经网络的主要应用领域：q人们主要将其用于语音、图像、视觉、知识处理、人们主要将其用于语音、图像、视觉、知识处理、辅助决策等方面。辅助决策等方面。q在数据压缩、模式匹配、系统建模、控制、求组合在数据压缩、模式匹配、系统建模、控制、求组合优化问题的最佳解的近似解（不是最佳近似解）等优化问题的最佳解的近似解（不是最佳近似解）等方面也有好的应用。方面也有好的应用。第一章：概论第一章：概论1.2 人工神经网络的定义、功能和应用人工神经网络的定义、功能和应用2006-4-28北京科技大学 信息学院 付冬梅30第一章：概论第一章：概论参考文献参考文献 1、http:/www.emsl.pnl.gov:2080/proj/neuron/neural/2、http:/ 3、http:/ 4、MATLAB Neural Network Blockset2006-4-28北京科技大学 信息学院 付冬梅31参考文献参考文献 5、张青贵编著、张青贵编著.人工神经网络导论人工神经网络导论.中国水电出版中国水电出版社社.2004.106、Mertin T.Hagan 神经网络设计神经网络设计(中译本中译本).机械机械工业出版社工业出版社.2002.9模型及其应用模型及其应用8、徐丽娜、徐丽娜.神经网络控制神经网络控制.电子工业出版社电子工业出版社.20049、丛爽编著、丛爽编著.面向面向MATLAB工具箱的神经网络理工具箱的神经网络理论论.合肥：中国科技大学出版社合肥：中国科技大学出版社.2004 10、蒋宗礼、蒋宗礼.神经网络导论神经网络导论.高教出版社高教出版社.2002第一章：概论第一章：概论从生物神经网络从生物神经网络到人工神经网络到人工神经网络人工神经元 模拟生物神经元2006-4-28北京科技大学 信息学院 付冬梅34生物神经元 2006-4-28北京科技大学 信息学院 付冬梅35生物神经元 人工神经元2006-4-28北京科技大学 信息学院 付冬梅36生物神经元 人工神经元2006-4-28北京科技大学 信息学院 付冬梅37生物神经元信息处理单元n信息输入2006-4-28北京科技大学 信息学院 付冬梅38生物神经元信息处理单元n信息传播与处理2006-4-28北京科技大学 信息学院 付冬梅39生物神经元信息处理单元n信息传播与处理（整合）2006-4-28北京科技大学 信息学院 付冬梅40生物神经元信息处理单元n信息传播与处理：兴奋或抑制2006-4-28北京科技大学 信息学院 付冬梅41生物神经元信息处理单元n信息输出2006-4-28北京科技大学 信息学院 付冬梅42生物神经元信息处理单元2006-4-28北京科技大学 信息学院 付冬梅43生物神经元信息处理单元2006-4-28北京科技大学 信息学院 付冬梅44生物神经元信息处理单元2006-4-28北京科技大学 信息学院 付冬梅45生物神经元信息处理单元2006-4-28北京科技大学 信息学院 付冬梅46生物神经元信息处理单元2006-4-28北京科技大学 信息学院 付冬梅47生物神经元信息处理单元2006-4-28北京科技大学 信息学院 付冬梅48生物神经元信息处理单元2006-4-28北京科技大学 信息学院 付冬梅49生物神经元信息处理单元2006-4-28北京科技大学 信息学院 付冬梅50生物神经元信息处理单元2006-4-28北京科技大学 信息学院 付冬梅51生物神经元信息处理单元2006-4-28北京科技大学 信息学院 付冬梅52生物神经元信息处理单元2006-4-28北京科技大学 信息学院 付冬梅53生物神经元信息处理单元2006-4-28北京科技大学 信息学院 付冬梅54人工神经元信息处理单元2006-4-28北京科技大学 信息学院 付冬梅55人工神经元信息处理单元n信息输入2006-4-28北京科技大学 信息学院 付冬梅56n信息输入人工神经元信息处理单元2006-4-28北京科技大学 信息学院 付冬梅57n信息传播与处理：积与和人工神经元信息处理单元2006-4-28北京科技大学 信息学院 付冬梅58人工神经元信息处理单元n信息传播2006-4-28北京科技大学 信息学院 付冬梅59人工神经元信息处理单元n信息传播与处理:非线性2006-4-28北京科技大学 信息学院 付冬梅60人工神经元信息处理单元n信息输出2006-4-28北京科技大学 信息学院 付冬梅61人工神经元信息处理单元2006-4-28北京科技大学 信息学院 付冬梅62人工神经信息处理单元2006-4-28北京科技大学 信息学院 付冬梅63人工神经元信息输入输出2006-4-28北京科技大学 信息学院 付冬梅64人工神经元信息输入输出2006-4-28北京科技大学 信息学院 付冬梅65人工神经元信息输入输出2006-4-28北京科技大学 信息学院 付冬梅66人工神经元信息输入输出人工神经网络模拟生物神经网络2006-4-28北京科技大学 信息学院 付冬梅68生物神经网络2006-4-28北京科技大学 信息学院 付冬梅69生物神经网络2006-4-28北京科技大学 信息学院 付冬梅70生物神经网络2006-4-28北京科技大学 信息学院 付冬梅71生物神经网络 人工神经网络2006-4-28北京科技大学 信息学院 付冬梅72生物神经网络 人工神经网络2006-4-28北京科技大学 信息学院 付冬梅73生物神经网络 人工神经网络2006-4-28北京科技大学 信息学院 付冬梅74生物神经网络 人工神经网络2006-4-28北京科技大学 信息学院 付冬梅75生物神经网络 人工神经网络2006-4-28北京科技大学 信息学院 付冬梅76生物神经网络 人工神经网络2006-4-28北京科技大学 信息学院 付冬梅77生物神经网络 人工神经网络2006-4-28北京科技大学 信息学院 付冬梅78生物神经网络 人工神经网络+2006-4-28北京科技大学 信息学院 付冬梅79生物神经网络 人工神经网络2006-4-28北京科技大学 信息学院 付冬梅80生物神经系统(部分)2006-4-28北京科技大学 信息学院 付冬梅81本章结束，谢谢同学们！本章结束，谢谢同学们！