神经网络基础-(2).ppt

第三章第三章 神神经网网络山东大学控制科学与工程学院1.提要：提要：第一第一讲 神神经网网络基基础 第二第二讲 前向神前向神经网网络 第三第三讲 反反馈神神经网网络 第四第四讲 随机神随机神经网网络2.第一第一讲 神神经网网络基基础 大大脑是由生物神是由生物神经元构成的巨型网元构成的巨型网络，它在本，它在本质上不同上不同于于计算机，是一种大算机，是一种大规模的并行模的并行处理系理系统，它具有学，它具有学习、联想想记忆、综合等能力，并有巧妙的信息合等能力，并有巧妙的信息处理方法。理方法。人工神人工神经网网络(简称神称神经网网络)也是由大量的、功能比也是由大量的、功能比较简单的形式神的形式神经元互相元互相连接而构成的复接而构成的复杂网网络系系统，用它，用它可以模可以模拟大大脑的的许多基本功能和多基本功能和简单的思的思维方式。方式。3.第一第一讲 神神经网网络基基础 人工神人工神经网网络（Artificial Neural Networks,简记作作ANN），是），是对人人类大大脑系系统的一的一阶特性的一种描特性的一种描述。述。简单的的讲，它是一个数学模型，可以用，它是一个数学模型，可以用电子子线路来路来实现，也可以用，也可以用计算机程序来模算机程序来模拟，是人工智能研究的，是人工智能研究的一种方法。一种方法。神神经网网络主要用于非主要用于非线性系性系统的辨的辨识建模、非建模、非线性性过程的程的预测、神、神经网网络控制及故障控制及故障诊断等。美国断等。美国军方方认为，神，神经网网络技技术是比原子是比原子弹工程更重要的技工程更重要的技术。4.第一第一讲 神神经网网络基基础一神一神经网网络定定义：基于模仿生物大：基于模仿生物大脑的的结构或构或功能构成的信息功能构成的信息处理系理系统或或计算机。算机。80年代美国的年代美国的H.Nidsen定定义：神：神经网网络是是由多个非常由多个非常简单的的处理理单元（神元（神经元）彼此以元）彼此以某种方式相某种方式相联接而形成的接而形成的计算机系算机系统。该系系统是靠其状是靠其状态对外部外部输入信息的入信息的动态响响应来来处理理信息的。信息的。5.第一第一讲 神神经网网络基基础二二 生物神生物神经元的元的结构和构和动作原理以及功能作原理以及功能 1.生物神生物神经元的元的结构构 人人脑大大约由由1012个神个神经元元组成，神成，神经元互相元互相连接成神接成神经网网络。生物神生物神经元是大元是大脑处理信息的基本理信息的基本单元，以元，以细胞体胞体为主体，由主体，由许多向周多向周围延伸的不延伸的不规则树枝状枝状纤维构成的构成的神神经细胞，其形状很像一棵枯胞，其形状很像一棵枯树的枝干。它主要由的枝干。它主要由细胞体、胞体、树突、突、轴突和突触突和突触(Synapse，又称神，又称神经键)组成。成。6.细胞体树突轴突轴突末梢细胞核图1-1a 神神经元的解剖元的解剖7.图1-1b 神神经元的解剖元的解剖8.第一第一讲 神神经网网络基基础n细胞体：胞体：细胞体是由很多分子形成的胞体是由很多分子形成的综合体合体,内部含有内部含有一个一个细胞核、核糖体、原生胞核、核糖体、原生质网状网状结构等构等,它是神它是神经元元活活动的能量供的能量供应地地,在在这里里进行新行新陈代代谢等各种生化等各种生化过程。包括程。包括细胞核，胞核，细胞膜和胞膜和细胞胞质。n轴突：突：细胞体突起的最胞体突起的最长的外伸管状的外伸管状纤维称称为轴突，突，轴突是把神突是把神经元元兴奋的信息的信息传出到其它神出到其它神经元的出口。元的出口。n树突：突：细胞体的伸延部分胞体的伸延部分产生的一至多个突起，呈放射生的一至多个突起，呈放射状的分枝称状的分枝称为树突突,它是它是细胞体向外伸出的胞体向外伸出的许多多较短的短的树状分支状分支,相当于相当于细胞的胞的输入。入。树突具有接受刺激并将突具有接受刺激并将冲冲动传入入细胞体的功能，胞体的功能，树突与其突与其树突末梢是接受从其突末梢是接受从其它神它神经元元传入的信息的入口。每个神入的信息的入口。每个神经元有大元有大约10000个个树突突连接。接。9.第一第一讲 神神经网网络基基础n突触：突触是神突触：突触是神经元的元的树突末梢突末梢连接另一神接另一神经元的突触元的突触后膜后膜(postsynaptic membrane)的部分。它是神的部分。它是神经元元之之间相相联系并系并进行信息行信息传送的送的结构构,是神是神经元之元之间连接的接的接口。两个神接口。两个神经元的元的细胞胞质并不直接并不直接连通通,两者彼此两者彼此联系系是通是通过突触突触这种种结构接口的。构接口的。n膜膜电位：神位：神经元元细胞膜内外之胞膜内外之间存在存在电位差，称位差，称为膜膜电位。膜外位。膜外为正，膜内正，膜内为负。膜。膜电压接受神接受神经其它神其它神经元元的的输入后入后,电位上升或下降。当位上升或下降。当传入冲入冲动的的时空整合空整合结果，果，使膜使膜电位上升，而且当超位上升，而且当超过叫做叫做动作作电位的位的阈值时,细胞胞进入入兴奋状状态，产生神生神经冲冲动，由，由轴突突输出，出，这个个过程程称称为兴奋。10.第一第一讲 神神经网网络基基础2 突触突触传递信息信息动作原理作原理兴奋期期,大于大于动作作阈值绝对不不应期：不响期：不响应任何刺激任何刺激相相对不不应期：很期：很难相相应l 根据突触根据突触传递信息的信息的动作作过l程可以分程可以分为两种两种类型：型：兴奋型型l和抑制型。神和抑制型。神经冲冲动使得使得细胞胞l膜膜电压升高超升高超过动作作电压进入入l兴奋状状态产生神生神经冲冲动，若使膜，若使膜电压下降，低于下降，低于阈值细胞膜胞膜进入抑制状入抑制状态，无神，无神经冲冲动输出。出。t(ms)膜电位（mv）-70-553ms1ms1ms123动作阈值图1-2 生物神经元动作原理11.第一第一讲 神神经网网络基基础n 第第j路路输入信号，入信号，n 从第从第j路与第路与第i个神个神经元的元的连接接权，n 第第i个神个神经元的元的阈值，n 第第i个神个神经元的元的输出。出。xN wiNx1 wi1x2 wi2.直接刺激三三 神神经元的数学模型元的数学模型图1-3 神经元数学模型12.第一第一讲 神神经网网络基基础n数学模型数学模型MP模型：模型：1943年由美国心理学家年由美国心理学家Mcloch和数学家和数学家Pitts提出的。提出的。n其中常用的有其中常用的有阈值型，型，sgnx为符号函数。符号函数。式中涉及的符号如1-3图所示。13.第一第一讲 神神经网网络基基础四四 人工神人工神经元与生物神元与生物神经元区元区别（1）模型）模型传递的是模的是模拟信号，生物信号，生物输入入输出均出均 为电脉冲脉冲（2）没有考）没有考虑其不其不应期，期，时滞，疲滞，疲劳现象。象。（3）只考）只考虑空空间叠加性，没有考叠加性，没有考虑时间迭加。迭加。14.后面内容直接删除就行资料可以编辑修改使用资料可以编辑修改使用15.主要经营：网络软件设计、图文设计制作、发布广告等公司秉着以优质的服务对待每一位客户，做到让客户满意！16.致力于数据挖掘，合同简历、论文写作、PPT设计、计划书、策划案、学习课件、各类模板等方方面面，打造全网一站式需求17.感感谢您的您的观看和下看和下载The user can demonstrate on a projector or computer,or print the presentation and make it into a film to be used in a wider field18.