神经网络基础知识ppt课件.ppt

第二第二节 神神经网网络基基础知知识p生物神经元p人工神经元模型p人工神经网络模型5/26/20241.神神经生理学和神生理学和神经解剖学的研究解剖学的研究结果果表明，神表明，神经元元(Neuron)是是脑组织的基本的基本单元，是人元，是人脑信息信息处理系理系统的最小的最小单元。元。p生物神生物神经元元p生物神生物神经网网络2.1人工神人工神经网网络的生物学基的生物学基础5/26/20242.2.1.1生物神生物神经元元 生物神生物神经元在元在结构上由构上由:细胞体胞体(Cell body)、树突突(Dendrite)、轴突突(Axon)、突触突触(Synapse)四部分四部分组成。用来完成成。用来完成神神经元元间信息的接收、信息的接收、传递和和处理。理。人人工工神神经网网络的的生生物物学学基基础5/26/20243.人人工工神神经网网络的的生生物物学学基基础5/26/20244.2.1.2 生物神生物神经元的信息元的信息处理机理理机理二二信信息息的的传递与与接接收收人人工工神神经网网络的的生生物物学学基基础5/26/20245.2.1.3 生物神生物神经网网络 由多个生物神由多个生物神经元以确定方式和拓扑元以确定方式和拓扑结构构 相互相互连接即形成生物神接即形成生物神经网网络。生物神生物神经网网络的功能不是的功能不是单个神个神经元信息元信息 处理功能的理功能的简单叠加。叠加。神神经元之元之间的突触的突触连接方式和接方式和连接接强度不度不 同并且具有可塑性，同并且具有可塑性，这使神使神经网网络在宏在宏观 呈呈现出千出千变万化的复万化的复杂的信息的信息处理能力。理能力。人人工工神神经网网络的的生生物物学学基基础5/26/20246.2.2人工神人工神经元模型元模型5/26/20247.2.2.1神神经元的建模元的建模神神经元元的的人人工工模模型型5/26/20248.假假设1：多：多输入入单输出出p图(a)表明，正如生物神表明，正如生物神经元有元有许多激励多激励输入一祥，入一祥，人工神人工神经元也元也应该有有许多的的输入信号，信号，图中每个中每个输入的大小用确定数入的大小用确定数值xi表示，它表示，它们同同时输入神入神经元元j，神，神经元的元的单输出用出用oj表示。表示。神神经元元的的人人工工模模型型5/26/20249.假假设2：输入入类型：型：兴奋性和抑制性性和抑制性p生物神生物神经元具有不同的突触性元具有不同的突触性质和突触和突触强度，其度，其对输入的影响是使有些入的影响是使有些输入在神入在神经元元产生脉冲生脉冲输出出过程中程中所起的作用比另外一些所起的作用比另外一些输入更入更为重要。重要。图(b)中中对神神经元的每一个元的每一个输入都有一个加入都有一个加权系数系数wij，称，称为权重重值，其正其正负模模拟了生物神了生物神经元中突触的元中突触的兴奋和抑制，其和抑制，其大小则代表了突触的不同代表了突触的不同连接接强度。度。神神经元元的的人人工工模模型型5/26/202410.假假设3：空：空间整合特性和整合特性和阈值特性特性p作作为ANN的基本的基本处理理单元，必元，必须对全部全部输入信号入信号进行行整合，以确定各整合，以确定各类输入的作用入的作用总效果，效果，图(c)表示表示组合合输人信号的人信号的“总和和值”，相，相应于生物神于生物神经元的膜元的膜电位。位。神神经元激活与否取决于某一元激活与否取决于某一阈值电平，即只有当其平，即只有当其输入入总和超和超过阈值时,神神经元才被激活而元才被激活而发放脉冲放脉冲,否否则神神经元不会元不会产生生输出信号。出信号。神神经元元的的人人工工模模型型5/26/202411.神神经元的元的输出出p图(d)人人工工神神经元元的的输出出也也同同生生物物神神经元元一一样仅有有一一个个，如如用用oj表表示示神神经元元输出出，则输出出与与输入入之之间的的对应关关系系可可用用图(d)中中的的某某种种非非线性性函函数数来来表表示示，这种种函函数一般都是非数一般都是非线性的。性的。神神经元元的的人人工工模模型型5/26/202412.神神经元模型示意元模型示意图神神经元元的的人人工工模模型型5/26/202413.2.2.2神神经元的数学模型元的数学模型ij 输入入输出出间的突触的突触时延；延；Tj 神神经元元j的的阈值；wij 神神经元元i到到 j 的突触的突触连接系数或称接系数或称 权重重值；f()神神经元元转移函数。移函数。(2.2)神神经元元的的人人工工模模型型(2.1)5/26/202414.(2.3)netj=WjTX Wj=(w1 w2 wn)T X=(x1 x2 xn)T 令令 x0=-1，w0=Tj 则有有 -Tj=x0w0(2.4)2.2.2神神经元的数学模型元的数学模型神神经元元的的人人工工模模型型5/26/202415.(2.5)oj=f(netj)=f(WjTX)(2.6)2.2.2神神经元的数学模型元的数学模型神神经元元的的人人工工模模型型5/26/202416.2.2.3神神经元的元的转移函数移函数 神神经元各种不同数学模型的主要区元各种不同数学模型的主要区别在于采用了不同的在于采用了不同的转移函数，从而使神移函数，从而使神经元具有不同的信息元具有不同的信息处理特性。最常用理特性。最常用的的转移函数有移函数有4种形式。种形式。神神经元元的的人人工工模模型型5/26/202417.(1)阈值型型转移函数移函数 1 x0f(x)=(2.7)0 x02.2.3神神经元的元的转移函数移函数神神经元元的的人人工工模模型型5/26/202418.(2)非非线性性转移函数移函数2.2.3神神经元的元的转移函数移函数神神经元元的的人人工工模模型型 Log-sigmoid对数正切S型传递函数 tansigmoid双正切S型传递函数 5/26/202419.2.3人工神人工神经网网络模型模型p分分类：按网络连接的拓扑结构分类层次型次型结构构互互连型网型网络结构构按网络内部的信息流向分类前前馈型网型网络反反馈型网型网络人人工工神神经网网络模模型型5/26/202420.2.3.1网网络拓扑拓扑结构构类型型：p层次次型型结构构：将将神神经元元按按功功能能分分成成若若干干层，如如输入入层、中中间层（隐层）和和输出出层，各各层顺序相序相连。p互互连型型网网络结构构：网网络中中任任意意两两个个节点点之之间都可能存在都可能存在连接路径接路径.人人工工神神经网网络模模型型5/26/202421.2.3.1网网络拓扑拓扑结构构类型型 1.单纯型型层次次型型结构构2.3人工神人工神经网网络模型模型人人工工神神经网网络模模型型层次型次型结构：构：5/26/202422.2.输出出层到到输入入层有有连接接人人工工神神经网网络模模型型2.3.1网网络拓扑拓扑结构构类型型 5/26/202423.3.层内内有有连接接层次次型型结构构2.3.1网网络拓扑拓扑结构构类型型 人人工工神神经网网络模模型型5/26/202424.1.全互全互连型型结构构2.3.1网网络拓扑拓扑结构构类型型 人人工工神神经网网络模模型型互互连型网型网络结构：构：5/26/202425.2.局局部部互互连型型网网络结构构2.3.1网网络拓扑拓扑结构构类型型 人人工工神神经网网络模模型型5/26/202426.前前馈型型网网络2.3.2网网络信息流向信息流向类型型人人工工神神经网网络模模型型5/26/202427.神神经网网络能能够通通过对样本的学本的学习训练，不断改，不断改变网网络的的连接接权值以及以及拓扑拓扑结构，以使网构，以使网络的的输出不断地接出不断地接近期望的近期望的输出。出。这一一过程称程称为神神经网网络的学的学习或或训练，其本，其本质是可是可变权值的的动态调整。整。2.4神神经网网络学学习神神经网网络学学习5/26/202428.神神经网网络的学的学习类型：型：有有导师学学习(有有监督学督学习)无无导师学学习(无无监督学督学习)死死记式学式学习2.4神神经网网络学学习神神经网网络学学习p有关学有关学习的研究在神的研究在神经网网络研究中具有重要地位。研究中具有重要地位。p改改变权值的的规则称称为学学习规则或学或学习算法（亦称算法（亦称训练规则或或训练算算法）。法）。5/26/202429.2.4神神经网网络学学习有有导师学学习(有有监督学督学习)p有导师学习也也称称为有有监督督学学习，这种种学学习模模式式采采用用的的是是纠错规则。在在学学习训练过程程中中需需要要不不断断给网网络成成对提提供供一一个个输入入模模式式和和一一个个期期望望网网络正正确确输出出的的模模式式，称称为“教教师信信号号”。将将神神经网网络的的实际输出出同同期期望望输出出进行行比比较，当当网网络的的输出出与与期期望望的的教教师信信号号不不符符时，根根据据差差错的的方方向向和和大大小小按按一一定定的的规则调整整权值。当当网网络对于于各各种种给定定的的输入入均均能能产生生所所期期望望的的输出出时，即即认为网网络已已经在在导师的的训练下下“学学会会”了了训练数数据据集集中中包包含含的的知知识和和规则，可以用来，可以用来进行工作了。行工作了。5/26/202430.2.4神神经网网络学学习无无导师学学习(无无监督学督学习)无导师学习也也称称为无无监督督学学习，学学习过程程中中，需需要要不不断断给网网络提提供供动态输入入信信息息，网网络能能根根据据特特有有的的内内部部结构构和和学学习规则，在在输入入信信息息流流中中发现任任何何可可能能存存在在的的模模式式和和规律律，同同时能能根根据据网网络的的功功能能和和输入入信信息息调整整权值，这个个过程程称称为网网络的的自自组织，其其结果果是是使使网网络能能对属属于于同同一一类的的模模式式进行行自自动分分类。在在这种种学学习模模式式中中，网网络的的权值调整整不不取取决决于于外外来来教教师信信号号的的影影响响，可可以以认为网网络的学的学习评价价标准准隐含于网含于网络的内部。的内部。5/26/202431.学学习的的过程（程（权值调整的一般情况整的一般情况）神神经网网络学学习5/26/202432.2.4神神经网网络学学习5/26/202433.第二第二节小小结 重点介重点介绍了生物神了生物神经元的元的结构及其信息构及其信息处理机制、人理机制、人工神工神经元数理模型、常元数理模型、常见的网的网络拓扑拓扑结构以及和学构以及和学习规则。其中，神。其中，神经元的数学模型、神元的数学模型、神经网网络的的连接方接方式以及神式以及神经网网络的学的学习方式是决定神方式是决定神经网网络信息信息处理理性能的三大要素。性能的三大要素。p(1)生物神生物神经元的信息元的信息处理理p(2)人工神人工神经元模型元模型p(3)人工神人工神经网网络模型模型p(4)神神经网网络学学习5/26/202434.后面内容直接删除就行资料可以编辑修改使用资料可以编辑修改使用5/26/202435.主要经营：网络软件设计、图文设计制作、发布广告等公司秉着以优质的服务对待每一位客户，做到让客户满意！5/26/202436.致力于数据挖掘，合同简历、论文写作、PPT设计、计划书、策划案、学习课件、各类模板等方方面面，打造全网一站式需求5/26/202437.感感谢您的您的观看和下看和下载The user can demonstrate on a projector or computer,or print the presentation and make it into a film to be used in a wider field5/26/202438.